Young's Blog

发表于 更新于 分类于 本文字数： 2k 阅读时长 ≈ 7 分钟

Spatio-Temporal Action Detection Under Large Motion[1]

作者是来自ETHZ的Gurkirt Singh, Vasileios Choutas, Suman Saha, Fisher Yu和Luc Van Gool。论文引用[1]:Singh, Gurkirt et al. “Spatio-Temporal Action Detection Under Large Motion.” 2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) (2022): 5998-6007.

Time

  • 2022.Oct

Key Words

  • track information for feature aggregation rather than tube from proposals
  • 3 motion categories: large motion、medium motion、small motion

总结

  1. 当前的STAD的tube detection的方法经常将一个给定的keyframe上的bbox proposal扩展成一个3D temporal cuboid，然后从邻近帧进行pool features。如果actor的位置或者shape表现出了large 2D motion和variability through frames，这样的pooling不能够积累有意义的spaito-temporal features。在这个工作中，作者旨在研究cuboid-aware feature aggregation in action detection under large action。进一步，提出了在large motion的情况下，通过tracking actors和进行temporal feature aggregation along the respective tracks增强actor feature representation，定义了在不同的固定的time scales下的actor motion的IoU。有large motion的action会随着时间导致lower IoU，slower actions会随着时间维持higher IoU。作者发现track-aware feature aggregation持续地实现了很大的提升in action detection。
阅读全文 »

发表于 更新于 分类于 本文字数： 3.6k 阅读时长 ≈ 13 分钟

TubeR: Tubelet Transformer for Video Action Detection[1]

作者是来自阿姆斯特丹大学、罗格斯大学和AWS AI Labs的Jiaojiao Zhao、Yanyi Zhang等人。论文引用[1]:Zhao, Jiaojiao et al. “TubeR: Tubelet Transformer for Video Action Detection.” 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2021): 13588-13597.

Time

  • 2021.April

Key Words

  • tubelet queries, tubelet-attention
  • in sequence-to-sequence manner
  • scales well to longer video clips
  • end-to-end without person detectors, anchors or proposals

总结

  1. 不同于现有的依赖于离线检测器或者人工设计的actor-positional hypotheses like proposals or anchors，提出了一个通过同时进行action localization和recognition from a single representation，直接检测视频里的action tubelet的方法。TubeR学习一系列的tubelet queries，利用tubelet-attention module来model video clip里的动态的spatio-tempral nature。相比于用actor-positional hypotheses in the spatio-temporal space，它能够有效的强化模型的能力。对于包含transitional states或者scene changes的视频，提出了一个context aware classification head，来利用short-term和long-term context to strengthen action classification，和一个action switch regression head 来检测精确的时序上的行为范围。TubeR直接产生不同长度的action tubelets，对于长的视频clips，也能保持一个比较好的结果。
阅读全文 »

发表于 更新于 分类于 本文字数： 3k 阅读时长 ≈ 11 分钟

Efficient Video Action Detection with Token Dropout and Context Refinement[1]

作者是来自nju、蚂蚁集团、复旦和上海AI Lab的Lei Chen、Zhan Tong、Yibing Song等人。论文引用[1]:Chen, Lei et al. “Efficient Video Action Detection with Token Dropout and Context Refinement.” 2023 IEEE/CVF International Conference on Computer Vision (ICCV) (2023): 10354-10365.

Time

  • 2023.Aug

Key Words

  • spatiotemporal token dropout
  • maintain all tokens in keyframe representing scene context
  • select tokens from other frames representing actor motions
  • drop out irrelavant tokens.

总结

  1. 视频流clips with large-scale vieo tokens 阻止了ViTs for efficient recognition，特别是在video action detection领域，这是需要大量的时空representations来精确地actor identification。这篇工作，提出了端到端的框架 for efficient video action detection(EVAD) based on vanilla ViTs。EVAD包含两个为视频行为检测的特殊设计。首先：提出来时空token dropout from a keyframe-centric perspective. 在一个video clip中，main all tokens from its keyframe，保留其它帧中和actor motions相关的tokens。第二：通过利用剩余的tokens，refine scene context for better recognizing actor identities。action detector中的RoI扩展到时间域。获得的时空actor identity representations are refined via scene context in a decoder with the attention mechanism。这两个设计使得EVAD高效的同时保持精度。
阅读全文 »

发表于 更新于 分类于 本文字数： 3.7k 阅读时长 ≈ 13 分钟

You Only Watch Once: A Unified CNN Architecture for Real-Time Spatiotemporal Action Localization[1]

作者是来自Technical Univ of Munich的Okan Kopuklu, Xiangyu Wei, Gerhard Rigoll。论文引用[1]:Köpüklü, Okan et al. “You Only Watch Once: A Unified CNN Architecture for Real-Time Spatiotemporal Action Localization.” ArXiv abs/1911.06644 (2019): n. pag.

Time

  • 2019.Nov.15(v1)
  • 2021.Oct.18(v5)

Key Words

  • single-stage with two branches

总结

  1. 当前的网络抽取时序信息和keyframe的空间信息是用两个分开的网络，然后用一个额外的mechanism来融合得到detections。YOWO是一个单阶段的架构，有两个分支，来同时抽取当前的时序和空间信息，预测bboxes和action 的概率 directly from video clips in one evaluation。因为架构是统一的，因此可以端到端的优化。YOWO架构速度快，能够做到在16-frames input clips上做到 34 frames-per-second，62 frames-per-second on 8-frames input clips。是当前在STAD任务上最快的架构。
阅读全文 »

发表于 更新于 分类于 本文字数： 2.6k 阅读时长 ≈ 10 分钟

Holistic Interaction Transformer Network for Action Detection[1]

作者是来自国立清华大学和微软AI的Gueter Josmy Faure, Min-Hung Chen和Shang-Hong Lai.论文引用[1]:Faure, Gueter Josmy et al. “Holistic Interaction Transformer Network for Action Detection.” 2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) (2022): 3329-3339.

Time

  • 2022.Nov.18

Key Words

  • bi-modal structure
  • combine different interactions

总结

  1. 行为是关于我们如何与环境互动的，包括其他人、物体和我们自己。作者提出了一个新的多模态的Holistic Interaction Transformer Network (HIT)，利用大量被忽略的、但是对人类行为重要的手部和姿态信息。HIT网络是一个全面的bi-modal框架，由一个RGB stream和pose stream组成。每个stream独立地建模person、object和hand interactions，对于每个子网络，用了一个Intra-Modality Aggregation module(IMA)，选择性地融合个体的交互。从每个模态的得到的features然后用一个Attentive Fusion Mechanism(AFM)进行融合，最后，从temporal context中提取cues，用cached memory来更好地分类存在的行为。
阅读全文 »

发表于 更新于 分类于 本文字数： 5.9k 阅读时长 ≈ 22 分钟

视频理解及分析的计算机视觉任务

  1. 之前看的时候，不管是论文还是一些博客，感觉都不是很清晰和全面，大家的定义不全面，特别是英文的名称上，这里写一下我的理解：

  2. 几个任务：

    • 行为识别(Action Recognition): 实质是对视频的分类任务，可以类别图像领域的分类任务
    • 时序动作定位(Temporal Action Localization): 在时间上对视频进行分类，给出动作的起止时间和类别
    • 时空行为检测(Spatio-Temporal Action Detection): 不仅识别出动作出现的区间和类别，还要在空间范围内用一个bounding box标记处目标的位置。
    • 还有人提出了时空动作定位(Spatio-temporal Action localization)：和上一个是一样的
    • Action Detection在Paperswithcode上的定义： aims to find both where and when an action occurs within a video clip and classify what the action is taking place. Typically results are given in the form of action tublets, which are action bounding boxes linked across time in the video. This is related to temporal localization, which seeks to identify the start and end frame of an action, and action recognition, which seeks only to classify which action is taking place and typically assumes a trimmed video.
    • 论文里还提到了temporal action segmentation： 针对细粒度的actions和videos with dense occurrence of actions to predict action label labels at every frame of the video.

  3. 时空行为检测的算法：之前的论文都是都是基于行为识别(action recognition)的，很多都是基于早期的Slowfast的那个检测的方式：需要一个额外的检测器，实现行为检测。也就是在行为识别的基础上，再进行时空行为检测。但这并不是我理想中的方式，所以很多行为识别的算法，在AVA上也能上榜；最近看VideoMAE看了之后，就一直在看这个，没有去看看其它的。

  4. Action Detection数据集：

    • J-HMDB
    • UCF101-24
    • MultiSports
    • AVA
    • 其中，JHMDB和UCF101-24是密集标注数据集(每一帧都标注，25fps)，这类数据集每个视频只有一个动作，大部分视频是单人做一些语义简单的重复动作；AVA为代表的稀疏标注数据集(隔一段时间标注一帧，1fps)，没有给出明确的动作边界
阅读全文 »

发表于 更新于 分类于 本文字数： 483 阅读时长 ≈ 2 分钟

记录一下用ollama和openwebui来部署几个大模型：Qwen2、LLaMa3和LLaVa

安装Ollama 及pull model

  1. 去ollama的官网下载安装ollama

  2. 更改变量：windows中添加环境变量: OLLAMA_MODELS: XXXXpath，linux需要到systemd中找到ollama的哪个文件，然后进行修改，这样ollama pull 模型的时候，就会安装到指定的路径

  3. ollama安装完成后，可以用ollama pull qwen2:7b这样来下载模型，也可以下载模型的GGUF文件，然后需要写一个配置文件，如config.txt，内容如下： 

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    FROM "path/to/llama3-8b-cn-q6/Llama3-8B-Chinese-Chat.q6_k.GGUF"

    TEMPLATE """{{- if .System }}
    <|im_start|>system {{ .System }}<|im_end|>
    {{- end }}
    <|im_start|>user
    {{ .Prompt }}<|im_end|>
    <|im_start|>assistant
    """

    SYSTEM """"""

    PARAMETER stop <|im_start|>
    PARAMETER stop <|im_end|>

阅读全文 »

发表于 更新于 分类于 本文字数： 3.2k 阅读时长 ≈ 12 分钟

强化学习

  1. 基本概念
    • 智能体(agent)
    • 环境(environment)
阅读全文 »

发表于 更新于 分类于 本文字数： 339 阅读时长 ≈ 1 分钟

在服务器的个人账户下上安装cuda

  1. 去cuda archive里找到对应的cuda版本的runfile文件，通过sh xxx.run来安装

  2. 安装的时候，需要去Options里更改toolkit和library的path，设置完后即可进行install

  3. install完了之后，需要去bashrc里添加以下内容：

1
2
export PATH="/xxx/cuda/bin:$PATH"
export LD_LIBRARY_PATH="/xxx/cuda/lib64:$LD_LIBRARY_PATH"

  1. 然后source一下bashrc，再nvcc -V，如果显示版本号，则说明安装成功

  2. 遇到需要本地cuda的时候，可以

export CUDA_HOME=="/xxx/cuda/"

在服务器个人账户下安装GCC

  1. 去清华源下载需要的gcc的版本，网址在这里: https://mirrors.tuna.tsinghua.edu.cn/gnu/gcc/

  2. 解压完后，进入文件夹gcc-x.x.x，执行命令：./contrib/download_prerequisites

  3. make build，新建一个文件夹，cd build，../configure --prefix=/home/xxx/gcc-x.x.0 --enable-shared --enable-threads=posix --enable-languages=c,c++,fortran --disable-multilib

  4. make -j10 && make install

  5. 打开 .bashrc，添加一下内容：

1
2
3
export PATH=/path/to/install/gcc-5.4/bin:$PATH
export LD_LIBRARY_PATH=/path/to/install/gcc-5.4/lib/:/path/to/install/gcc-5.4/lib64:$LD_LIBRARY_PATH`

  1. source一下bashrc，然后gcc --version，如果显示版本号，则说明安装成功
    阅读全文 »

发表于 分类于 本文字数： 24 阅读时长 ≈ 1 分钟

Matplotlib 绘图

  1. 3D plot时候的需要注意的地方

https://www.codenong.com/48442713/

https://www.coder.work/article/2032713#google_vignette

0%