MAP: Unleashing Hybrid Mamba-Transformer Vision Backbone's Potential with Masked Autoregressive Pretraining[1]

作者是来自清华叉院和上海AI Lab、QiZhi 研究院的Yunze Liu和Li Yi,论文引用[1]:Liu, Yunze and Li Yi. “MAP: Unleashing Hybrid Mamba-Transformer Vision Backbone's Potential with Masked Autoregressive Pretraining.” ArXiv abs/2410.00871 (2024): n. pag.

Time

  • 2025.Mar

Key Words

  • masked Autoregressive Pretraining

总结

  1. 混合的Mamba-Transformer网络最近受到了很多的关注,这些网络利用Transformer的可扩展性和Mamba的long-context modeling和高效计算。然而,有效地预训练这样的混合网络仍然是一个open question,现有的方法,例如MAE 或者自回归 pretraining,主要聚焦于single-type network 架构,相比之下,对于Mamba和Transformer的混合结构,预训练策略必须有效,基于此,作者提出了Masked Autoregressive pretraining,以统一的范式,提高了Mamba和Transformer modules的性能。
阅读全文 »

MoE

  1. 解码器中包含多个FFNN,每一个FFNN对应一个expert,在experts之前加入要给router,被训练用来选择每个token用哪个expert。router本身也是一个FFNN,根据特定的输入选择experts,router输出概率值,利用这些概率来选择最匹配的expert。expert层返回输出,并乘以门控值(选择概率)。router和experts共同构成了MoE层。优点是参数量大,但训练和推理成本低。

  2. LoRA:用两个低秩矩阵相乘来拟合一个高秩矩阵,这里拟合的不是模型的参数矩阵 \(W_0\) 本身,而是参数矩阵的增量 \(\delta{W}\),更新后的参数矩阵变为: \[W = W_0 + \delta{W} = W_0 + BA\] \(B \in \mathbb{R}^{d_{out} \times r}\)\(A \in \mathbb{R}^{r \times d_{in}}\), \(r << min(d_{in}, d_{out})\), 微调过程中只需要存储两个低秩的A和B矩阵即可,大幅减少存储空间。 A 用高斯初始化,B用0初始化。增加一个缩放系数 \(\alpha/r\)\(\alpha\) 为超参数:

    \[h = W_0x + \delta{W}x = W_0x + \alpha/rBAx\] 训练过程中,固定 \(W_0\)不变, B用全零初始化可以保证在初始化阶段 $ =0 $,调整 \(\alpha\) 相当于调整学习率

参考链接

  • https://zhuanlan.zhihu.com/p/22651790583

Self-Distilled Masked Auto-Encoders are Efficient Video Anomaly Detectors[1]

作者是来自University of Bucharest等机构的Nicolae-Catalin Ristea等人,论文引用[1]:

Time

  • 2024.Mar

Key Words

  • 用motion weight进行加权,然后用了self-distillation,同时还使用了synthetic anomalies data,加入到training data中,来提高video anomaly的性能。

总结

  1. 作者提出了一个高效的异常时间检测model,基于应用在video frame level上的轻量的AE。提出的model的创新型有三个方面:(1)基于motion gradients,引入了一个方式来对tokens进行加权,将focus的重心从static background scene转移到foreground objects;(2) 集成了一个teacher decoder和一个student decoder,利用两个decoder的输出的差异来提高anomaly detection; (3) 生成合成的abnormal events,来增强训练videos,让masked AE model来重建original frames和对应的pixel-level anomaly maps。作者的设计是一个高效且有效的model
阅读全文 »

Olympus: A Universal Task Router for Computer Vision Tasks[1]

作者是来自牛津和微软的Yuanze Lin等人,论文引用[1]:Lin, Yuanze et al. “Olympus: A Universal Task Router for Computer Vision Tasks.” ArXiv abs/2412.09612 (2024): n. pag.

Time

  • 2025.Apr

Key Words

  • universal task router
  • 一句话总结:用MLLMs内在的能力来处理vision-language tasks,用task-specific routing tokens将user instructions分配给其它的的专家models

总结

  1. 作者介绍了Olympus,是一个将MLLMs变成一个统一的框架,能够处理广泛的CV tasks,利用一个controller MLLM,Olympus将超过20种专门针对图像、视频和3D对象的任务分配给专用模块。这个instruction-based的routing能够通过chained actions实现复杂的workflows,不需要训练heavy generative models,Olympus简单地和现有的MLLMs集成,扩展了他们的能力。实验表明,它是一个有效的**universal task router,能够解决多种CV tasks。
阅读全文 »

TrackFormer: Multi-Object Tracking with Transformers[1]

作者是来自TUM和FAIR的Tim Meinhardt等人,论文引用[1]:

Time

  • Apr.2022

### Key Words

总结

  1. MOT的挑战要求对track initialization、identity和spatio-temporal trajectories的推理。作者将这个任务表述为一个frame-to-frame的set prediction问题,引入了TrackFormer,这是一个端到端的、可训练的MOT方法,基于Transformer架构,作者的模型通过在视频序列中逐步演化一组轨迹预测,利用注意力机制实现帧之间的数据关联。Transformer decoder从static object queries初始化新的tracks,并利用概念上新颖且能够保持身份信息的轨迹查询,在空间和时间上自回归地跟踪现有轨迹。两种类型的query都受益于attention架构,不需要额外的图优化或者motion/appearance的建模。
阅读全文 »

MoVE-KD: Knowledge Distillation for VLMs with Mixture of Viusal Encoders[1]

作者是来自北大等机构的Jiajun Cao等人,论文引用[1]: Cao, Jiajun et al. “MoVE-KD: Knowledge Distillation for VLMs with Mixture of Visual Encoders.” ArXiv abs/2501.01709 (2025): n. pag.

Time

  • 2025.Mar

Key Words

  • Single Vision encoder
  • LoRA
  • MoE

总结

  1. visual encoders是VLMs中的重要组件,每个都是从pretrained visual foundation models中得到的,展示出了unique strengths。为了利用这些encoders的various capabilities,最近的研究在单个VLMs中引入了多个encoders,导致在计算成本上的增加了很多, 作者提出了Mixture of Visual Encoder Knowledge Distillation(MoVE-KD),一个新的framework,将多个vision encoders的unique proficiencies蒸馏到a single, efficient encoder model中,特别地,为了缓解conflicts和保持每个teach encoder的unique characteristics,作者采用了LoRA和MoEs,来选择性地激活specialized knowledge based on input features,增强了adaptability和efficiency,为了正则化KD process和增强performance,作者提出了一个attention-based distillation strategy,自适应地weights the different encoders,强调了valuable visual tokens,缓解了replicating comprehensive but distinct features from multiple teachers的负担
阅读全文 »

DINOv2: Learning Robust Visual Features without Supervision[1]

作者是来自Meta的Maxime Oquab等人。论文引用[1]:Oquab, Maxime et al. “DINOv2: Learning Robust Visual Features without Supervision.” ArXiv abs/2304.07193 (2023): n. pag.

Time

  • 2024.Feb

Key Words

  • curated dataset

总结

  1. 最近在大规模数据上预训练的NLP的模型的突破,为CV领域的类似的foundation models的提供了路子。这些模型通过产生general purpose visual features,能够放大uses of images in any system。这个工作展示了,在现有的预训练的方法中,特别是自监督的方法,如果能够在足够的、多样化的curated data上进行训练,能够得到这种features。作者revisit现有的方法,结合了不同的techniques,在data和model size上进行scale pretraining。大多数的technical contributions旨在加速和stabilizing training at scale。在数据方面,作者提出了一个自动化的pipeline,来构建一个dedicated, diverse和curated image dataset,而不是uncurated data,就像self-supervised中常做的那样。在model方面,作者训练了一个1B的ViT model,然后蒸馏到一些更小的models,超过了best available general-purpose features, OpenCLIP。
阅读全文 »

OpenVLA: An Open-Source Vision-Language-Action Model[1]

作者是来自Stanford、UCB等机构的Moo Jin Kim等人。论文引用[1]:Kim, Moo Jin et al. “OpenVLA: An Open-Source Vision-Language-Action Model.” ArXiv abs/2406.09246 (2024): n. pag.

Time

  • 2024.Sep

Key Words

  • Open model, pretrained on internet-scale vision-language datasets, and a visual encoder that fuses DINOv2 and SigLIP features.

总结

  1. 在internet-scale 上的vision-language 数据和diverse robot demo的结合上进行预训练的policies有潜力改变如何教robots学习new skills:而不是training new behaviors from scratch,可以对VLA models进行微调,来得到robust, generalizable policies for visuomotor control。当前的robotics的VLA挑战性在于:现有的VLAs大部分是闭源的,public无法接触;之前的工作没能探索高效微调VLAs for new tasks的方法。作者提出了OpenVLA,解决了上述的挑战,它是一个7B的open-source VLA,在970k real-world robot demo上的diverse 的collections上训练的。OpenVLA建立在Llama 2 上,结合了一个visual encoder,能够融合来自DINOv2和SigLIP的features。作为一个added data diversity和new model components的product,OpenVLA展示出了strong results for generalist manipulation, 超过了closed model例如RT-2-X,少了7x的参数。作者进一步展示出了,能够对new settings进行有效地微调,在涉及多个objects和strong language grounding abilities上的多任务环境中,展示出了很强的泛化性, 超过了从零训练的imitation learning的方法,例如Diffusion Policy。
阅读全文 »

Multi-Token Attention[1]

作者是来自FAIR的Olga Golovneva等人,论文引用[1]:Golovneva, Olga et al. “Multi-Token Attention.” (2025).

Time

  • 2025.Apr

Key Words

  • single token similarity bottleneck

总结

  1. Soft attention是一个重要的机制,使得LLMs能够在给定的context中locate相关的parts。然而,individual attention weights是由single query和key token vector的相似度决定的,这个single token attention造成了区分a relevant part from the rest of the context的信息的瓶颈。为了解决这个问题,作者提出了一个新的attention方法,Multi-Token Attention,使得LLms能够同时在多个query和key vectors上condition their attention weights。这是通过在queries、keys和heads上应用卷积操作实现的,使得相邻的queries和keys能够印象彼此的attetnion weights for more precise attention。因此,作者的方法能够用更丰富的、精细的信息来locate relevant context,超过了single vector capacity。
阅读全文 »
0%