作者是Qwen Team，论文引用[1]:Yang, An et al. “Qwen3 Technical Report.” (2025).
作者是来自Rice University和Google DeepMind的Jefferson Hernandez等人，论文引用[1]:Hernandez, Jefferson et al. “ViC-MAE: Self-Supervised Representation Learning from Images and Video with Contrastive Masked Autoencoders.” (2023).
作者是来自CMU和NYU的 Shentong Mo和Shengbang Tong，论文引用[1]:Mo, Shentong and Shengbang Tong. “Connecting Joint-Embedding Predictive Architecture with Contrastive Self-supervised Learning.” ArXiv abs/2410.19560 (2024): n. pag.
作者是来自Hugging face， Sorbonne University等机构的Mustafa Shukor等人，论文引用[1]:Shukor, Mustafa et al. “SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics.” (2025).
作者是来自DeepMind的Anthony Brohan等人，论文引用[1]:Brohan, Anthony et al. “RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control.” ArXiv abs/2307.15818 (2023): n. pag.
作者是来自UCB、Stanford、CMU和DeepMind的Sudeep Dasari等人，论文引用[1]:Team, Octo Model et al. “Octo: An Open-Source Generalist Robot Policy.” ArXiv abs/2405.12213 (2024): n. pag.
在多种robot datasets上预训练的large policies有潜力转变robotic learning: 不是从零开始训练新的Policies，这样的通用的robot policies只需要一点的in-domain data就能fine-tune，泛化地很好。然而，为了在多个robotic learning的场景的应用，这样的policies需要处理多个sensors和action spaces，适应常用的robotic platforms，有效地微调到新的domains，在本文中，作者旨在为开发开源的、广泛应用的和通用的robotic manipulation奠定基础。作者提出了Octo，是一个大的基于transformer的policy，从Open X-Embodiment dataset上的800k trajectories上训练的，这是目前最大的robot manipulation dataset，可以通过language command或者goal images进行instruct，能够用新的sensory inputs和action spaces，在标准的消费级GPUs上有效的微调。
作者是来自DeepMind的Xiaohua Zhai等人，论文引用[1]:Zhai, Xiaohua et al. “Sigmoid Loss for Language Image Pre-Training.” 2023 IEEE/CVF International Conference on Computer Vision (ICCV) (2023): 11941-11952.
作者是来自BAAI、华科等机构的Yuxin Fang等人。论文引用[1]:Fang, Yuxin et al. “EVA: Exploring the Limits of Masked Visual Representation Learning at Scale.” 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2022): 19358-19369.
作者提出了EVA，是一个vision-centric的foundation model，仅用公开的数据，来探索大规模visual representation的极限。EVA是一个普通的ViT，预训练用来重建masked out image-text aligned vision features conditioned on visible image patches。通过这个代理任务，可以有效地scale up EVA到1B参数，在多个代表性的下游任务上创造了新的记录，另外，在扩展EVA时，量变会引发迁移学习性能的质变，这种现象在其他模型中并不存在。例如，在极具挑战性的大规模词汇实例分割任务中，EVA实现了跨越式突破：作者的模型在包含超过一千类别的LVISv1.0数据集和仅有80类的COCO数据集上，均达到了接近最先进的性能水平。除了一个pure vision encoder，EVA也可以作为一个vision-centric, 多模态的pivot，来连接images和text，作者发现，通过使用EVA初始化giant CLIP model的视觉分支，不仅能显著提升训练稳定性，还能以更少的样本量和计算资源超越从零训练的同类模型。提供了一个新的scaling up和加速多模态foundation models的方向。
作者是来自Physical Intelligence的Kevin Black 等人。论文引用[1]:Black, Kevin et al. “π0: A Vision-Language-Action Flow Model for General Robot Control.” ArXiv abs/2410.24164 (2024): n. pag.
Robot Learning有很大的前景，解锁灵活、通用和熟练的机器人系统的全部潜力，还能解决AI中的一些最深的问题。然而，将robot learning带到一个有效的real-world systems的要求的通用能力的水平面临一些数据、泛化性和鲁棒性方面的挑战。在本文中，作者讨论了通用的机器人策略(generalist robot policies)如何解决这些挑战，以及作者如何涉及有效的generalist robot policies for complex和highly dexterous tasks。作者提出了一个新的flow matching 架构，建立在一个预训练的VLM基础之上，继承了internet-scale语义信息，作者然后讨论这个model是如何在一个来自多个robot platforms、包括单臂、双臂和移动manipulators上的数据集上进行训练的。作者将从模型通过直接prompting执行任务的能力、遵循人类语言指令的能力，以及遵循高层次VLM策略指令、和通过微调得到新的skills的能力这几个方面来评估我们的模型。