VLA 模型到底难在哪拆解《视觉—语言—动作模型综述》我最初看到“视觉—语言—动作模型”时脑子里出现的结构很直接前面接一个视觉语言模型后面加一个动作头模型看懂画面和指令之后输出控制量。读完张慧等发表于《自动化学报》的这篇综述我更愿意把 VLA 理解为一种系统问题定义它要求视觉语义、任务意图、空间约束和动作执行进入同一条闭环链路而具体用单一大模型、工具调用还是分层系统实现可以不同。这也解释了为什么论文一边强调“感知—决策—执行一体化”一边又把模块化、端到端和混合三类系统都纳入讨论。真正的难点不在于模型里有没有 Transformer而在于语义能否稳定落到三维空间规划能否在动态环境中保持可执行动作能否满足实时性与安全约束。一、论文基本档案项目内容题目《视觉—语言—动作模型综述从前史到前沿》作者张慧、梁姝彤、李明轩、田永林、葛经纬、于慧、李灵犀、王飞跃单位北京交通大学中国科学院自动化研究所欧布达大学格拉斯哥大学普渡大学出处《自动化学报》2025 年第 51 卷第 9 期1922—1950 页DOI10.16383/j.aas.c250417文章类型中文技术综述不是提出单一算法并给出训练曲线的研究论文时间边界收稿 2025-08-28录用 2025-09-10图 2 的时间线延伸到 2025 年 7—8 月证据形态历史梳理、分类框架、代表性方法表、数据集与基准表、应用归纳这篇综述的参考文献编号到 168覆盖经典模块化机器人、强化学习、模仿学习和多模态基础模型并延伸到截至 2025 年仍被讨论的 RT-2、Octo、OpenVLA、3D-VLA、Diffusion Policy、π0、GR00T N1、SmolVLA 等工作。原文没有提供作者统一维护的代码仓库或实验复现脚本本文也不把相似项目的代码入口当成这篇综述的配套资源。二、总体判断它最适合当地图不适合当排行榜我会保留这篇论文的三个框架。第一它把 VLA 前史讲清楚了。早期系统依赖模块化接口、强化学习或模仿学习能够完成特定任务但感知模块通常不知道任务目标决策模块也缺少对环境语义的连续理解。大模型带来的不是“自动拥有机器人能力”而是开放词汇、常识和任务分解能力这些能力还需要被物理可行性、空间定位和底层控制重新约束。第二它用模块化、端到端、混合三条路线组织代表工作。这个分类比单纯按模型名称罗列更容易看出系统把大模型放在什么位置也方便追问接口、延迟、数据和故障定位问题。第三它没有把 VLA 只写成模型结构问题而是继续讨论了真实/仿真数据、预训练与后训练、评测方法、基准测试和应用场景。对刚开始进入具身智能的人这个覆盖范围足以形成第一版术语表。我目前最想保留的怀疑也有三点“模块化、端到端、混合”并不是互斥标签。同一个系统可以同时使用 Transformer、扩散动作头、预训练 VLM 和显式规划器如果分类轴不说明优先级表格容易出现交叉归属。论文比较的是体系结构、任务类型和设计取舍没有在同一机器人、同一任务、同一算力预算下给出统一排名。它能解释“为什么这样设计”不能直接回答“哪个模型最好”。它是一篇覆盖面很广的技术综述但原文没有给出系统检索式、纳入排除标准和最后检索日期。因此“系统回顾”更适合理解为组织结构完整不宜等同于 PRISMA 式的系统综述。三、问题从哪里来机器人并不缺一个“会说话的头”假设用户说“把桌上的杯子拿到水槽边倒掉剩水后再放回架子。”一个完整的 VLA 系统至少要处理四类信息杯子在哪里杯口朝向如何杯里是否真的有水“水槽边”在三维空间中的具体位置是什么从当前位置到目标位置有没有遮挡机械臂以什么姿态抓取更稳执行过程中杯子被碰倒、目标被遮挡或抓取失败后系统如何重新规划。传统模块化机器人可以把检测、抓取位姿、路径规划和底层控制拆开做工程上可控也容易定位故障。问题是模块之间的目标框、状态图、技能名称或语言标签会丢失连续的空间和任务语义上游一个小误差还会沿接口继续传播。预训练视觉语言模型补上了开放词汇和常识推理但它仍可能只知道“杯子一般在桌上”不知道眼前这个杯子的倾斜角、材质和可达性。大语言模型可以写出漂亮的步骤却未必知道某一步在当前机械臂构型下能不能执行。所以这篇综述真正关心的是如何让抽象语义在三维、动态、受物理约束的世界里保持可执行。这也是 VLA 比“VLM 加动作头”更严格的地方。四、全文技术路线我会把论文的内容压缩成下面这条链路用户指令 多视角图像/视频/点云/本体状态 ↓ 多模态编码与语义对齐 ↓ 任务理解、子目标分解与技能选择 ↓ 三维空间约束、可达性、轨迹或未来状态预测 ↓ 动作 token / 末端位姿 / 关节目标 ↓ 运动控制、执行与环境反馈 ↓ 成功判断、异常检测与重新规划 ↑ 闭环回到感知这里有一个容易被忽略的设计原则链路越往上语义越抽象更新频率可以越低越往下动作越具体实时性和安全性要求越高。大模型适合做较慢的语义理解和任务分解底层控制器仍要负责高频反馈。论文后面讨论的异步分层、状态空间模型、动作分块和边缘部署基本都在解决这条链路上的频率错配。五、三类建模范式差别不只在“有没有拆模块”5.1 模块化 VLA让大模型参与规划但保留显式接口论文把 SayCan 作为代表性入口。它把语言模型给出的“语义上下一步该做什么”与机器人技能库给出的“物理上现在能做什么”结合起来选择可执行的动作。维度模块化 VLA 的典型假设与代价核心假设语义规划、空间感知和动作执行可以分开建模通过接口组合输入输出语言指令、视觉/空间观测 → 任务序列、技能调用或轨迹目标优点结构清楚模块可以独立升级失败点相对容易定位代价接口会丢信息串行调用增加延迟各模块没有联合优化错误会跨接口累积代表工作SayCan、PerAct、Mobility VLA 等这类方案并不“落后”。在安全边界明确、技能库稳定的场景里显式接口反而比一个巨大黑箱更容易验证。真正的限制是它很难端到端地学习“语义变化如何改变动作策略”。5.2 端到端 VLA统一表示不等于所有控制都由一个大模型完成端到端路线的目标是把观测、指令和历史动作编码到统一序列或共享表示中再由模型输出动作。论文按主干结构又把它分成 CNN、Transformer、扩散模型、预训练 LLM 和预训练 VLM 几类。这个“二级分类”很有用因为它说明端到端并不是一种单一架构。路线主要做法强项主要问题CNNCLIPort 用语义流与空间流融合输出抓取/放置动作局部视觉特征高效适合桌面操作对长指令、长时序和复杂空间依赖建模较弱TransformerGato、Octo、RT-1/RT-2、ACT 等统一 token 或动作块跨模态全局建模、规模化、动作分块序列越长计算越重数据和任务干扰明显扩散模型Diffusion Policy、RDT-1B 等对动作序列去噪能表示多模态动作分布适合连续动作采样延迟、训练成本和实时性权衡预训练 LLMUni-NaVid 等用 LLM 做语义推理和规划 token长指令理解、跨任务知识迁移语言输出不等于可执行动作仍需动作接口预训练 VLMOpenVLA 等在视觉语言模型上增加动作 token 或动作头复用互联网视觉语义支持新物体与跨机器人适配模型大、机器人数据仍关键、控制频率受限几个代表工作值得放在一起看Gato把图像、文本、机器人和游戏控制等任务序列化为统一 token用类似语言模型的方式预测下一个 token。它证明了“一个模型处理多任务”的可行性但也把可解释性和任务干扰问题带进了系统。RT-2的重点是把互联网图文知识迁移到机器人动作。它说明视觉语言知识可以影响动作选择但“零样本泛化”仍然有任务、场景和平台边界。OpenVLA用 SigLIP/DINOv2 视觉编码器、Llama 2 语言模型和离散动作 token在约 97 万条机器人演示上微调。原文同时强调了它的开放模型价值与资源受限平台上的实时控制困难。Octo将视觉、语言和历史动作统一成 token并使用扩散动作头输出连续动作重点在可适配的通用机器人策略。Diffusion Policy把动作生成看成条件去噪过程适合同一任务存在多条合理轨迹的情况。它的收益来自分布建模代价则是采样速度和部署预算。这里要分清两个“端到端”。一个是数据流端到端从观测直接学习到动作中间不人为指定检测框或技能标签。另一个是控制频率端到端模型真的直接产生高频电机控制。综述里不少方法只满足前者并不满足后者。把这两个概念混在一起很容易把高层规划模型误认为完整的机器人控制系统。5.3 混合 VLA把显式推理和隐式动作生成接起来混合路线的动机很实际纯端到端模型难以解释和纠错纯模块化系统又容易接口断裂。论文把它分成两类Prompt 引导型HiRT、MoRE、SmolVLA 等把任务、环境约束或视觉语言特征作为提示注入执行模块在保留端到端动作生成的同时增加可控性。显式推理层型EnerVerse、CoT-VLA、DreamVLA 等先生成子目标、未来状态、三维约束或世界知识再注入动作生成器。混合系统的关键是“中间表示是否真的被执行器使用”。如果中间图像、三维图或推理文本只是生成出来给人看没有进入策略条件那么它提供的是解释不是控制。反过来如果约束的粒度与动作模块不匹配系统也会出现“约束写了但动作没有遵守”的情况。六、代表方法怎么比较方法在链路中的位置解决的问题不能由它单独证明的事情SayCan语言任务选择 技能可行性把语言意图约束到现有技能库端到端视觉运动能力和开放环境泛化VoxPoserLLM/VLM → 三维价值图 → 轨迹优化让语言约束落到可操作的三维空间动态场景下的长期稳定性和真实接触效果RT-2视觉语言预训练 → 动作 token互联网知识向动作策略迁移任意机器人形态上的实时安全控制OpenVLA视觉语言主干 机器人动作微调开源通用 VLA 的可复现基线与跨机器人适配所有平台上的实时性、鲁棒性和任务成功率3D-VLA三维感知 生成式世界模型 动作引入三维场景、未来状态和具身推理视频/点云预测误差在真实闭环中的传播程度Diffusion Policy观测条件 → 动作序列去噪建模多模态连续动作分布高层语言任务泛化与完整系统安全表中方法的目标、机器人平台、数据集和评测方式并不相同。把它们放在一张表里适合看“在链路中负责什么”不适合直接比较数值高低。七、数据与训练真正的瓶颈在“可执行性”论文将数据分成真实环境数据、仿真数据和自然语言/视觉指令数据又把训练分成预训练与后训练。7.1 数据来源来源优势根本缺口论文中的例子真实机器人数据包含真实传感噪声、动力学和硬件差异采集贵、覆盖窄、存在安全风险BC-Z、RT-1、BridgeData V2、RH20T、DROID、OXE仿真数据可控、可大规模生成、便于统一定义任务有现实鸿沟柔性物体和接触物理尤其难VIMA-Data、RoboCasa、SynGrasp-1B、RoboTwin 2.0人类视频/演示规模大行为与场景丰富通常缺少机器人动作标签形态和时间偏移明显视频预训练、EgoVLA、Being-H0 等路线跨具身聚合增加平台和场景多样性动作空间、观测方式和指令语义难统一OXE论文称覆盖 22 种机器人、超过一百万条轨迹表格中的“论文称覆盖多少机器人、多少轨迹”是有价值的规模信号但不能替代数据质量检查。不同版本的数据集、过滤规则和去重方式可能改变数字使用时应回到数据集原始说明而不是只抄综述表格。更重要的是动作标签不是自然语言标签的替代品。一段人类视频可以告诉模型“这是什么动作”却不一定告诉机器人“在当前本体和当前接触状态下该怎么执行”。预训练可以把语义先验带进来真正落地仍要少量高质量机器人轨迹做对齐。7.2 预训练从“同域堆量”到“通用语义 行动对齐”论文把预训练归纳为四条路线领域内模仿训练Octo、RDT-1B 等在机器人轨迹上做大规模行为克隆收益直接但很容易被采集域限制。分阶段迁移先用互联网视觉语言数据学语义再用机器人数据学动作RT-2、OpenVLA、视频预训练模型都属于这一思路的不同变体。混合专家用 MoE 把控制、视觉理解和语言能力分给不同专家降低共享参数造成的任务干扰。主动推理训练通过思维链、子目标或中间推理让模型在动作之前先给出任务分解和空间关系。我的理解是第三条和第四条都在绕开同一个问题预训练数据带来的“世界知识”与机器人动作数据带来的“可执行技能”并不天然对齐。MoE 试图从参数结构上减少冲突显式推理试图从表示结构上暴露决策依据但两者都还没有解决推理误差如何被执行器发现的问题。7.3 后训练不是所有微调都等于全参数重训论文比较了监督微调、强化学习微调、分层模块微调和端到端联合微调。这个层次比简单的“预训练 微调”更实用监督微调适合新任务与预训练分布接近的情况本质上是行为克隆强化学习微调可以超过示范数据上限但真机采样成本高探索还可能损坏设备分层模块微调可以冻结高层语义模块只更新动作头或少量 LoRA 参数端到端联合微调可能取得特定任务最优性能却最容易灾难性遗忘。论文提到的 LoRA 额外参数不到 0.5%、末端策略头约占 0.1% 等数字来自它所引用的具体工作。读这些数字时应该继续核对任务、硬件和基线不能把参数占比直接当成泛化收益。八、评测为什么仍然难论文总结了四类评估方法评估方法适合验证什么主要风险分阶段评估仿真大规模筛选再做小样本真机验证仿真与现实差异会被带入候选筛选域自适应评估从源域迁移到目标域的适应速度和恢复能力需要统一的适配预算和域划分虚实协同评估数字孪生、故障注入和极端场景测试建图、传感同步和现实一致性成本高在线自适应评估执行中实时监测、重规划和反应延迟安全风险高实验协议复杂论文列举的基准包括视觉语言导航的 VLN-CE、操作任务中的 RLBench、Meta-World、CALVIN、LIBERO、Franka Kitchen以及连续控制的 DeepMind Control Suite。常用指标除了成功率还包括路径效率加权成功率、样本效率、泛化得分、导航误差、前向/后向迁移和鲁棒性。这些指标比“成功率高不高”更接近真实问题但仍然缺少一个统一证据矩阵。一个 VLA 系统如果只在仿真里成功不能据此推断真机安全如果在多个机器人上平均成功率提高也不能推断动作接口已经统一。更值得补充的指标至少包括相同算力、传感和动作频率下的成功率和延迟未见物体、遮挡、光照变化和动态障碍下的条件化性能失败检测、重规划和人工接管所需时间接触力、碰撞次数和越界动作等安全指标跨机器人平台迁移时的动作空间对齐误差。九、应用场景要看证据层级论文覆盖了家庭服务、工业协作、自动驾驶、医疗、无人系统等应用。方向梳理是有用的但应用段落里的事实层级并不完全一样SayCan、OpenVLA、3D-VLA 这类方法有相对明确的论文实验和数据集某些生产线、医院、无人机或机器人公司的案例可能来自项目报道或系统集成实践像“耗时缩短约 15%”“定位准确率 98%”“减少辐射暴露 360 h”这类数字综述没有展开实验协议、样本量、失败案例和统计口径。因此这些案例适合回答“VLA 可能进入哪些场景”不适合直接拿来写“某方法在真实场景已被证明优于传统系统”。如果后续要做课题综述应用陈述必须回溯到对应原始文献或项目报告。十、这篇综述的证据边界作为综述它的主要证据是分类解释力、代表工作覆盖和图表组织不是作者自己训练的模型曲线。我主要检查三件事分类能否解释代表方法数据和评测章节是否给出可继续追的原始出处结论中的挑战是否能从前面文献得到支持。前两项做得比较完整第三项以方向性判断为主。例如“跨模态对齐不足”“实时推理困难”“长时序规划容易累积误差”都合理但综述没有给出统一的跨文献统计。它也没有系统报告检索数据库、关键词、筛选流程、每类工作数量和研究质量评价。另外综述的时间边界很关键。文章 2025 年 8 月底收稿、9 月录用已经纳入 π0、GR00T N1、SmolVLA 等较新的工作但 2025 年下半年以后 VLA、世界动作模型和机器人基础模型仍会快速变化。用它建立概念框架可以拿它当 2026 年的最新模型清单则不合适。十一、还没想清楚的问题1. 动态三维记忆应该放在哪一层当前 VLA 多把当前图像、短时视频和语言指令直接送入模型。面对移动目标、遮挡变化和长时间操作系统需要维护对象身份、几何状态和历史交互关系。把 3D/4D 记忆放在视觉编码器、世界模型还是外部场景图里会直接影响更新频率、误差传播和可解释性。2. 何时应该停止执行很多评测只看最终成功率却忽略了“系统是否有自知之明”。如果视觉置信度下降、动作执行偏离预期或接触力异常模型应该减速、重规划、请求人类帮助还是继续完成当前动作这需要把不确定性估计和风险控制放进 VLA 的动作接口而不是只在事后解释。3. 怎样公平比较不同架构模块化系统的优势是解释和替换端到端系统的优势是统一优化。若没有同一数据、同一机器人、同一延迟预算和同一安全协议二者的胜负很容易由实验设置决定。后续比较至少应该把任务成功率、推理频率、显存、人工干预和故障恢复放在同一张表里。4. 跨机器人到底迁移了什么OXE/RT-X 这类工作说明多机器人数据可以带来正迁移但“动作空间统一”和“策略语义统一”不是一回事。一个模型即使学会了不同机器人都能执行“抓取”也不一定理解同一个对象属性在不同末端执行器上的操作差异。十二、如果是我下一篇先读什么这篇综述适合当路线图。沿着它继续读时我会按“先理解系统位置再看具体机制”的顺序走SayCan → RT-2 → OpenVLA → VoxPoser → 3D-VLA → ACT / ALOHA 或 Diffusion Policy原因分别是SayCan理解语言模型如何受技能可行性约束RT-2看互联网视觉语言知识如何进入动作 tokenOpenVLA看开放模型、机器人数据和跨平台适配的具体折中VoxPoser理解语言如何变成三维空间中的可执行约束3D-VLA把三维场景、未来状态和动作生成放在一起ACT / ALOHA 或 Diffusion Policy补上动作分块、连续动作分布和真实双臂操作细节。如果结合动态场景目标检测与语义分割方向我会优先补两条线一条是 VLA 如何维护随时间变化的 3D/4D 场景记忆另一条是检测/分割出现漏检、误检或遮挡时动作策略如何感知风险并重新规划。前者对应三维视觉与世界模型后者对应不确定性和闭环安全。延伸阅读SayCan: Do As I Can, Not As I SayRT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic ControlOpenVLA: An Open-Source Vision-Language-Action ModelVoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models3D-VLA: A 3D Vision-Language-Action Generative World ModelACT: Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware十三、三句话记住这篇论文VLA 的本质不是“视觉语言模型输出文字后再调机器人”而是让语义、空间约束和动作执行共享一条可闭环、可验证的路径。模块化、端到端和混合系统各有适用条件真实部署通常需要用分层、异步或显式中间表示来平衡泛化、实时性和安全。目前最缺的不是再多一个模型名称而是统一数据协议、可解释的失败分析、动态三维记忆和同一预算下的评测证据。关键词具身智能、VLA、视觉语言模型、机器人操作、三维感知、任务泛化 
长河君 · 2026/10/27 18:52:17 · 阅读 1.2k 【综述】《视觉—语言—动作模型综述》阅读笔记
VLA 模型到底难在哪拆解《视觉—语言—动作模型综述》我最初看到“视觉—语言—动作模型”时脑子里出现的结构很直接前面接一个视觉语言模型后面加一个动作头模型看懂画面和指令之后输出控制量。读完张慧等发表于《自动化学报》的这篇综述我更愿意把 VLA 理解为一种系统问题定义它要求视觉语义、任务意图、空间约束和动作执行进入同一条闭环链路而具体用单一大模型、工具调用还是分层系统实现可以不同。这也解释了为什么论文一边强调“感知—决策—执行一体化”一边又把模块化、端到端和混合三类系统都纳入讨论。真正的难点不在于模型里有没有 Transformer而在于语义能否稳定落到三维空间规划能否在动态环境中保持可执行动作能否满足实时性与安全约束。一、论文基本档案项目内容题目《视觉—语言—动作模型综述从前史到前沿》作者张慧、梁姝彤、李明轩、田永林、葛经纬、于慧、李灵犀、王飞跃单位北京交通大学中国科学院自动化研究所欧布达大学格拉斯哥大学普渡大学出处《自动化学报》2025 年第 51 卷第 9 期1922—1950 页DOI10.16383/j.aas.c250417文章类型中文技术综述不是提出单一算法并给出训练曲线的研究论文时间边界收稿 2025-08-28录用 2025-09-10图 2 的时间线延伸到 2025 年 7—8 月证据形态历史梳理、分类框架、代表性方法表、数据集与基准表、应用归纳这篇综述的参考文献编号到 168覆盖经典模块化机器人、强化学习、模仿学习和多模态基础模型并延伸到截至 2025 年仍被讨论的 RT-2、Octo、OpenVLA、3D-VLA、Diffusion Policy、π0、GR00T N1、SmolVLA 等工作。原文没有提供作者统一维护的代码仓库或实验复现脚本本文也不把相似项目的代码入口当成这篇综述的配套资源。二、总体判断它最适合当地图不适合当排行榜我会保留这篇论文的三个框架。第一它把 VLA 前史讲清楚了。早期系统依赖模块化接口、强化学习或模仿学习能够完成特定任务但感知模块通常不知道任务目标决策模块也缺少对环境语义的连续理解。大模型带来的不是“自动拥有机器人能力”而是开放词汇、常识和任务分解能力这些能力还需要被物理可行性、空间定位和底层控制重新约束。第二它用模块化、端到端、混合三条路线组织代表工作。这个分类比单纯按模型名称罗列更容易看出系统把大模型放在什么位置也方便追问接口、延迟、数据和故障定位问题。第三它没有把 VLA 只写成模型结构问题而是继续讨论了真实/仿真数据、预训练与后训练、评测方法、基准测试和应用场景。对刚开始进入具身智能的人这个覆盖范围足以形成第一版术语表。我目前最想保留的怀疑也有三点“模块化、端到端、混合”并不是互斥标签。同一个系统可以同时使用 Transformer、扩散动作头、预训练 VLM 和显式规划器如果分类轴不说明优先级表格容易出现交叉归属。论文比较的是体系结构、任务类型和设计取舍没有在同一机器人、同一任务、同一算力预算下给出统一排名。它能解释“为什么这样设计”不能直接回答“哪个模型最好”。它是一篇覆盖面很广的技术综述但原文没有给出系统检索式、纳入排除标准和最后检索日期。因此“系统回顾”更适合理解为组织结构完整不宜等同于 PRISMA 式的系统综述。三、问题从哪里来机器人并不缺一个“会说话的头”假设用户说“把桌上的杯子拿到水槽边倒掉剩水后再放回架子。”一个完整的 VLA 系统至少要处理四类信息杯子在哪里杯口朝向如何杯里是否真的有水“水槽边”在三维空间中的具体位置是什么从当前位置到目标位置有没有遮挡机械臂以什么姿态抓取更稳执行过程中杯子被碰倒、目标被遮挡或抓取失败后系统如何重新规划。传统模块化机器人可以把检测、抓取位姿、路径规划和底层控制拆开做工程上可控也容易定位故障。问题是模块之间的目标框、状态图、技能名称或语言标签会丢失连续的空间和任务语义上游一个小误差还会沿接口继续传播。预训练视觉语言模型补上了开放词汇和常识推理但它仍可能只知道“杯子一般在桌上”不知道眼前这个杯子的倾斜角、材质和可达性。大语言模型可以写出漂亮的步骤却未必知道某一步在当前机械臂构型下能不能执行。所以这篇综述真正关心的是如何让抽象语义在三维、动态、受物理约束的世界里保持可执行。这也是 VLA 比“VLM 加动作头”更严格的地方。四、全文技术路线我会把论文的内容压缩成下面这条链路用户指令 多视角图像/视频/点云/本体状态 ↓ 多模态编码与语义对齐 ↓ 任务理解、子目标分解与技能选择 ↓ 三维空间约束、可达性、轨迹或未来状态预测 ↓ 动作 token / 末端位姿 / 关节目标 ↓ 运动控制、执行与环境反馈 ↓ 成功判断、异常检测与重新规划 ↑ 闭环回到感知这里有一个容易被忽略的设计原则链路越往上语义越抽象更新频率可以越低越往下动作越具体实时性和安全性要求越高。大模型适合做较慢的语义理解和任务分解底层控制器仍要负责高频反馈。论文后面讨论的异步分层、状态空间模型、动作分块和边缘部署基本都在解决这条链路上的频率错配。五、三类建模范式差别不只在“有没有拆模块”5.1 模块化 VLA让大模型参与规划但保留显式接口论文把 SayCan 作为代表性入口。它把语言模型给出的“语义上下一步该做什么”与机器人技能库给出的“物理上现在能做什么”结合起来选择可执行的动作。维度模块化 VLA 的典型假设与代价核心假设语义规划、空间感知和动作执行可以分开建模通过接口组合输入输出语言指令、视觉/空间观测 → 任务序列、技能调用或轨迹目标优点结构清楚模块可以独立升级失败点相对容易定位代价接口会丢信息串行调用增加延迟各模块没有联合优化错误会跨接口累积代表工作SayCan、PerAct、Mobility VLA 等这类方案并不“落后”。在安全边界明确、技能库稳定的场景里显式接口反而比一个巨大黑箱更容易验证。真正的限制是它很难端到端地学习“语义变化如何改变动作策略”。5.2 端到端 VLA统一表示不等于所有控制都由一个大模型完成端到端路线的目标是把观测、指令和历史动作编码到统一序列或共享表示中再由模型输出动作。论文按主干结构又把它分成 CNN、Transformer、扩散模型、预训练 LLM 和预训练 VLM 几类。这个“二级分类”很有用因为它说明端到端并不是一种单一架构。路线主要做法强项主要问题CNNCLIPort 用语义流与空间流融合输出抓取/放置动作局部视觉特征高效适合桌面操作对长指令、长时序和复杂空间依赖建模较弱TransformerGato、Octo、RT-1/RT-2、ACT 等统一 token 或动作块跨模态全局建模、规模化、动作分块序列越长计算越重数据和任务干扰明显扩散模型Diffusion Policy、RDT-1B 等对动作序列去噪能表示多模态动作分布适合连续动作采样延迟、训练成本和实时性权衡预训练 LLMUni-NaVid 等用 LLM 做语义推理和规划 token长指令理解、跨任务知识迁移语言输出不等于可执行动作仍需动作接口预训练 VLMOpenVLA 等在视觉语言模型上增加动作 token 或动作头复用互联网视觉语义支持新物体与跨机器人适配模型大、机器人数据仍关键、控制频率受限几个代表工作值得放在一起看Gato把图像、文本、机器人和游戏控制等任务序列化为统一 token用类似语言模型的方式预测下一个 token。它证明了“一个模型处理多任务”的可行性但也把可解释性和任务干扰问题带进了系统。RT-2的重点是把互联网图文知识迁移到机器人动作。它说明视觉语言知识可以影响动作选择但“零样本泛化”仍然有任务、场景和平台边界。OpenVLA用 SigLIP/DINOv2 视觉编码器、Llama 2 语言模型和离散动作 token在约 97 万条机器人演示上微调。原文同时强调了它的开放模型价值与资源受限平台上的实时控制困难。Octo将视觉、语言和历史动作统一成 token并使用扩散动作头输出连续动作重点在可适配的通用机器人策略。Diffusion Policy把动作生成看成条件去噪过程适合同一任务存在多条合理轨迹的情况。它的收益来自分布建模代价则是采样速度和部署预算。这里要分清两个“端到端”。一个是数据流端到端从观测直接学习到动作中间不人为指定检测框或技能标签。另一个是控制频率端到端模型真的直接产生高频电机控制。综述里不少方法只满足前者并不满足后者。把这两个概念混在一起很容易把高层规划模型误认为完整的机器人控制系统。5.3 混合 VLA把显式推理和隐式动作生成接起来混合路线的动机很实际纯端到端模型难以解释和纠错纯模块化系统又容易接口断裂。论文把它分成两类Prompt 引导型HiRT、MoRE、SmolVLA 等把任务、环境约束或视觉语言特征作为提示注入执行模块在保留端到端动作生成的同时增加可控性。显式推理层型EnerVerse、CoT-VLA、DreamVLA 等先生成子目标、未来状态、三维约束或世界知识再注入动作生成器。混合系统的关键是“中间表示是否真的被执行器使用”。如果中间图像、三维图或推理文本只是生成出来给人看没有进入策略条件那么它提供的是解释不是控制。反过来如果约束的粒度与动作模块不匹配系统也会出现“约束写了但动作没有遵守”的情况。六、代表方法怎么比较方法在链路中的位置解决的问题不能由它单独证明的事情SayCan语言任务选择 技能可行性把语言意图约束到现有技能库端到端视觉运动能力和开放环境泛化VoxPoserLLM/VLM → 三维价值图 → 轨迹优化让语言约束落到可操作的三维空间动态场景下的长期稳定性和真实接触效果RT-2视觉语言预训练 → 动作 token互联网知识向动作策略迁移任意机器人形态上的实时安全控制OpenVLA视觉语言主干 机器人动作微调开源通用 VLA 的可复现基线与跨机器人适配所有平台上的实时性、鲁棒性和任务成功率3D-VLA三维感知 生成式世界模型 动作引入三维场景、未来状态和具身推理视频/点云预测误差在真实闭环中的传播程度Diffusion Policy观测条件 → 动作序列去噪建模多模态连续动作分布高层语言任务泛化与完整系统安全表中方法的目标、机器人平台、数据集和评测方式并不相同。把它们放在一张表里适合看“在链路中负责什么”不适合直接比较数值高低。七、数据与训练真正的瓶颈在“可执行性”论文将数据分成真实环境数据、仿真数据和自然语言/视觉指令数据又把训练分成预训练与后训练。7.1 数据来源来源优势根本缺口论文中的例子真实机器人数据包含真实传感噪声、动力学和硬件差异采集贵、覆盖窄、存在安全风险BC-Z、RT-1、BridgeData V2、RH20T、DROID、OXE仿真数据可控、可大规模生成、便于统一定义任务有现实鸿沟柔性物体和接触物理尤其难VIMA-Data、RoboCasa、SynGrasp-1B、RoboTwin 2.0人类视频/演示规模大行为与场景丰富通常缺少机器人动作标签形态和时间偏移明显视频预训练、EgoVLA、Being-H0 等路线跨具身聚合增加平台和场景多样性动作空间、观测方式和指令语义难统一OXE论文称覆盖 22 种机器人、超过一百万条轨迹表格中的“论文称覆盖多少机器人、多少轨迹”是有价值的规模信号但不能替代数据质量检查。不同版本的数据集、过滤规则和去重方式可能改变数字使用时应回到数据集原始说明而不是只抄综述表格。更重要的是动作标签不是自然语言标签的替代品。一段人类视频可以告诉模型“这是什么动作”却不一定告诉机器人“在当前本体和当前接触状态下该怎么执行”。预训练可以把语义先验带进来真正落地仍要少量高质量机器人轨迹做对齐。7.2 预训练从“同域堆量”到“通用语义 行动对齐”论文把预训练归纳为四条路线领域内模仿训练Octo、RDT-1B 等在机器人轨迹上做大规模行为克隆收益直接但很容易被采集域限制。分阶段迁移先用互联网视觉语言数据学语义再用机器人数据学动作RT-2、OpenVLA、视频预训练模型都属于这一思路的不同变体。混合专家用 MoE 把控制、视觉理解和语言能力分给不同专家降低共享参数造成的任务干扰。主动推理训练通过思维链、子目标或中间推理让模型在动作之前先给出任务分解和空间关系。我的理解是第三条和第四条都在绕开同一个问题预训练数据带来的“世界知识”与机器人动作数据带来的“可执行技能”并不天然对齐。MoE 试图从参数结构上减少冲突显式推理试图从表示结构上暴露决策依据但两者都还没有解决推理误差如何被执行器发现的问题。7.3 后训练不是所有微调都等于全参数重训论文比较了监督微调、强化学习微调、分层模块微调和端到端联合微调。这个层次比简单的“预训练 微调”更实用监督微调适合新任务与预训练分布接近的情况本质上是行为克隆强化学习微调可以超过示范数据上限但真机采样成本高探索还可能损坏设备分层模块微调可以冻结高层语义模块只更新动作头或少量 LoRA 参数端到端联合微调可能取得特定任务最优性能却最容易灾难性遗忘。论文提到的 LoRA 额外参数不到 0.5%、末端策略头约占 0.1% 等数字来自它所引用的具体工作。读这些数字时应该继续核对任务、硬件和基线不能把参数占比直接当成泛化收益。八、评测为什么仍然难论文总结了四类评估方法评估方法适合验证什么主要风险分阶段评估仿真大规模筛选再做小样本真机验证仿真与现实差异会被带入候选筛选域自适应评估从源域迁移到目标域的适应速度和恢复能力需要统一的适配预算和域划分虚实协同评估数字孪生、故障注入和极端场景测试建图、传感同步和现实一致性成本高在线自适应评估执行中实时监测、重规划和反应延迟安全风险高实验协议复杂论文列举的基准包括视觉语言导航的 VLN-CE、操作任务中的 RLBench、Meta-World、CALVIN、LIBERO、Franka Kitchen以及连续控制的 DeepMind Control Suite。常用指标除了成功率还包括路径效率加权成功率、样本效率、泛化得分、导航误差、前向/后向迁移和鲁棒性。这些指标比“成功率高不高”更接近真实问题但仍然缺少一个统一证据矩阵。一个 VLA 系统如果只在仿真里成功不能据此推断真机安全如果在多个机器人上平均成功率提高也不能推断动作接口已经统一。更值得补充的指标至少包括相同算力、传感和动作频率下的成功率和延迟未见物体、遮挡、光照变化和动态障碍下的条件化性能失败检测、重规划和人工接管所需时间接触力、碰撞次数和越界动作等安全指标跨机器人平台迁移时的动作空间对齐误差。九、应用场景要看证据层级论文覆盖了家庭服务、工业协作、自动驾驶、医疗、无人系统等应用。方向梳理是有用的但应用段落里的事实层级并不完全一样SayCan、OpenVLA、3D-VLA 这类方法有相对明确的论文实验和数据集某些生产线、医院、无人机或机器人公司的案例可能来自项目报道或系统集成实践像“耗时缩短约 15%”“定位准确率 98%”“减少辐射暴露 360 h”这类数字综述没有展开实验协议、样本量、失败案例和统计口径。因此这些案例适合回答“VLA 可能进入哪些场景”不适合直接拿来写“某方法在真实场景已被证明优于传统系统”。如果后续要做课题综述应用陈述必须回溯到对应原始文献或项目报告。十、这篇综述的证据边界作为综述它的主要证据是分类解释力、代表工作覆盖和图表组织不是作者自己训练的模型曲线。我主要检查三件事分类能否解释代表方法数据和评测章节是否给出可继续追的原始出处结论中的挑战是否能从前面文献得到支持。前两项做得比较完整第三项以方向性判断为主。例如“跨模态对齐不足”“实时推理困难”“长时序规划容易累积误差”都合理但综述没有给出统一的跨文献统计。它也没有系统报告检索数据库、关键词、筛选流程、每类工作数量和研究质量评价。另外综述的时间边界很关键。文章 2025 年 8 月底收稿、9 月录用已经纳入 π0、GR00T N1、SmolVLA 等较新的工作但 2025 年下半年以后 VLA、世界动作模型和机器人基础模型仍会快速变化。用它建立概念框架可以拿它当 2026 年的最新模型清单则不合适。十一、还没想清楚的问题1. 动态三维记忆应该放在哪一层当前 VLA 多把当前图像、短时视频和语言指令直接送入模型。面对移动目标、遮挡变化和长时间操作系统需要维护对象身份、几何状态和历史交互关系。把 3D/4D 记忆放在视觉编码器、世界模型还是外部场景图里会直接影响更新频率、误差传播和可解释性。2. 何时应该停止执行很多评测只看最终成功率却忽略了“系统是否有自知之明”。如果视觉置信度下降、动作执行偏离预期或接触力异常模型应该减速、重规划、请求人类帮助还是继续完成当前动作这需要把不确定性估计和风险控制放进 VLA 的动作接口而不是只在事后解释。3. 怎样公平比较不同架构模块化系统的优势是解释和替换端到端系统的优势是统一优化。若没有同一数据、同一机器人、同一延迟预算和同一安全协议二者的胜负很容易由实验设置决定。后续比较至少应该把任务成功率、推理频率、显存、人工干预和故障恢复放在同一张表里。4. 跨机器人到底迁移了什么OXE/RT-X 这类工作说明多机器人数据可以带来正迁移但“动作空间统一”和“策略语义统一”不是一回事。一个模型即使学会了不同机器人都能执行“抓取”也不一定理解同一个对象属性在不同末端执行器上的操作差异。十二、如果是我下一篇先读什么这篇综述适合当路线图。沿着它继续读时我会按“先理解系统位置再看具体机制”的顺序走SayCan → RT-2 → OpenVLA → VoxPoser → 3D-VLA → ACT / ALOHA 或 Diffusion Policy原因分别是SayCan理解语言模型如何受技能可行性约束RT-2看互联网视觉语言知识如何进入动作 tokenOpenVLA看开放模型、机器人数据和跨平台适配的具体折中VoxPoser理解语言如何变成三维空间中的可执行约束3D-VLA把三维场景、未来状态和动作生成放在一起ACT / ALOHA 或 Diffusion Policy补上动作分块、连续动作分布和真实双臂操作细节。如果结合动态场景目标检测与语义分割方向我会优先补两条线一条是 VLA 如何维护随时间变化的 3D/4D 场景记忆另一条是检测/分割出现漏检、误检或遮挡时动作策略如何感知风险并重新规划。前者对应三维视觉与世界模型后者对应不确定性和闭环安全。延伸阅读SayCan: Do As I Can, Not As I SayRT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic ControlOpenVLA: An Open-Source Vision-Language-Action ModelVoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models3D-VLA: A 3D Vision-Language-Action Generative World ModelACT: Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware十三、三句话记住这篇论文VLA 的本质不是“视觉语言模型输出文字后再调机器人”而是让语义、空间约束和动作执行共享一条可闭环、可验证的路径。模块化、端到端和混合系统各有适用条件真实部署通常需要用分层、异步或显式中间表示来平衡泛化、实时性和安全。目前最缺的不是再多一个模型名称而是统一数据协议、可解释的失败分析、动态三维记忆和同一预算下的评测证据。关键词具身智能、VLA、视觉语言模型、机器人操作、三维感知、任务泛化