本文是论文《GR00T N1: An Open Foundation Model for Generalist Humanoid Robots》的中文精读。我会把论文里的关键公式翻译成大白话并结合我自己在启元PRIMEBOT机器人 SDK 上的开发经验聊聊这篇论文对国内人形机器人从业者与开发者的参考价值。所有数据均来自论文原文出处见文末附录。文章目录一、从一段启元 SDK 代码说起二、论文名片三、为什么人形机器人需要基础模型四、双系统架构快与慢五、流匹配把生成动作变成去噪六、数据金字塔8375.7 小时从哪来七、预训练成绩单仿真基准上的差距有多大八、真机成绩单数据效率才是杀手锏九、冷静看论文自己承认的三个局限十、镜鉴之一架构照见——双系统离我们并不远十一、镜鉴之二生态照见——数据金字塔才是真正要卷的东西十二、写在最后一、从一段启元 SDK 代码说起先说一个我日常开发中每天都在打交道的东西。启元机器人的 SDK 是基于 ROS2 Humble 加 FastDDS 构建的机器人身上跑着一个叫 McAction 的状态机——20 个状态、200 段 TRANSITION 转移逻辑任何一个动作走路、挥手、抓握都必须在这张状态表里流转错误码 -1001、-1004、-10001 各自对应不同层级的故障。这套东西说白了就是机器人的脊髓反射不聪明但稳定、可预期、出了问题能定位。更有意思的是它的输入源仲裁机制。SDK 提供的接口允许开发者给机器人的控制权设定 100 到 0 的优先级——语音指令、App 遥控、技能包自动逻辑、安全兜底各占一个优先级位高优先级输入抢到控制权后如果 1000 毫秒内没有续约系统自动脱锁、降级回低优先级输入。第一次读这段设计时我想这不就是操作系统里的中断优先级 看门狗吗你会发现这套架构里其实隐含了一个分层假设底层的执行控制必须是确定性的、毫秒级的而想干什么这个层面的决策可以慢一点、聪明一点甚至可以来自外部。当我后来读到英伟达 2025 年 3 月开源的人形机器人基础模型 GR00T N1 的论文时第一反应是这篇论文把这个分层假设用深度学习的方式完整实现了一遍而且开源了权重、开源了训练管线。它管这个叫双系统架构灵感直接来自心理学——卡尼曼的《思考快与慢》Kahneman, 2011论文参考文献第 46 条写得明明白白。这篇文章我们就把这篇论文掰开揉碎读一遍。它为什么值得读三个理由它是目前人形机器人方向引用量最高的基础模型论文之一它的模型权重真开源了CC BY 4.0 许可商用研究都友好它的训练方法论——尤其是那座数据金字塔——几乎是后来所有 VLA视觉-语言-动作模型论文绕不开的对照物。二、论文名片先把文献信息放前面方便你去检索原文项目内容标题GR00T N1: An Open Foundation Model for Generalist Humanoid Robots机构NVIDIA署名作者规模很大核心贡献者名单见论文附录 AarXiv 编号arXiv:2503.14734DOI10.48550/arXiv.2503.14734版本v1 2025-03-18 提交v2 2025-03-27 修订许可证CC BY 4.0模型权重与论文均开放部署平台Fourier GR-1 人形机器人双臂操作任务一句话概括论文干了什么训练了一个参数量 2.2B 的开源 VLA 模型让它能看懂图像、听懂人话、输出机器人动作然后在仿真和真机上系统性验证了它比传统模仿学习方法更强、更省数据。给赶时间的读者一份阅读指南只想看结论读摘要加第 4 节实验想理解架构读第 3 节模型设计一共也就几页想抄作业重点看第 3.3 节数据和附录 E数据格式与动作空间标准化想判断靠不靠谱直接翻第 4.6 节 Limitations。下面我们按背景→架构→数据→实验→局限→启示的顺序完整过一遍。其实这个描述听起来平平无奇但通用二字才是重点——同一个模型、同一套权重跨机械臂、跨人形机器人多种本体都能工作。怎么做到的是本文最值得细读的部分。三、为什么人形机器人需要基础模型在讲架构之前先补一点背景不然你不知道这篇论文在反抗什么。传统机器人学习的主流范式是一个任务训一个策略拿几十上百条示教数据人类遥控机器人做一遍用模仿学习算法比如行为克隆 BC、扩散策略 Diffusion Policy训出一个只会上这一件事的小模型。抓杯子一个模型、开抽屉一个模型、擦桌子一个模型。这条路的问题在于规模不经济。数据是每个任务从零采的模型是每个任务从零训的能力之间不共享。你给机器人录了 100 条抓杯子的示教它学不会任何关于抓的通用知识能迁移到抓瓶子上——因为模型的容量太小、先验太少一切都是从示教数据里现背的。大语言模型领域已经示范过另一条路在海量数据上预训练一个基础模型再针对下游任务少量微调。GR00T N1 论文问的问题就是——机器人领域能不能复制这条路这条路在当时并非没人走过。GR00T N1 之前业界已经有了一批 VLAVision-Language-Action视觉-语言-动作模型的探索谷歌的 RT-2 系列验证了用互联网级视觉-语言知识直接输出机器人动作的可行性开源社区的 OpenVLA 把 7B 的 VLA 模型权重放了出来Physical Intelligence 的 π0 则把流匹配引入了动作生成。GR00T N1 的定位可以理解为把这条技术路线第一次完整地落到人形机器人上——跨本体、开源权重、预训练后训练全管线公开并且给出了系统性的消融实验而不是单点 demo。这篇论文之后双系统 流匹配 数据金字塔几乎成了新人形 VLA 论文的标准对照系。难点也是明摆着的。互联网上有无限的文本和图片但没有任何机器人操作的数据——你不能从网上爬到机械臂末端六自由度轨迹这种东西。所以论文的核心工作其实是两件事设计一个能吃异构数据的架构以及造一座能从互联网数据一路铺到真机数据的金字塔。下面逐个拆。四、双系统架构快与慢论文的架构设计直接借用了卡尼曼的双系统理论System 2慢思考一个预训练的视觉-语言模型VLM负责看懂场景、理解指令、推断该干什么。它基于 Eagle-2 VLM在 NVIDIA L40 GPU 上以 10Hz 运行。System 1快行动一个扩散变压器Diffusion Transformer, DiT用动作流匹配训练负责把该干什么翻译成连续的电机动作。它以 120Hz 运行并且通过交叉注意力机制读取 VLM 的输出。说白了System 2 是大脑皮层负责理解与规划但反应慢System 1 是小脑不理解语义但手速快——人眼看物体 10Hz 足够而机器人双臂稳稳当一个杯子控制频率上 120Hz 才不会抖。System 1 内部也是标准的 Transformer 结构但有三个值得注意的设计。其一它用自适应层归一化adaLN把当前是第几步去噪作为条件注入——网络明确知道自己处在去噪路径的哪个位置而不是靠猜测其二DiT 块之间交替排布交叉注意力让动作特征反复回来咨询视觉-语言特征形成做一步、看一眼的循环其三状态和动作各有独立的编码器配合具身感知注意力把不同本体的状态/动作空间统一嵌入到同一表征体系里——上一段说的方言具体就是靠这几个编码器实现的。这个分工对做过机器人中间件的人来说非常亲切。回想启元 SDK 的设计McAction 状态机以固定频率轮转保证运动的确定性与实时性而理解用户想干嘛这件事交给上层的技能与语义模块跑在更高的抽象层。你会发现两者在感知决策慢一层、动作执行快一层这件事上是同构的——只不过论文把慢的那一层从规则系统换成了 1.3B 参数的 VLM。几个关键的工程细节论文都给了实测数字模型规模GR00T-N1-2B 总参数 2.2B其中 VLM 骨干占 1.34B动作模块只占很小一部分——大头花在看懂上而不是动上。这个比例取舍很务实。动作分块模型一次推理输出 16 步动作块action chunk而不是每一步都让大脑参与。在 L40 上 bf16 精度下单次推理耗时 63.9ms。16 步 × 8.3ms/步120Hz≈ 0.13 秒的预谋动作正好覆盖一次 System 2 更新的间隔——两层的时间尺度就这样咬合上了。具身感知注意力embodiment-aware attention这是跨本体通用的关键。不同机器人的自由度、传感器布局、动作空间完全不同论文的做法不是给每种机器人训一个模型而是给每个本体学一组专属的嵌入向量embedding在注意力计算时注入——本体差异被编码成方言共享的仍是语言。这也是为什么同一个模型能从单臂机械臂一路覆盖到双臂人形。特征注入位置VLM 的输出不是全量塞给动作模块而是取第 12 层 LLM 嵌入做交叉注意力。层数是个超参但论文明确写了实测依据中间层表征比最后一层推理更快、下游成功率更高。这个结论对做过多模态模型微调的人来说会心一笑——最后一层输出已经被语言建模目标塑形离可执行的空间语义反而更远。辅助空间理解损失为了让脑子真理解空间关系而不只是嘴上会说训练时加了一个辅助目标——除了预测动作模型还必须根据语言指令框出目标物体的边界框标注由 OWL-v2 检测器自动生成。相当于给 VLM 布置了一份指哪打哪的家庭作业倒逼视觉表征和语言指令真正对齐到空间层面。训练成本也值得记录GR00T-N1-2B 的预训练用了约5 万 H100 GPU 小时单次训练最多动用 1024 块 GPU集群走 Quantum-2 InfiniBand 互联容错与数据管道基于 Ray 构建。这个量级放今天的大模型圈并不夸张对比大语言模型动辄百万卡时但已经明确划出了人形基础模型的入场门槛这不是一个实验室几块卡能玩的游戏却也在一家有算力预算的公司认真投入就能做的范围内。五、流匹配把生成动作变成去噪System 1 的动作生成用的是 flow matching流匹配论文里的核心公式是A^τ τ·A (1-τ)·ε别被符号吓到翻译一下A 是真实的动作序列“正确答案”ε 是纯噪声“胡写八道”τ 是 0 到 1 之间的插值系数。这个式子构造了一条从胡写到正确的连续路径——τ 越小越像噪声τ 越大越接近真动作。训练时模型反复做一道填空题给你一个半真半假的动作序列比如 70% 正确动作混 30% 噪声请预测出把噪声去掉的方向。推理时反过来走从纯噪声出发模型一步步去噪最终收敛出一段平滑可执行的动作轨迹。你可能听过扩散模型Diffusion Policy 是它的代表——流匹配本质上是扩散模型的表亲但去噪路径设计得更直接、采样步数更少所以更容易跑出 120Hz 的实时性。这也是论文选它而不是扩散模型做 System 1 的现实原因大脑可以慢小脑不能卡顿。对后端工程师再打个比方这就像预写日志WAL里的并发写——最终写入的值不是一步到位的而是沿着一条可控的路径逐步收敛训练学的是每一步该往哪边修推理就是沿这条修的路走一遍。再补一个实践层面的观察。流匹配和扩散模型的区别用数据库的话说就是索引结构的差别扩散模型走的路径是人为设计的复杂曲线先加噪再逐步还原流匹配直接学一条从噪声分布到数据分布的直线路径——路径短了采样步数就少了单位时间能吐出的动作帧就多了。这就是为什么同一块 L40 上System 1 能腾出算力把频率顶到 120Hz不是模型算得快是路径设计得短。你会发现很多实时系统的优化殊途同归——降低单次往返的成本永远比堆机器更有效。顺带说一句阅读这类公式的心得论文里的生成式模型公式几乎都能用训练时做填空题、推理时沿着学的方向迭代这个模板去套。流匹配是如此扩散模型是如此连自回归语言模型某种程度上也是如此。抓住这个模板公式就不再是门槛。六、数据金字塔8375.7 小时从哪来架构解决了怎么学下一个问题是拿什么学。论文把训练语料画成一座四层数字金字塔总计5.929 亿帧、8375.7 小时。这是我个人认为整篇论文最有复用价值的思想比模型本身还值得国内同行研究。塔基互联网与人类视频数据。包括 Ego4D、Ego-Exo4D、EPIC-KITCHENS、Assembly-101、HOI4D、HoloAssist、RH20T-Human 在内的七个第一视角/人机交互视频数据集论文 Figure 14 有逐个采样展示合计约 1.813 亿帧。这些数据里没有机器人但有人类怎么用手完成任务的先验——抓握、工具使用、烹饪、装配全是在真实环境里长出来的动作分布。问题是视频里没有人手部动作的标注怎么变成训练信号论文用了潜动作Latent Actions方法——训练一个逆动力学模型IDM从前后帧推断这一步人手做了什么把视频变成伪动作标注再让动作模块去拟合。相当于给互联网视频自动打标签规模化完全不依赖人工。塔身合成数据。两条管线。一是仿真环境DexMimicGen、RoboCasa 这类自动化轨迹合成系统生成的仿真数据约 1.255 亿帧二是用现成的视频生成模型造出的神经轨迹neural trajectories——约 2380 万帧来自仅88 小时的真机遥操作种子数据。对你没看错88 小时真机数据经过视频生成模型扩增变成了827 小时的训练数据膨胀近 10 倍。代价也写得很清楚在 L40 上生成 1 秒视频要 2 分钟全部 827 小时烧了约 10.5 万 L40 GPU 时、动用 3600 块 L40 连跑约一天半——合成数据不免费只是比真机便宜、比真机快。物理规律的一致性由生成模型隐式保证这条路径论文管它叫合成数据飞轮的起点。塔尖真机数据。约 2.623 亿帧、3288.8 小时来自遥操作采集论文 Figure 6 展示了他们的遥操作基础设施VR 手柄、外骨骼等多种设备捕捉人手运动与多个真机数据集的整合。这部分最贵、最少、但也最真。为什么要分层因为各层的数据成本与信息密度完全不同互联网数据无限便宜但离机器人最远真机数据昂贵但分布最匹配。训练时按金字塔配比混合让模型先在海量通用数据里建立手眼协调的先验再用真机数据对齐到具体本体。还有一件容易被忽略但影响深远的事论文附录 E 明确写了整个训练语料构建在LeRobot 数据格式之上——这是 Hugging Face 主导的开源机器人数据标准。异构数据能拼进一个训练管线格式先行而选择社区已有标准而不是自造格式意味着全世界的数据生产者都能低成本接入这座金字塔。做平台的人应该深有共鸣标准即生态的入口这一点论文执行的非常自觉。七、预训练成绩单仿真基准上的差距有多大模型训完了效果如何论文给了一组很完整的消融实验。先看预训练本身的验证——真机零样本测试把只做了预训练、没做任何任务微调的 GR00T-N1-2B 直接部署到 GR-1 上测两个双臂协作任务。每个任务用 5 个物体、各试 3 次一个是双手协作传递放置任务成功率76.6%11.5/15抓对了但没放进容器记 0.5另一个是把从没见过的物体放进没见过的容器成功率73.3%11/15。一个开箱即用、没见过你桌面长什么样的模型直接做到七成多成功率——这是基础模型叙事成立的底线证据。然后是重头戏与模仿学习基线的正面对比。先把实验设计说清楚因为它的严谨程度决定了数字的含金量仿真横跨三个基准——RoboCasa Kitchen24 个厨房原子任务围绕把 A 从 B 挪到 C的行为范式、DexMimicGen 跨本体套件9 个双臂灵巧操作任务覆盖双臂 Panda 平行夹爪、双臂 Panda 灵巧手等多种本体含穿线、拼装、搬运这类精细活、以及 GR-1 人形桌面任务套件24 个任务任务组合源容器×目标容器刻意选了预训练数据里没出现过的组合多数任务还塞进了干扰物品——模型必须真的听懂指令而不是靠视觉惯性瞎抓。后训练用每个任务 100 条示教全局 batch 1024、训练 6 万步对照的预训练是 batch 16384、20 万步优化器 AdamW 加余弦学习率。对照基线是两个成名的老牌玩家行为克隆 TransformerBC与 Diffusion PolicyDP方法平均成功率说明BC Transformer26.4%传统模仿学习Diffusion Policy33.4%当时的强基线GR00T-N1-2B45.0%平均领先 DP 11.6 个百分点分任务看更明显在 GR-1 人形平台的任务上GR00T N1 超过基线17% 以上——本体越接近人形、任务越复杂基础模型的优势越大。其实这个结果并不意外BC 和 DP 每个任务都是白纸学起而 GR00T N1 是带着几十亿帧的先验来上补习班100 条示教对前者是全部、对后者只是校准。三个基准的分解数字也值得一看因为它们透露了一个规律——数据越专通用模型优势越大基准BCDiffusion PolicyGR00T-N1-2BRoboCasa26.3%25.6%32.1%DexMimicGen 跨本体套件53.9%56.1%66.5%GR-1 人形桌面16.1%32.7%50.0%注意 GR-1 那一列BC 只有 16.1%DP 32.7%GR00T N1 直接 50.0%——在人形本体的真实任务分布上通用先验的价值被放得最大。DexMG 套件上 BC 能到 53.9%是因为那批双臂任务结构规整、示教质量高而 GR-1 桌面任务的多样性更高背模板失效先验的复利开始兑现。八、真机成绩单数据效率才是杀手锏仿真赢一遍不算完真机才是照妖镜。论文在 Fourier GR-1 上做了语言条件下的双臂操作真机实验任务设计成四类共十个物体入容器抓放5 个任务托盘、碗、篮子等常见容器seen/unseen 物体各测一遍、工业物体操作3 个任务把机械零件装进黄色料箱、用网杯把螺丝螺栓倒进料箱、圆柱体双手交接、带柜门抽屉的开关放置把物体放进橱柜、抽屉、微波炉再关上考验受限空间内的精准放置、以及多智能体协作2 个任务两台 GR-1 之间交接圆柱体一台递、一台接再倒进料箱。论文 Figure 8 有策略回放实拍结果我认为比仿真数字重要得多后训练到全量数据时GR00T N1 超过 Diffusion Policy30.4%相对提升只用10% 的示教数据后训练仍超过 DP 全量数据32.4%最惊人的一条GR00T 用 10% 数据的成绩只比自己用全量数据低3.8%。第三条值得单独说。它意味着对一个预训练好的通用模型数据量的边际收益已经开始饱和——10% 的示教就能拿回 96% 的性能。对一线开发者来说这是全文最实用的一条结论微调一个基础模型比从零训一个专用策略在数据成本上低一个数量级。传统的一个任务录几百条的工作流可能真的要变。定性结果同样能说明问题。论文附录 C 的可视化Figure 12给了一组直观对比同一个把黄瓜放进篮子的任务后训练后的 GR00T N1 稳定完成而 Diffusion Policy 频繁出现抓取不准、成功率垫底论文原话是 frequently exhibits inaccurate grasping, resulting in a low success rate。差别在哪DP 只见过 100 条示教抓取姿态全靠死记GR00T N1 见过几亿帧东西是怎么被拿起来的它不需要学会怎么抓只需要学会抓这个。这个差别在真机上就是偶尔成功和稳定可交付的距离。算力门槛这条也值得划重点论文明确测试了受限算力下的微调——单张 A6000 消费级专业卡就能跑后训练只调适配层动作/状态编码器动作解码器和 DiT 时 batch size 可以开到 200连视觉编码器一起调则降到 16。换句话说这套预训练后训练范式对个人和小团队是真实可及的底座别人出你出一张卡和一点示教数据。另一个消融验证了合成数据的价值在 RoboCasa 仿真里分别用 30/100/300 条真机示教做后训练混入神经轨迹共同训练后成功率分别提升4.2% / 8.8% / 6.8%真机 GR-1 八个任务上提升5.8%。规律也耐人寻味——数据越少合成数据的增益越明显100 条时最突出。合成数据不是万能药但在数据稀缺区间它是性价比最高的补位者。这里展开说一句神经轨迹为什么能无中生有。它的工作流是拿少量真机遥操作视频做种子用视频生成模型按新的语言指令生成看起来完全合理的新场景视频——新物体、新初始位姿、新运动模式——再用第六节说的潜动作方法给这些生成视频打上伪动作标签最后混进训练。你会发现这个流程里最贵的一步真机采集只发生一次后面全是算力换数据。对数据预算紧张的团队这是一条非常现实的路径与其雇更多人去遥操作不如先把仅有的 88 小时用好。九、冷静看论文自己承认的三个局限读完亮点读局限。论文 4.6 节专门写了 Limitations态度坦率这也是我愿意认真对待这篇论文的原因之一。三个局限我逐条说说自己的理解第一任务域还窄。论文原话模型目前主要聚焦短时程的桌面操作任务长时程的移动操作loco-manipulation需要硬件、架构、语料三方面继续演进。说白了现在的 GR00T N1 是个桌面双臂操作专家还谈不上家务全包。从会做一件事到连续做一串事中间隔着任务编排、错误恢复、状态记忆——这些恰好是状态机与行为树这类经典工程还在扛的活。第二合成数据的天花板。论文承认现有视频生成模型在生成多样性与反事实数据的同时仍难以严格遵守物理规律。88 小时变 827 小时的飞轮很美好但生成的轨迹物理上对不对、会不会教会模型一些只在渲染里成立的技能仍是开放问题。第三VLM 骨干的空间推理。论文预计更强的视觉-语言骨干会提升空间理解、语言理解与适应性——换句话说作者自己也认为当前 System 2 的脑子是瓶颈。1.34B 的 VLM 在语言模型动辄百亿千亿的今天并不算大这是刻意为实时性做的妥协。我的总体判断这篇论文证明了预训练少量后训练路线在人形机器人上的可行性但它离通用家务机器人还隔着一个完整的工程化栈——任务编排、错误恢复、状态记忆、安全兜底这些恰好是状态机与仲裁机制这类经典工程还在扛的活也是今天拿到任何一台真机比如启元 Q1、T1就能立刻动手练的部分。另外补充一个读论文时的细节供你判断这篇工作的分量论文的合作者名单非常长附录 A 按模块列了核心贡献者——模型训练、真机与遥操作基础设施、仿真、视频生成与潜动作、数据基础设施、算力基础设施、开源……几乎每一个章节背后都是一个专职团队。这种工业化科研的组织形态本身就是一个信号机器人基础模型已经从一篇论文一个点子进入一个平台一堆工程的阶段。而这恰好引出本文的下半场——站在一个国内人形机器人开发者的视角这篇论文照见了什么。十、镜鉴之一架构照见——双系统离我们并不远把论文架构和启元的 SDK 放在同一张桌子上对比你会发现惊人的同构性GR00T N1 论文启元 SDK开发者视角共同的设计逻辑System 2VLM 10Hz理解场景与指令语义/技能层技能包决定做什么慢一层负责意图与规划System 1DiT 120Hz生成连续动作McAction 状态机20 态确定性流转快一层负责实时执行VLM 输出经第 12 层嵌入注入动作模块技能层经输入源仲裁接管控制权两层之间有明确的、受控的接口——SetMcInputSource 优先级 100~0 1000ms 超时脱锁多来源决策的仲裁与安全兜底第四行是启元有而论文没展开的部分也是我觉得国内厂商值得自豪的设计论文里 System 2 是单一来源而启元的输入源仲裁天生支持多来源竞争——语音、App、自动技能、安全兜底各占一个优先级高优先级掉线 1000ms 自动降级。这套机制放到大模型语境下就是云端大脑断连时本地小脑必须能安全接管的可靠性设计。当越来越多厂商把云端 VLA 接到机器人身上时这类仲裁机制会从SDK 细节升级成安全刚需。再看接口层的对应关系。GR00T N1 的输入是图像加语言指令启元 SDK 里对应的感知入口是标准化的图像接口比如 CaptureJpegImage 这类取流接口上层语义模块拿到的也是帧指令这种最朴素的输入。这意味着什么意味着接口对了脑子可以换——今天跑的是规则技能明天接一个开源 VLA执行层的 McAction 状态机和仲裁机制一个字都不用改。启元开源的 URDF 模型与编译工具链AtomGit 组织里都有也保证了仿真侧的对接能力模型训练需要的本体描述、动作空间定义都是现成的。对开发者的启示是不要用大模型替代状态机要让大模型坐在状态机上面。确定性执行层是安全底线学习型决策层是能力上限两层各干各的活。GR00T N1 用 63.9ms 推理 16 步动作的预谋机制本质上和 McAction 用状态转移表锁死非法跳转是同一种工程直觉——把不确定性关在笼子里。还有一个容易被忽视的对应调试基础设施。论文用了 Ray 构建容错训练管道真机实验有专门的遥操作与评测团队支撑而启元这边开发者手里的对应物是 PrimeConsole 调试台加 SDK 的结构化错误码-1001/-1004/-10001 各有明确语义。做机器人开发的人都懂真机上最贵的不是算力是出问题了不知道哪一层出的问题——分层清晰、错误可定位的架构本身就是生产力。这也是我判断一套机器人 SDK 成熟度的第一标准。十一、镜鉴之二生态照见——数据金字塔才是真正要卷的东西如果说架构是论文的骨架数据金字塔就是论文的灵魂。而这一层对我们理解当下国产人形机器人的竞争格局参考价值最大。论文里最贵的不是模型是塔尖那 3288.8 小时真机数据和把 88 小时变 827 小时的合成管线。回看国内你会发现头部厂商都在做同一件事有的在建大规模真机数据采集场有的在开源动作模型和真机数据集有的在把遥操作设备铺进销售网点。模型权重会趋同、架构会趋同最后拉开差距的是数据生产管线——这正是论文作者把数据基础设施写成独立章节、由专人负责的原因。启元在这幅图景里走的是另一条路线我把它概括为应用侧的数据飞轮本体走消费级路线Q1 人形 19999 元起、T1 轮足/四足双形态 19999 元起先把设备铺到用户手里生态侧用 rpk 技能包manifest.json SKILL.md 双文件规范 PrimeHub 技能商店把开发门槛降到写两个文件就能上架技能再配合 5 年 10 亿的生态投入让技能数量每月以百计增长。这个组合拳没有直接生产操作示教数据但它生产的是另一种同样稀缺的东西真实场景中用户想要什么的意图数据以及一个可以随时插上学习型大脑的标准化执行底座。这两条路线其实是互补的。论文证明了通用操作能力可以预训练但具体到一个家庭、一个门店、一间教室机器人该提供哪些技能这件事任何实验室都采不到数据——只有把设备铺进真实场景的厂商才拿得到。今天写 rpk 技能包的开发者表面上在写状态机逻辑实际上在为未来的学习型系统积累任务先验哪些任务需求高频、哪些操作序列能跑通、哪些边界条件会翻车——这些都会沉淀为下一代表训数据或评测集。而且别忘了第八节那个数字单张 A6000 就能做后训练微调。这意味着预训练底座 本体适配的分工在今天已经成立——底座厂商负责金字塔应用开发者负责塔尖那最后 10% 的示教适配。当启元这类厂商的消费级本体接入开源 VLA 底座时rpk 技能包生态积累的任务定义与场景知识就是现成的微调素材库。两条路线会在某个时间点汇合我认为这几乎是确定的。对想入场的人形机器人开发者论文给出了一条具体的成长路径我认为可以照抄先吃透执行层。把启元 SDK 的 McAction 状态机、输入源仲裁、rpk 技能包规范玩熟——这些是无论上层大脑怎么换代都不会贬值的技能就像大模型时代依然需要写高并发服务的人。再补学习层的常识。读 GR00T N1 这类论文不求复现求建立坐标系知道 45.0% 的仿真成功率意味着什么、知道 100 条示教微调是当前性价比最高的档位、知道合成数据在什么区间有效。用仿真练手。论文用的 RoboCasa、DexMimicGen 都是开源的配一个消费级机器人的 URDF 模型就能在仿真里做策略实验——这个组合的成本几乎为零却是论文里整条数据金字塔的微缩版。十二、写在最后回头总结这篇论文留下的三样东西一份开源模型——2.2B 参数、CC BY 4.0 许可任何团队都能下载、微调、商用研究。对人形机器人这个还在早期的行业头部玩家把底座开源出来意义类似于当年操作系统开源竞争的焦点从有没有转向用得好不好。一套方法论——双系统架构给出了实时性与智能的权衡范式数据金字塔给出了从互联网到真机的数据配比框架88 小时扩增到 827 小时给出了合成数据飞轮的最小可行样本。这三件事的复用价值我个人认为大于模型权重本身。一个清晰的进度条——短时程桌面操作已验证长时程移动操作待攻克10% 示教拿回 96% 性能说明数据效率还有红利可吃VLM 骨干是明确的能力瓶颈。对从业者来说一篇坦率写出 Limitations 的论文比十篇只报喜的 demo 视频更有信息量。最后回应一下开头。启元 SDK 里那个输入源优先级 1000ms 超时脱锁的设计当时我觉得它是个聪明的工程细节读完 GR00T N1 之后我才意识到它其实在回答一个更大的问题当机器人的大脑变得不可预测哪怕只是偶尔执行层该如何自保。双系统架构、状态机、仲裁机制、数据金字塔所有这些设计都在干同一件事——把不确定性和确定性分层管理。机器人行业未来几年的分化大概率就发生在谁能把这两层接得更好上。人形机器人正在从能站起来走向能干活而能干活的核心矛盾就是这篇论文的标题——通用性Generalist。国内厂商有的从数据侧进攻有的从场景侧进攻启元选择把消费级本体和低门槛技能生态先立起来让底座能力的进步随时可以插上来。作为开发者最好的姿态就是两头都占左手握紧确定性的执行层工程能力右手跟上学习型的预训练浪潮——论文链接就在下面去读原文吧36 页值得。论文原文https://arxiv.org/abs/2503.14734 DOI: 10.48550/arXiv.2503.14734CC BY 4.0 启元机器人开发者社区https://dev.primebot.com/ SDK 文档、AtomGit 开源组织、PrimeHub 技能商店入口都在这里欢迎来交流 
长河君 · 2026/10/24 2:31:43 · 阅读 1.2k 从启元的输入源仲裁说起：精读英伟达开源人形基础模型 GR00T N1
本文是论文《GR00T N1: An Open Foundation Model for Generalist Humanoid Robots》的中文精读。我会把论文里的关键公式翻译成大白话并结合我自己在启元PRIMEBOT机器人 SDK 上的开发经验聊聊这篇论文对国内人形机器人从业者与开发者的参考价值。所有数据均来自论文原文出处见文末附录。文章目录一、从一段启元 SDK 代码说起二、论文名片三、为什么人形机器人需要基础模型四、双系统架构快与慢五、流匹配把生成动作变成去噪六、数据金字塔8375.7 小时从哪来七、预训练成绩单仿真基准上的差距有多大八、真机成绩单数据效率才是杀手锏九、冷静看论文自己承认的三个局限十、镜鉴之一架构照见——双系统离我们并不远十一、镜鉴之二生态照见——数据金字塔才是真正要卷的东西十二、写在最后一、从一段启元 SDK 代码说起先说一个我日常开发中每天都在打交道的东西。启元机器人的 SDK 是基于 ROS2 Humble 加 FastDDS 构建的机器人身上跑着一个叫 McAction 的状态机——20 个状态、200 段 TRANSITION 转移逻辑任何一个动作走路、挥手、抓握都必须在这张状态表里流转错误码 -1001、-1004、-10001 各自对应不同层级的故障。这套东西说白了就是机器人的脊髓反射不聪明但稳定、可预期、出了问题能定位。更有意思的是它的输入源仲裁机制。SDK 提供的接口允许开发者给机器人的控制权设定 100 到 0 的优先级——语音指令、App 遥控、技能包自动逻辑、安全兜底各占一个优先级位高优先级输入抢到控制权后如果 1000 毫秒内没有续约系统自动脱锁、降级回低优先级输入。第一次读这段设计时我想这不就是操作系统里的中断优先级 看门狗吗你会发现这套架构里其实隐含了一个分层假设底层的执行控制必须是确定性的、毫秒级的而想干什么这个层面的决策可以慢一点、聪明一点甚至可以来自外部。当我后来读到英伟达 2025 年 3 月开源的人形机器人基础模型 GR00T N1 的论文时第一反应是这篇论文把这个分层假设用深度学习的方式完整实现了一遍而且开源了权重、开源了训练管线。它管这个叫双系统架构灵感直接来自心理学——卡尼曼的《思考快与慢》Kahneman, 2011论文参考文献第 46 条写得明明白白。这篇文章我们就把这篇论文掰开揉碎读一遍。它为什么值得读三个理由它是目前人形机器人方向引用量最高的基础模型论文之一它的模型权重真开源了CC BY 4.0 许可商用研究都友好它的训练方法论——尤其是那座数据金字塔——几乎是后来所有 VLA视觉-语言-动作模型论文绕不开的对照物。二、论文名片先把文献信息放前面方便你去检索原文项目内容标题GR00T N1: An Open Foundation Model for Generalist Humanoid Robots机构NVIDIA署名作者规模很大核心贡献者名单见论文附录 AarXiv 编号arXiv:2503.14734DOI10.48550/arXiv.2503.14734版本v1 2025-03-18 提交v2 2025-03-27 修订许可证CC BY 4.0模型权重与论文均开放部署平台Fourier GR-1 人形机器人双臂操作任务一句话概括论文干了什么训练了一个参数量 2.2B 的开源 VLA 模型让它能看懂图像、听懂人话、输出机器人动作然后在仿真和真机上系统性验证了它比传统模仿学习方法更强、更省数据。给赶时间的读者一份阅读指南只想看结论读摘要加第 4 节实验想理解架构读第 3 节模型设计一共也就几页想抄作业重点看第 3.3 节数据和附录 E数据格式与动作空间标准化想判断靠不靠谱直接翻第 4.6 节 Limitations。下面我们按背景→架构→数据→实验→局限→启示的顺序完整过一遍。其实这个描述听起来平平无奇但通用二字才是重点——同一个模型、同一套权重跨机械臂、跨人形机器人多种本体都能工作。怎么做到的是本文最值得细读的部分。三、为什么人形机器人需要基础模型在讲架构之前先补一点背景不然你不知道这篇论文在反抗什么。传统机器人学习的主流范式是一个任务训一个策略拿几十上百条示教数据人类遥控机器人做一遍用模仿学习算法比如行为克隆 BC、扩散策略 Diffusion Policy训出一个只会上这一件事的小模型。抓杯子一个模型、开抽屉一个模型、擦桌子一个模型。这条路的问题在于规模不经济。数据是每个任务从零采的模型是每个任务从零训的能力之间不共享。你给机器人录了 100 条抓杯子的示教它学不会任何关于抓的通用知识能迁移到抓瓶子上——因为模型的容量太小、先验太少一切都是从示教数据里现背的。大语言模型领域已经示范过另一条路在海量数据上预训练一个基础模型再针对下游任务少量微调。GR00T N1 论文问的问题就是——机器人领域能不能复制这条路这条路在当时并非没人走过。GR00T N1 之前业界已经有了一批 VLAVision-Language-Action视觉-语言-动作模型的探索谷歌的 RT-2 系列验证了用互联网级视觉-语言知识直接输出机器人动作的可行性开源社区的 OpenVLA 把 7B 的 VLA 模型权重放了出来Physical Intelligence 的 π0 则把流匹配引入了动作生成。GR00T N1 的定位可以理解为把这条技术路线第一次完整地落到人形机器人上——跨本体、开源权重、预训练后训练全管线公开并且给出了系统性的消融实验而不是单点 demo。这篇论文之后双系统 流匹配 数据金字塔几乎成了新人形 VLA 论文的标准对照系。难点也是明摆着的。互联网上有无限的文本和图片但没有任何机器人操作的数据——你不能从网上爬到机械臂末端六自由度轨迹这种东西。所以论文的核心工作其实是两件事设计一个能吃异构数据的架构以及造一座能从互联网数据一路铺到真机数据的金字塔。下面逐个拆。四、双系统架构快与慢论文的架构设计直接借用了卡尼曼的双系统理论System 2慢思考一个预训练的视觉-语言模型VLM负责看懂场景、理解指令、推断该干什么。它基于 Eagle-2 VLM在 NVIDIA L40 GPU 上以 10Hz 运行。System 1快行动一个扩散变压器Diffusion Transformer, DiT用动作流匹配训练负责把该干什么翻译成连续的电机动作。它以 120Hz 运行并且通过交叉注意力机制读取 VLM 的输出。说白了System 2 是大脑皮层负责理解与规划但反应慢System 1 是小脑不理解语义但手速快——人眼看物体 10Hz 足够而机器人双臂稳稳当一个杯子控制频率上 120Hz 才不会抖。System 1 内部也是标准的 Transformer 结构但有三个值得注意的设计。其一它用自适应层归一化adaLN把当前是第几步去噪作为条件注入——网络明确知道自己处在去噪路径的哪个位置而不是靠猜测其二DiT 块之间交替排布交叉注意力让动作特征反复回来咨询视觉-语言特征形成做一步、看一眼的循环其三状态和动作各有独立的编码器配合具身感知注意力把不同本体的状态/动作空间统一嵌入到同一表征体系里——上一段说的方言具体就是靠这几个编码器实现的。这个分工对做过机器人中间件的人来说非常亲切。回想启元 SDK 的设计McAction 状态机以固定频率轮转保证运动的确定性与实时性而理解用户想干嘛这件事交给上层的技能与语义模块跑在更高的抽象层。你会发现两者在感知决策慢一层、动作执行快一层这件事上是同构的——只不过论文把慢的那一层从规则系统换成了 1.3B 参数的 VLM。几个关键的工程细节论文都给了实测数字模型规模GR00T-N1-2B 总参数 2.2B其中 VLM 骨干占 1.34B动作模块只占很小一部分——大头花在看懂上而不是动上。这个比例取舍很务实。动作分块模型一次推理输出 16 步动作块action chunk而不是每一步都让大脑参与。在 L40 上 bf16 精度下单次推理耗时 63.9ms。16 步 × 8.3ms/步120Hz≈ 0.13 秒的预谋动作正好覆盖一次 System 2 更新的间隔——两层的时间尺度就这样咬合上了。具身感知注意力embodiment-aware attention这是跨本体通用的关键。不同机器人的自由度、传感器布局、动作空间完全不同论文的做法不是给每种机器人训一个模型而是给每个本体学一组专属的嵌入向量embedding在注意力计算时注入——本体差异被编码成方言共享的仍是语言。这也是为什么同一个模型能从单臂机械臂一路覆盖到双臂人形。特征注入位置VLM 的输出不是全量塞给动作模块而是取第 12 层 LLM 嵌入做交叉注意力。层数是个超参但论文明确写了实测依据中间层表征比最后一层推理更快、下游成功率更高。这个结论对做过多模态模型微调的人来说会心一笑——最后一层输出已经被语言建模目标塑形离可执行的空间语义反而更远。辅助空间理解损失为了让脑子真理解空间关系而不只是嘴上会说训练时加了一个辅助目标——除了预测动作模型还必须根据语言指令框出目标物体的边界框标注由 OWL-v2 检测器自动生成。相当于给 VLM 布置了一份指哪打哪的家庭作业倒逼视觉表征和语言指令真正对齐到空间层面。训练成本也值得记录GR00T-N1-2B 的预训练用了约5 万 H100 GPU 小时单次训练最多动用 1024 块 GPU集群走 Quantum-2 InfiniBand 互联容错与数据管道基于 Ray 构建。这个量级放今天的大模型圈并不夸张对比大语言模型动辄百万卡时但已经明确划出了人形基础模型的入场门槛这不是一个实验室几块卡能玩的游戏却也在一家有算力预算的公司认真投入就能做的范围内。五、流匹配把生成动作变成去噪System 1 的动作生成用的是 flow matching流匹配论文里的核心公式是A^τ τ·A (1-τ)·ε别被符号吓到翻译一下A 是真实的动作序列“正确答案”ε 是纯噪声“胡写八道”τ 是 0 到 1 之间的插值系数。这个式子构造了一条从胡写到正确的连续路径——τ 越小越像噪声τ 越大越接近真动作。训练时模型反复做一道填空题给你一个半真半假的动作序列比如 70% 正确动作混 30% 噪声请预测出把噪声去掉的方向。推理时反过来走从纯噪声出发模型一步步去噪最终收敛出一段平滑可执行的动作轨迹。你可能听过扩散模型Diffusion Policy 是它的代表——流匹配本质上是扩散模型的表亲但去噪路径设计得更直接、采样步数更少所以更容易跑出 120Hz 的实时性。这也是论文选它而不是扩散模型做 System 1 的现实原因大脑可以慢小脑不能卡顿。对后端工程师再打个比方这就像预写日志WAL里的并发写——最终写入的值不是一步到位的而是沿着一条可控的路径逐步收敛训练学的是每一步该往哪边修推理就是沿这条修的路走一遍。再补一个实践层面的观察。流匹配和扩散模型的区别用数据库的话说就是索引结构的差别扩散模型走的路径是人为设计的复杂曲线先加噪再逐步还原流匹配直接学一条从噪声分布到数据分布的直线路径——路径短了采样步数就少了单位时间能吐出的动作帧就多了。这就是为什么同一块 L40 上System 1 能腾出算力把频率顶到 120Hz不是模型算得快是路径设计得短。你会发现很多实时系统的优化殊途同归——降低单次往返的成本永远比堆机器更有效。顺带说一句阅读这类公式的心得论文里的生成式模型公式几乎都能用训练时做填空题、推理时沿着学的方向迭代这个模板去套。流匹配是如此扩散模型是如此连自回归语言模型某种程度上也是如此。抓住这个模板公式就不再是门槛。六、数据金字塔8375.7 小时从哪来架构解决了怎么学下一个问题是拿什么学。论文把训练语料画成一座四层数字金字塔总计5.929 亿帧、8375.7 小时。这是我个人认为整篇论文最有复用价值的思想比模型本身还值得国内同行研究。塔基互联网与人类视频数据。包括 Ego4D、Ego-Exo4D、EPIC-KITCHENS、Assembly-101、HOI4D、HoloAssist、RH20T-Human 在内的七个第一视角/人机交互视频数据集论文 Figure 14 有逐个采样展示合计约 1.813 亿帧。这些数据里没有机器人但有人类怎么用手完成任务的先验——抓握、工具使用、烹饪、装配全是在真实环境里长出来的动作分布。问题是视频里没有人手部动作的标注怎么变成训练信号论文用了潜动作Latent Actions方法——训练一个逆动力学模型IDM从前后帧推断这一步人手做了什么把视频变成伪动作标注再让动作模块去拟合。相当于给互联网视频自动打标签规模化完全不依赖人工。塔身合成数据。两条管线。一是仿真环境DexMimicGen、RoboCasa 这类自动化轨迹合成系统生成的仿真数据约 1.255 亿帧二是用现成的视频生成模型造出的神经轨迹neural trajectories——约 2380 万帧来自仅88 小时的真机遥操作种子数据。对你没看错88 小时真机数据经过视频生成模型扩增变成了827 小时的训练数据膨胀近 10 倍。代价也写得很清楚在 L40 上生成 1 秒视频要 2 分钟全部 827 小时烧了约 10.5 万 L40 GPU 时、动用 3600 块 L40 连跑约一天半——合成数据不免费只是比真机便宜、比真机快。物理规律的一致性由生成模型隐式保证这条路径论文管它叫合成数据飞轮的起点。塔尖真机数据。约 2.623 亿帧、3288.8 小时来自遥操作采集论文 Figure 6 展示了他们的遥操作基础设施VR 手柄、外骨骼等多种设备捕捉人手运动与多个真机数据集的整合。这部分最贵、最少、但也最真。为什么要分层因为各层的数据成本与信息密度完全不同互联网数据无限便宜但离机器人最远真机数据昂贵但分布最匹配。训练时按金字塔配比混合让模型先在海量通用数据里建立手眼协调的先验再用真机数据对齐到具体本体。还有一件容易被忽略但影响深远的事论文附录 E 明确写了整个训练语料构建在LeRobot 数据格式之上——这是 Hugging Face 主导的开源机器人数据标准。异构数据能拼进一个训练管线格式先行而选择社区已有标准而不是自造格式意味着全世界的数据生产者都能低成本接入这座金字塔。做平台的人应该深有共鸣标准即生态的入口这一点论文执行的非常自觉。七、预训练成绩单仿真基准上的差距有多大模型训完了效果如何论文给了一组很完整的消融实验。先看预训练本身的验证——真机零样本测试把只做了预训练、没做任何任务微调的 GR00T-N1-2B 直接部署到 GR-1 上测两个双臂协作任务。每个任务用 5 个物体、各试 3 次一个是双手协作传递放置任务成功率76.6%11.5/15抓对了但没放进容器记 0.5另一个是把从没见过的物体放进没见过的容器成功率73.3%11/15。一个开箱即用、没见过你桌面长什么样的模型直接做到七成多成功率——这是基础模型叙事成立的底线证据。然后是重头戏与模仿学习基线的正面对比。先把实验设计说清楚因为它的严谨程度决定了数字的含金量仿真横跨三个基准——RoboCasa Kitchen24 个厨房原子任务围绕把 A 从 B 挪到 C的行为范式、DexMimicGen 跨本体套件9 个双臂灵巧操作任务覆盖双臂 Panda 平行夹爪、双臂 Panda 灵巧手等多种本体含穿线、拼装、搬运这类精细活、以及 GR-1 人形桌面任务套件24 个任务任务组合源容器×目标容器刻意选了预训练数据里没出现过的组合多数任务还塞进了干扰物品——模型必须真的听懂指令而不是靠视觉惯性瞎抓。后训练用每个任务 100 条示教全局 batch 1024、训练 6 万步对照的预训练是 batch 16384、20 万步优化器 AdamW 加余弦学习率。对照基线是两个成名的老牌玩家行为克隆 TransformerBC与 Diffusion PolicyDP方法平均成功率说明BC Transformer26.4%传统模仿学习Diffusion Policy33.4%当时的强基线GR00T-N1-2B45.0%平均领先 DP 11.6 个百分点分任务看更明显在 GR-1 人形平台的任务上GR00T N1 超过基线17% 以上——本体越接近人形、任务越复杂基础模型的优势越大。其实这个结果并不意外BC 和 DP 每个任务都是白纸学起而 GR00T N1 是带着几十亿帧的先验来上补习班100 条示教对前者是全部、对后者只是校准。三个基准的分解数字也值得一看因为它们透露了一个规律——数据越专通用模型优势越大基准BCDiffusion PolicyGR00T-N1-2BRoboCasa26.3%25.6%32.1%DexMimicGen 跨本体套件53.9%56.1%66.5%GR-1 人形桌面16.1%32.7%50.0%注意 GR-1 那一列BC 只有 16.1%DP 32.7%GR00T N1 直接 50.0%——在人形本体的真实任务分布上通用先验的价值被放得最大。DexMG 套件上 BC 能到 53.9%是因为那批双臂任务结构规整、示教质量高而 GR-1 桌面任务的多样性更高背模板失效先验的复利开始兑现。八、真机成绩单数据效率才是杀手锏仿真赢一遍不算完真机才是照妖镜。论文在 Fourier GR-1 上做了语言条件下的双臂操作真机实验任务设计成四类共十个物体入容器抓放5 个任务托盘、碗、篮子等常见容器seen/unseen 物体各测一遍、工业物体操作3 个任务把机械零件装进黄色料箱、用网杯把螺丝螺栓倒进料箱、圆柱体双手交接、带柜门抽屉的开关放置把物体放进橱柜、抽屉、微波炉再关上考验受限空间内的精准放置、以及多智能体协作2 个任务两台 GR-1 之间交接圆柱体一台递、一台接再倒进料箱。论文 Figure 8 有策略回放实拍结果我认为比仿真数字重要得多后训练到全量数据时GR00T N1 超过 Diffusion Policy30.4%相对提升只用10% 的示教数据后训练仍超过 DP 全量数据32.4%最惊人的一条GR00T 用 10% 数据的成绩只比自己用全量数据低3.8%。第三条值得单独说。它意味着对一个预训练好的通用模型数据量的边际收益已经开始饱和——10% 的示教就能拿回 96% 的性能。对一线开发者来说这是全文最实用的一条结论微调一个基础模型比从零训一个专用策略在数据成本上低一个数量级。传统的一个任务录几百条的工作流可能真的要变。定性结果同样能说明问题。论文附录 C 的可视化Figure 12给了一组直观对比同一个把黄瓜放进篮子的任务后训练后的 GR00T N1 稳定完成而 Diffusion Policy 频繁出现抓取不准、成功率垫底论文原话是 frequently exhibits inaccurate grasping, resulting in a low success rate。差别在哪DP 只见过 100 条示教抓取姿态全靠死记GR00T N1 见过几亿帧东西是怎么被拿起来的它不需要学会怎么抓只需要学会抓这个。这个差别在真机上就是偶尔成功和稳定可交付的距离。算力门槛这条也值得划重点论文明确测试了受限算力下的微调——单张 A6000 消费级专业卡就能跑后训练只调适配层动作/状态编码器动作解码器和 DiT 时 batch size 可以开到 200连视觉编码器一起调则降到 16。换句话说这套预训练后训练范式对个人和小团队是真实可及的底座别人出你出一张卡和一点示教数据。另一个消融验证了合成数据的价值在 RoboCasa 仿真里分别用 30/100/300 条真机示教做后训练混入神经轨迹共同训练后成功率分别提升4.2% / 8.8% / 6.8%真机 GR-1 八个任务上提升5.8%。规律也耐人寻味——数据越少合成数据的增益越明显100 条时最突出。合成数据不是万能药但在数据稀缺区间它是性价比最高的补位者。这里展开说一句神经轨迹为什么能无中生有。它的工作流是拿少量真机遥操作视频做种子用视频生成模型按新的语言指令生成看起来完全合理的新场景视频——新物体、新初始位姿、新运动模式——再用第六节说的潜动作方法给这些生成视频打上伪动作标签最后混进训练。你会发现这个流程里最贵的一步真机采集只发生一次后面全是算力换数据。对数据预算紧张的团队这是一条非常现实的路径与其雇更多人去遥操作不如先把仅有的 88 小时用好。九、冷静看论文自己承认的三个局限读完亮点读局限。论文 4.6 节专门写了 Limitations态度坦率这也是我愿意认真对待这篇论文的原因之一。三个局限我逐条说说自己的理解第一任务域还窄。论文原话模型目前主要聚焦短时程的桌面操作任务长时程的移动操作loco-manipulation需要硬件、架构、语料三方面继续演进。说白了现在的 GR00T N1 是个桌面双臂操作专家还谈不上家务全包。从会做一件事到连续做一串事中间隔着任务编排、错误恢复、状态记忆——这些恰好是状态机与行为树这类经典工程还在扛的活。第二合成数据的天花板。论文承认现有视频生成模型在生成多样性与反事实数据的同时仍难以严格遵守物理规律。88 小时变 827 小时的飞轮很美好但生成的轨迹物理上对不对、会不会教会模型一些只在渲染里成立的技能仍是开放问题。第三VLM 骨干的空间推理。论文预计更强的视觉-语言骨干会提升空间理解、语言理解与适应性——换句话说作者自己也认为当前 System 2 的脑子是瓶颈。1.34B 的 VLM 在语言模型动辄百亿千亿的今天并不算大这是刻意为实时性做的妥协。我的总体判断这篇论文证明了预训练少量后训练路线在人形机器人上的可行性但它离通用家务机器人还隔着一个完整的工程化栈——任务编排、错误恢复、状态记忆、安全兜底这些恰好是状态机与仲裁机制这类经典工程还在扛的活也是今天拿到任何一台真机比如启元 Q1、T1就能立刻动手练的部分。另外补充一个读论文时的细节供你判断这篇工作的分量论文的合作者名单非常长附录 A 按模块列了核心贡献者——模型训练、真机与遥操作基础设施、仿真、视频生成与潜动作、数据基础设施、算力基础设施、开源……几乎每一个章节背后都是一个专职团队。这种工业化科研的组织形态本身就是一个信号机器人基础模型已经从一篇论文一个点子进入一个平台一堆工程的阶段。而这恰好引出本文的下半场——站在一个国内人形机器人开发者的视角这篇论文照见了什么。十、镜鉴之一架构照见——双系统离我们并不远把论文架构和启元的 SDK 放在同一张桌子上对比你会发现惊人的同构性GR00T N1 论文启元 SDK开发者视角共同的设计逻辑System 2VLM 10Hz理解场景与指令语义/技能层技能包决定做什么慢一层负责意图与规划System 1DiT 120Hz生成连续动作McAction 状态机20 态确定性流转快一层负责实时执行VLM 输出经第 12 层嵌入注入动作模块技能层经输入源仲裁接管控制权两层之间有明确的、受控的接口——SetMcInputSource 优先级 100~0 1000ms 超时脱锁多来源决策的仲裁与安全兜底第四行是启元有而论文没展开的部分也是我觉得国内厂商值得自豪的设计论文里 System 2 是单一来源而启元的输入源仲裁天生支持多来源竞争——语音、App、自动技能、安全兜底各占一个优先级高优先级掉线 1000ms 自动降级。这套机制放到大模型语境下就是云端大脑断连时本地小脑必须能安全接管的可靠性设计。当越来越多厂商把云端 VLA 接到机器人身上时这类仲裁机制会从SDK 细节升级成安全刚需。再看接口层的对应关系。GR00T N1 的输入是图像加语言指令启元 SDK 里对应的感知入口是标准化的图像接口比如 CaptureJpegImage 这类取流接口上层语义模块拿到的也是帧指令这种最朴素的输入。这意味着什么意味着接口对了脑子可以换——今天跑的是规则技能明天接一个开源 VLA执行层的 McAction 状态机和仲裁机制一个字都不用改。启元开源的 URDF 模型与编译工具链AtomGit 组织里都有也保证了仿真侧的对接能力模型训练需要的本体描述、动作空间定义都是现成的。对开发者的启示是不要用大模型替代状态机要让大模型坐在状态机上面。确定性执行层是安全底线学习型决策层是能力上限两层各干各的活。GR00T N1 用 63.9ms 推理 16 步动作的预谋机制本质上和 McAction 用状态转移表锁死非法跳转是同一种工程直觉——把不确定性关在笼子里。还有一个容易被忽视的对应调试基础设施。论文用了 Ray 构建容错训练管道真机实验有专门的遥操作与评测团队支撑而启元这边开发者手里的对应物是 PrimeConsole 调试台加 SDK 的结构化错误码-1001/-1004/-10001 各有明确语义。做机器人开发的人都懂真机上最贵的不是算力是出问题了不知道哪一层出的问题——分层清晰、错误可定位的架构本身就是生产力。这也是我判断一套机器人 SDK 成熟度的第一标准。十一、镜鉴之二生态照见——数据金字塔才是真正要卷的东西如果说架构是论文的骨架数据金字塔就是论文的灵魂。而这一层对我们理解当下国产人形机器人的竞争格局参考价值最大。论文里最贵的不是模型是塔尖那 3288.8 小时真机数据和把 88 小时变 827 小时的合成管线。回看国内你会发现头部厂商都在做同一件事有的在建大规模真机数据采集场有的在开源动作模型和真机数据集有的在把遥操作设备铺进销售网点。模型权重会趋同、架构会趋同最后拉开差距的是数据生产管线——这正是论文作者把数据基础设施写成独立章节、由专人负责的原因。启元在这幅图景里走的是另一条路线我把它概括为应用侧的数据飞轮本体走消费级路线Q1 人形 19999 元起、T1 轮足/四足双形态 19999 元起先把设备铺到用户手里生态侧用 rpk 技能包manifest.json SKILL.md 双文件规范 PrimeHub 技能商店把开发门槛降到写两个文件就能上架技能再配合 5 年 10 亿的生态投入让技能数量每月以百计增长。这个组合拳没有直接生产操作示教数据但它生产的是另一种同样稀缺的东西真实场景中用户想要什么的意图数据以及一个可以随时插上学习型大脑的标准化执行底座。这两条路线其实是互补的。论文证明了通用操作能力可以预训练但具体到一个家庭、一个门店、一间教室机器人该提供哪些技能这件事任何实验室都采不到数据——只有把设备铺进真实场景的厂商才拿得到。今天写 rpk 技能包的开发者表面上在写状态机逻辑实际上在为未来的学习型系统积累任务先验哪些任务需求高频、哪些操作序列能跑通、哪些边界条件会翻车——这些都会沉淀为下一代表训数据或评测集。而且别忘了第八节那个数字单张 A6000 就能做后训练微调。这意味着预训练底座 本体适配的分工在今天已经成立——底座厂商负责金字塔应用开发者负责塔尖那最后 10% 的示教适配。当启元这类厂商的消费级本体接入开源 VLA 底座时rpk 技能包生态积累的任务定义与场景知识就是现成的微调素材库。两条路线会在某个时间点汇合我认为这几乎是确定的。对想入场的人形机器人开发者论文给出了一条具体的成长路径我认为可以照抄先吃透执行层。把启元 SDK 的 McAction 状态机、输入源仲裁、rpk 技能包规范玩熟——这些是无论上层大脑怎么换代都不会贬值的技能就像大模型时代依然需要写高并发服务的人。再补学习层的常识。读 GR00T N1 这类论文不求复现求建立坐标系知道 45.0% 的仿真成功率意味着什么、知道 100 条示教微调是当前性价比最高的档位、知道合成数据在什么区间有效。用仿真练手。论文用的 RoboCasa、DexMimicGen 都是开源的配一个消费级机器人的 URDF 模型就能在仿真里做策略实验——这个组合的成本几乎为零却是论文里整条数据金字塔的微缩版。十二、写在最后回头总结这篇论文留下的三样东西一份开源模型——2.2B 参数、CC BY 4.0 许可任何团队都能下载、微调、商用研究。对人形机器人这个还在早期的行业头部玩家把底座开源出来意义类似于当年操作系统开源竞争的焦点从有没有转向用得好不好。一套方法论——双系统架构给出了实时性与智能的权衡范式数据金字塔给出了从互联网到真机的数据配比框架88 小时扩增到 827 小时给出了合成数据飞轮的最小可行样本。这三件事的复用价值我个人认为大于模型权重本身。一个清晰的进度条——短时程桌面操作已验证长时程移动操作待攻克10% 示教拿回 96% 性能说明数据效率还有红利可吃VLM 骨干是明确的能力瓶颈。对从业者来说一篇坦率写出 Limitations 的论文比十篇只报喜的 demo 视频更有信息量。最后回应一下开头。启元 SDK 里那个输入源优先级 1000ms 超时脱锁的设计当时我觉得它是个聪明的工程细节读完 GR00T N1 之后我才意识到它其实在回答一个更大的问题当机器人的大脑变得不可预测哪怕只是偶尔执行层该如何自保。双系统架构、状态机、仲裁机制、数据金字塔所有这些设计都在干同一件事——把不确定性和确定性分层管理。机器人行业未来几年的分化大概率就发生在谁能把这两层接得更好上。人形机器人正在从能站起来走向能干活而能干活的核心矛盾就是这篇论文的标题——通用性Generalist。国内厂商有的从数据侧进攻有的从场景侧进攻启元选择把消费级本体和低门槛技能生态先立起来让底座能力的进步随时可以插上来。作为开发者最好的姿态就是两头都占左手握紧确定性的执行层工程能力右手跟上学习型的预训练浪潮——论文链接就在下面去读原文吧36 页值得。论文原文https://arxiv.org/abs/2503.14734 DOI: 10.48550/arXiv.2503.14734CC BY 4.0 启元机器人开发者社区https://dev.primebot.com/ SDK 文档、AtomGit 开源组织、PrimeHub 技能商店入口都在这里欢迎来交流