092｜GR00T N1：面向人形操作的通用模型

系列首页 · 上一篇 · 下一篇

原论文：GR00T N1: An Open Foundation Model for Generalist Humanoid Robots，NVIDIA，2025。论文。

先接住前作的问题

DexMimicGen可以扩增可执行模拟示范，但人类视频与真实机器人动作仍不是同一种标签。GR00T N1为不同来源保留专属接口，把潜在动作、伪标签与真实动作接到共享模型，研究怎样共享而不混淆监督语义。

五个前置概念

五个前置概念：

• 形态条件化：根据机器人身体选择动作语义与接口。
• 行为克隆：从观测和目标预测示范动作，不直接优化奖励。
• 逆动力学：从状态变化推断导致变化的动作。
• 潜在动作：压缩变化的内部表示，未必对应可直接执行的命令。
• 流匹配：学习把简单噪声连续变换为条件动作分布的速度场。

一、问题设定：没有电机标签的视频怎样参与动作模型训练

机器人数据有一个根本矛盾：最接近部署条件的真机示范昂贵，最容易获得的人类视频又没有机器人电机命令。GR00T N1 用机器人专属接口连接共享的视觉语言与动作模型，并把视频转成潜在动作或逆动力学伪标签。它研究的是如何利用异构数据改善少量示范下的操作学习，而不是在线探索奖励的强化学习。

输入为相机图像 $o_t$、语言指令 $l$、本体状态 $q_t$ 和机器人形态标识 $e$，输出长度为 $H$ 的动作块 $A_t$。不同形态可以输出末端增量、关节目标和夹爪命令，不能把这些量简单拼起来后视为同一种物理动作。

训练使用离线示范与伪标签；环境只在数据生成或评估阶段执行动作。任务奖励不进入策略梯度，终止和成功判断由具体基准定义。真实 GR-1 研究重点是桌面双臂与灵巧手操作，论文标题中的“人形”不能扩展成已经解决走路、全身平衡和移动操作。（§4.1、4.6）

过去的行为克隆通常把每种机器人当成独立问题，低数据时很难区分语言目标与训练背景。直接使用人类视频又缺少“这一帧对应哪个关节目标”的监督。GR00T 的假设是：视频中可识别的行为变化能够为机器人提供有用先验；但该假设在遮挡、接触和视角变化下可能失效。

阅读这篇论文时应把三个问题分开：基础模型是否提供迁移收益；生成数据是否提供额外收益；同一个已训练权重能否未经微调应对新情形。它们分别需要不同对照，不能用一张综合成绩表全部回答。

二、分开三种动作监督并连接共享双系统

这套方案的关键判断是：不同机器人的电机向量不必相同，但“看见什么、要完成什么、动作导致怎样的变化”可以共享。数据接口保留形态差异，网络中间层学习可迁移表示。仿真数据和生成视频承担不同角色，前者能检查执行结果，后者扩大视觉与指令组合，却没有物理正确性的自动保证。

1. 视觉语言模块与动作模块

System 2 使用 Eagle-2 提取图像和语言特征 $\phi_t$；System 1 使用 DiT，结合本体状态和带噪动作，通过交叉注意力读取 $\phi_t$，通过自注意力组织动作时间关系。每种机器人有自己的状态编码器、动作编码器与输出解码器，内部隐藏维度共享。

“System 2”是架构命名，不表示每次动作前都会输出可检查的语言推理链；这里主要读取 VLM 隐藏特征。冻结语言组件也不意味着全部模型冻结，视觉编码器与动作部分仍参与训练。所谓端到端联结，需要与哪些参数可更新分开理解。（§2.1、2.3）

2. 三种标签不能混为一谈

真实机器人轨迹给出实际控制目标；仿真轨迹由 DexMimicGen 变换并执行筛选；无动作视频则有两条路径。

第一条路径训练 VQ-VAE：输入当前与未来图像，压缩两者之间的变化，再从当前图像和编码重建未来图像。策略监督使用的是量化前连续表示，把它视为独立形态的潜在动作，而不是直接发送给真实电机。第二条路径使用在有动作数据上训练的逆动力学模型，给生成视频补出动作块。这些是估计标签，不等于经过真机验证的示范。

生成视频从已有初始画面和新的语言组合出发，并经过指令一致性筛选或重新描述。因此所谓新增数据，同时包含生成器、视觉语言评审器与逆动力学模型的先验。它不是把几十小时真人动作无损扩展成数百小时真实经验。（§2.2、附录E）

3. 流匹配目标与符号方向

用一致的教学记号，令 $X_\tau=(1-\tau)\epsilon+\tau A$，其中 $\epsilon$ 是标准高斯噪声、$A$ 是监督动作块。路径导数为 $A-\epsilon$，可训练

$$L_{\mathrm{flow}}=\mathbb E\|v_\theta(X_\tau,\tau,\phi,q,e)-(A-\epsilon)\|^2.$$

采样从噪声出发，沿 $\tau:0\to1$ 积分。模型优化的是条件动作分布的生成场，不是直接最大化任务成功率。附录E还加入基于目标物体中心坐标的辅助定位损失；其标签来自检测器，应算额外监督。

原文符号需核对：v1 §2.1 把插值写作 $\tau A+(1-\tau)\epsilon$，目标却写成 $\epsilon-A$，随后又用正步长从噪声积分。这三项的方向不一致。上式是数学一致的教学写法，不应冒称与原始代码逐行相同。这个疑点影响复现公式的直接使用，不足以否定实测结果。

这种设计可能有效的原因是共享模块反复看到语义相近、身体不同的变化，而专属接口避免强迫不同电机维度一一对应。这属于机制解释；是否确实形成抽象的身体无关因果模型，还需要专门实验。

从两张图恢复“动作”存在不可辨识性。教学设夹爪被刚性物体挡住，施加很小或很大的目标力都可能得到几乎相同的前后图像；视频变化编码因此无法仅凭这两帧确定真实施力。相机自身移动也会产生像素变化，未必对应物体被操作。

潜在动作可以成为有用的视觉变化监督，却不能与经过控制器执行、带单位的关节命令互换。原文把连续潜码作为独立LAPA形态，并给各形态专属接口，正是在共享学习中保留标签来源差别；视频伪标签有用的证据来自下游实验，而不是标签已经成为真值。原文§2.2—2.3

用一个例子建立理解

下面是未运行的教学例子。人类视频里有人把杯子从左侧移到盘子上，机器人A使用末端增量，机器人B使用关节位置。三种动作标签无法直接相等，但共享视觉特征可以学习“目标是盘子、杯子要移动”，各自解码器再输出对应表示。

假如生成视频把杯子穿过桌面，潜在动作仍可能很好地压缩画面变化；动作模型训练损失甚至可能下降。然而真实执行会失败。这说明更好的标签拟合并不充分保证可执行性，必须把生成正确性和控制成功分别测量。

三、按来源生成不同动作标签再联合后训练

真实电机命令、潜在动作和逆动力学伪标签各有语义，机器人专属接口保留身体差异。模拟执行可以检验轨迹，生成视频本身没有同样的物理验收。

准备不同形态的真实与仿真示范
训练视频变化编码器；在有动作数据上训练逆动力学模型
对人类视频生成潜在动作，对生成机器人视频生成伪动作
为每种真实或伪动作形态定义专属输入、输出接口

重复训练：
    从混合数据中抽取图像、指令、状态、动作块与形态
    视觉语言模块提取条件特征
    为动作块采样噪声和插值时刻
    DiT 预测路径速度；优化流匹配及适用的定位损失
    语言组件冻结，其余指定模块更新

适配新任务：
    用该形态的少量示范微调
    若加入生成视频，分别使用对应动作接口

部署：
    根据新图像和状态生成动作块
    执行配置允许的一段动作，重新观测并继续

四、逐项核对数据来源与阶段评分

作者报告，在其真机阶段评分下，完整示范微调的平均分从 Diffusion Policy 的 46.4% 到 76.8%，即增加 30.4 个百分点。这是预训练系统与从头学习基线的整体比较，不能单独归因于双系统架构。（§4.3—4.4，表3）

原图怎么读： 图4，原论文图注与图像。这是跨形态相似潜动作的检索示例，展示对应运动方向；近邻看起来一致还不足以证明不同机器人共享了可直接互换的控制坐标。

原文标注 CC BY 4.0。本页摘图仅保留图形区域并作栅格化；有面板重排的图另行注明，作者与原文入口见各图注。

结果图怎么读： 内嵌图9检验合成轨迹是否改善下游成功率：左侧是RoboCasa按30、100、300条示范分组，右侧是真机低数据条件。需在同一示范量和动作标注方式下比较；模拟中的潜动作和逆动力学标注不能与真机设置混作同一对照。

流匹配的时间方向与DexMG表间汇总口径仍有待核对；不把未统一的定义用于推出额外的精确性能差值。

仿真中“最佳检查点”提高了模型选择的影响，不能等同于固定最终权重的单次测量。真机中的阶段分提供细粒度诊断，也意味着分数高不保证完整任务可靠。小样本评估还不足以精确估计罕见故障概率。

预训练与从头训练模型的数据、计算预算显著不同，表格证明的是系统使用价值，不是公平固定算力下的单一架构优越性。生成视频实验更接近对数据机制的控制，但仍同时引入生成器和伪标签器；若要解释收益来源，应加入重复原数据、纯视觉增强、仅潜在动作等对照。

§2.3 报告预训练约五万 H100 GPU 小时。生成视频也有独立算力成本，应与策略训练分开记账。不能因为后训练示范少，就说整体方法训练便宜。论文中的吞吐、动作块采样延迟与观测更新频率也不是同一个量：一批动作足够执行若干时刻，不代表每个时刻都根据最新图像决策。

结果：五处证据与边界

证据1：表2及附录表4——平均提升不等于逐任务获胜。 主表支持三个仿真基准总体改善；附录出现某些任务落后和增加数据后未单调上升。读者应把“跨基准平均更强”与“每个任务都更强”区分。表2与表4的 DexMG 汇总数还不一致，不能把它们当作同一数值重复引用，需进一步核对版本或汇总条件。

证据2：表3——迁移收益明确，但包括预训练投入。 46.4% 到 76.8% 是同完整下游数据条件下的平均阶段分变化；绝对变化30.4个百分点，相对变化为 $30.4/46.4\approx65.5\%$。它支持预训练系统有效，不证明某一个组件贡献了全部差额。

证据3：图9——视频增强具有增益，但不是纯视频零示范学机器人。 生成器和逆动力学模型仍利用有限的有动作示范，策略也与真数据共同训练。该实验支持混合训练补充信息，不支持完全取消机器人数据，更不能证明生成视频具备可靠接触物理。

证据4：图4——潜在空间存在跨形态相似性。 相近编码能检索到相近的手臂移动。这是可视化证据，不是所有动作都被正确对齐的定量证明。背景运动、相机运动和物体运动可能同样占据编码容量。

证据5：§4.5、图12——微调可能损失已有能力。 预训练模型在特定案例中使用双手交接完成放置，而只含右手行为的后训练数据使模型失去这条路径。它是重要反例：提高目标分布成绩，可能同时缩窄策略使用的动作模式。单个案例不能估计遗忘的平均程度，却足以提醒读者补做保留能力测试。

五、伪标签和视频外观不提供物理正确性保证

这篇论文把模型、动作接口和监督来源放在同一设计中。新意主要在系统化组合与规模化验证，而不是首次提出流匹配或模仿学习。它也表明机器人通用性包含多个层面：共享权重、支持多种动作空间、少样本适配、未经适配的泛化，四者并不等价。

作者明确指出当前侧重短时域桌面操作。我的进一步分析是，专属形态接口降低了负迁移风险，却也让“新机器人直接即插即用”成为额外问题；潜在动作监督避免了显式对应关系，却可能只学习可见变化，遗漏接触力或被遮挡的手指动作；生成数据扩大覆盖的同时，也会复制生成模型的系统性错误。

还不能把“生成视频看起来合理”当成“机器人有能力实现它”。动作伪标签必须经由真实执行检验。对于工业部署，阶段分还要转换成整任务成功、每小时失败、恢复成本等运行指标，才能与示范成本一起评估收益。

追问：同一视频用潜在动作和逆动力学伪标签两种监督时，应怎样避免误判数据收益？

参考答案：应分别记录原始视频数量、标签生成器和各监督的采样权重，再在相同目标任务微调预算下消融。两种标签可能共享同一来源与错误，不能当成两倍独立经验。其价值在于提供不同约束，是否改善动作仍需真实或可执行模拟评测。

六、沿机制关系继续读

GR00T N1组合DexMimicGen仿真数据与视频潜在动作，和π0是平行连续VLA路线；同用流匹配不代表动作接口、冻结参数或合成数据证据相同。

七、自测三题与参考答案

问题1：为什么把人类视频当作一种“形态”，不直接转换成机器人关节角？

答案： 视频没有足够信息唯一确定机器人关节动作，不同身体还可能用不同动作实现同一变化。独立潜在动作接口允许共享中间表示而不伪造关节真值。代价是这种监督与真实控制之间仍存在间隙，需要有动作数据建立联系。

问题2：阶段得分76.8%能否理解为100次任务大约成功77次？

答案： 不能。阶段计分可能把未完成任务计作部分分，多阶段与物体计数还会引入不同权重。要回答完整成功次数，必须取得每次完整任务的二元结果。该平均分适合衡量完成程度，不能直接替代完整可靠性。

问题3：为什么用更多目标任务示范微调，反而可能失去双手交接？

答案： 行为克隆提高训练数据动作的条件概率；如果示范只有右手路径，其他路径可能被压低。局部任务拟合改善与全局技能保留并非同一目标。可以加入旧任务回放，并分别评估新任务与旧能力；仅观察新任务分数无法判断是否发生遗忘。