072｜GR-1：视频预测预训练与机器人动作学习

系列首页 · 上一篇 · 下一篇

原论文：Unleashing Large-Scale Video Generative Pre-training for Visual Robot Manipulation，2023，本文依据 arXiv v2。论文。

先接住前作的问题

R3M用人类视频学习可迁移视觉表征，但冻结图像编码器不直接要求它预测时间变化。GR-1把未来画面预测与动作学习放到共享Transformer里，追问动态预训练能否帮助控制；部署不是先生成视频再反演动作。

五个前置概念

五个前置概念：

• 因果注意力：每个预测只读取允许的历史信息，避免未来标签泄漏。
• 查询 token：从共享模型读取特定输出的可学习入口，不等于真实未来数据。
• 辅助任务：通过另一种监督信号帮助学习表征，而非直接优化最终评价指标。
• 行为克隆：拟合示范动作的监督学习，不包含在线试错。
• 任务链指标：连续完成多项任务，对单步小错误的积累更敏感。

一、问题设定：未来画面预测怎样帮助机器人动作学习

人类视频没有机器人的电机标签，却包含物体如何被抓取、移动和放置的信息。GR-1 的主张是：先用这类视频训练一个预测未来画面的序列模型，再用机器人示范教它预测动作，可以获得比仅模仿机器人轨迹更好的泛化。

R3M 等方法先学习视觉特征，再训练控制器。GR-1 更进一步，把“如何整合一段视觉历史”也放进预训练。单帧中杯子和夹爪的距离可能相同，但历史能区分正在接近、刚刚放下或抓取失败。

设定是离线监督学习：语言指令$l$、图像历史$o_{t-h:t}$、末端和夹爪状态$s_{t-h:t}$进入模型，输出当前动作$a_t$以及未来图像。没有在线奖励最大化、价值函数或环境搜索。

CALVIN 中动作是末端位移、欧拉角增量和夹爪开关。真实实验使用 Kinova Gen2，任务包括物体搬运和抽屉操作。成功由评估规则判定；训练不以这个成功标量作强化学习奖励。

所谓“零样本新场景”，是机器人训练用 A/B/C 场景，评估用 D；不是完全没有机器人训练，也不是语言和视觉预训练从未见过类似物体。新语言评估是同义指令变化，不能等同于新技能组合。这个边界影响我们如何理解标题中的泛化。任务定义与设置：§3.1、§4.1。

二、共享序列骨干学习视觉未来与动作

它的动作分支与未来画面分支共享 Transformer。未来图像是一项训练任务，不是部署时先画电影、再运行逆动力学取动作的两阶段管线。

1. 输入如何变成序列

语言由冻结 CLIP 文本编码器处理；图像由冻结 MAE 预训练 ViT 编码，保留全局与压缩后的局部信息；本体状态经线性映射。每个时间步还有用于读出结果的 [OBS] 和 [ACT] 查询 token。

预训练没有机器人状态和动作，所以输入只有语言、图像与观察查询。微调加入状态与动作查询。这种接口让同一时间模型先接触人类视频，再接触机器人轨迹。

因果掩码不仅防止看到未来，也阻止其他 token 读取这些预测查询 token。动作头不是读取解码出的未来 RGB 图像再决策。 两个输出共享对过去信息的表示，视频损失通过参数学习间接帮助动作；这比“模型先想象再行动”的口号更准确。

2. 损失函数及其含义

按原文式3：

$$\mathcal L= \mathcal L_{\rm arm}+\mathcal L_{\rm gripper} +\mathcal L_{\rm video}.$$

连续机械臂动作使用 Smooth-L1，夹爪二分类使用交叉熵，未来图像使用像素重建误差。教学上可写：

$$\mathcal L_{\rm video} =\mathbb E\|\hat o_{t+\Delta t}-o_{t+\Delta t}\|_2^2.$$

具体实现对图像 patch 做归一化，不能把这简式误当作未经处理的原始 RGB 损失。Smooth-L1 在小误差处像平方损失、大误差处像绝对误差，减轻少数异常动作标签的影响。

优化目标是三种监督误差；机制改变是共享时间表征与预训练；实验指标是完成任务数量和成功率。像素误差减少本身不是控制性能定理。

这不是 MPC：没有采样候选动作并比较预测未来的回报，也没有 Bellman 备份。视频中没有动作标签的阶段，更不可能直接从损失中恢复机器人关节控制规律。

共享骨干解释了视频预测如何帮助动作，也揭示它可能怎样干扰。设共享参数上的动作损失梯度为 $g_a$、视频梯度为 $g_v$，用学习率 $\eta>0$ 更新后，动作损失的一阶变化约为 $-\eta g_a^\top(g_a+g_v)$。这是小步长局部近似，不保证整个训练过程的结果。

教学取 $g_a=(1,0)$、$g_v=(-2,1)$，则动作损失近似增加 $\eta$：同时优化更多预测任务并非必然有益。预训练是否提供有用时间信息，要靠去预训练、去视频损失等控制实验，而不能靠预测帧看起来清晰。原文查询token被其他token屏蔽，也排除了“先把生成RGB喂给动作头”的另一种解释。原文§3.2—3.3

自构小例子与知识连接

教学例子，未运行。 当前相机看到夹爪靠近番茄。语言说“放到盘子上”，历史显示夹爪已经闭合并上抬。未来预测训练鼓励表示保留番茄是否随夹爪移动；动作头可利用这种时序信息继续向盘子移动。

若番茄实际滑落，而图像背景占绝大多数像素，预测仍可能得到很低平均误差。这个例子说明应该单独分析操作对象区域的误差，以及失败后动作是否能恢复，不能只比较整帧 MSE。

再考虑“把红块向右推”与“把红块向左推”。相同历史、不同语言可以对应不同未来；模型应使用语言条件区分。若语言编码对“左/右”不敏感，增加更多视觉预测不会自动修复这种语义错误。

三、先预测人类视频，再联合训练机器人动作

共享骨干同时服务未来画面与动作分支，部署动作不依赖先生成完整视频。预训练与动作微调的数据来源及计算需分别记录。

阶段一：视频预训练
冻结 CLIP 文本编码器和 MAE 图像编码器
重复采样带语言描述的人类视频片段：
    编码过去图像和语言
    用因果 Transformer 的观察查询预测未来帧
    最小化视频重建损失，更新时序骨干和预测头

阶段二：机器人微调
重复采样带语言的机器人示范序列：
    输入过去图像、末端状态、夹爪状态与语言
    观察查询输出未来帧，动作查询输出当前机械臂和夹爪动作
    更新视频损失 + 动作 Smooth-L1 + 夹爪交叉熵

部署：
    维护历史窗口
    前向计算当前动作
    执行动作、读取新观察、滚动窗口

四、用CALVIN任务链和真机对照检查迁移

作者声称视频生成预训练帮助多任务控制。CALVIN 与真实机械臂结果支持这个方向；还不能据此说模型学到了可用于任意反事实规划的物理世界模型。

原图怎么读： 图6，原论文图注与图像。绿框是真实未来图像，蓝框是预测图像。逐帧比较对象运动可以检查辅助预测学到什么，但清晰预测并不自动证明动作输出依赖这些动态。

原文标注 CC BY 4.0。本页摘图仅保留图形区域并作栅格化；有面板重排的图另行注明，作者与原文入口见各图注。

来源为 §3.3、§4、附录 A.1–A.3。CALVIN 原始24小时 play 数据中，只有少部分带语言；不能把“1%有标签”误读成只在所有机器人数据的1%信息条件下公平击败同预算方法。GR-1 另外使用大规模视频、MAE 和 CLIP 先验。

真实“见过对象”还混合了训练场景与增加干扰物、背景变化的场景；该列不是纯原场景成绩。未见实例和未见类别的定义也不同：前者换同类物体实例，后者换机器人训练中没有的类别。

五处证据，以及它们不能证明什么

证据1：表1的任务链。 ABCD→D 的首任务成功率由 HULC 的88.9%到 GR-1 的94.9%，增加6个百分点；平均完成长度由3.06到4.21。完整五任务成功率是73.1%，因此不能把94.9%写成“五任务全部完成率”。链式指标说明连续可靠性比单任务成绩更苛刻。

证据2：表1的新场景。 ABC→D 首任务85.4%，完整链40.1%。它支持跨这个基准场景布局和外观的迁移，不证明跨任意机械臂或真实厨房迁移。与训练含 D 的结果相比仍有明显下降。

证据3：表4的结构消融。 平均链长度从去掉两项的3.33，到只保留未来预测的3.82，再到完整预训练的4.21。可见架构与辅助目标本身已有贡献；不能把相对外部基线的所有优势都归因于额外视频。并且这不是完整二乘二消融：缺少“预训练后移除预测任务”的对应条件。

证据4：表5的预测距离。 不使用视频预训练时，未来1/3/5步对应平均长度3.61/3.82/3.67。中间间隔较好，说明“预测越远越有用”并不成立。远期画面可能含有对当前动作不必要的不确定性。

证据5：表2与图6。 真实未见类别成功率只有30%，低于未见实例73%；作者观察到颜色相近物体混淆。图6展示的未来画面是定性证据，没有证明预测误差与控制收益之间的单调关系。实验表格与消融：原文。

附录表7也有局部退步，例如滑动板向右与开抽屉的完整模型并非略去视频分支版本的全面胜者。因此结论应是整体改善，而不是每项技能都需要视频预测。

五、预测视频不等于可供任意反事实规划

新意主要在预训练与控制的接口：不是只换一个更强视觉编码器，而是让同一时序模型在两种数据上工作。冻结编码器降低训练自由度，同时保留已有视觉语言知识。

作者将收益解释为预测未来提供行动线索。这是受到消融支持的解释，但严格说，辅助目标也可能起到表示正则化作用；现有实验不能唯一确定它学会了哪种“因果理解”。

本文进一步分析：这里的未来预测没有显式以候选动作作为输入，不能回答“如果我改成另一个动作，物体会怎样”。要变成用于规划的动作条件世界模型，需要新的接口、训练覆盖和反事实验证。观察序列预测与控制动力学模型有联系，却不能互相替代。

代价是训练图像解码器与额外数据处理；像素目标还可能偏重背景和大面积静态区域。两个未来都合理时，平方损失可能平均出模糊结果。看上去清晰的未来帧也未必包含接触力、滑移或机器人执行延迟这些关键变量。

作者讨论扩展无语言视频、比较不同视频来源和增加机器人任务。它们仍是未来方向，不是已经被这篇实验覆盖的能力。

追问：如果未来图像分支关闭后动作仍不变，能否说明视频预训练没用？

参考答案：不能。关闭部署时的辅助输出不消除共享权重在训练中获得的表示。应比较相同动作训练预算下有无视频预训，或保持预训数据但改变时间预测目标，再看任务链结果。部署依赖与训练贡献是两个问题，单次去掉输出分支只能回答前者。

六、沿机制关系继续读

与R3M有视频预训练的教学联系，本篇把时序生成目标加入共享策略训练；与UniPi是平行用法，GR-1动作头并不把生成视频交给逆动力学控制器。

七、自测三题与参考答案

问题1：GR-1 是否先生成未来视频，再根据视频反推动作？

答案：不是。观察查询和动作查询共享对输入历史的编码，各有输出头；掩码还阻止其他位置直接读取查询 token。未来预测主要通过共享参数和训练损失帮助动作学习，不是部署时显式逆动力学管线。

问题2：首任务成功94.9%为什么不意味着五任务链成功94.9%？

答案：后续任务必须在前一任务成功的状态继续执行，任何失败都会终止链。原文同条件五任务成功率为73.1%。链长分布和首任务概率衡量不同可靠性层次，不能交换使用。

问题3：怎样验证收益真来自预测“动态”，而不只是多一个损失？

答案：可在相同数据和预算下对比真实未来、当前帧重建、打乱时间的未来标签，并分别测对象运动区域预测与闭环任务成绩。若真实时间关系在匹配条件下仍显著更好，才更支持时序动态学习的解释；这是未运行的后续实验设计。