065｜RT-2：把视觉语言知识接到机器人动作

系列首页 · 上一篇 · 下一篇

原论文：RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control，Anthony Brohan 等，2023，本文对应 arXiv v1。论文。

先接住前作的问题

RT-1已共享语言条件机器人动作，但新语义主要受机器人示范覆盖限制。RT-2把视觉语言预训练与动作token共同训练，让互联网知识影响动作选择；它延续任务接口，不承诺从语义知识直接产生新物理技能。

五个前置概念

五个前置概念：

1. 行为克隆：从示范输入输出学习动作预测。
2. 自回归解码：当前 token 以先前已生成 token 为条件。
3. 动作量化：用有限离散符号近似连续控制量。
4. 联合微调：在多种数据任务上继续更新同一预训练模型。
5. 控制频率：新观测能够改变动作决策的速度，区别于底层伺服频率。

一、问题设定：视觉语言知识怎样进入机器人动作输出

机器人可能会抓苹果，却听不懂“拿一个健康的零食”；视觉语言模型可能知道苹果符合要求，却不会控制夹爪。RT-2 尝试让这两种能力在同一个模型里连接。

相较于原始 PaLM-E 的高层文字规划，RT-2 将模型输出直接解释成末端位置与旋转增量、夹爪命令及终止指令。底层机器人控制器仍然存在，所以“端到端动作预测”不意味着网络直接取代所有伺服控制。

这是从离线示范学习条件策略，数学上属于行为克隆。机器人回合用于评价成功率；训练没有因为部署在真实机器人上就自动变成在线强化学习。

图像和任务语言是核心输入。系统必须同时完成对象识别、指代解析与动作选择。例如“把苹果移到相同颜色的杯子旁边”，需要先识别颜色关系，再把已有移动技能应用到相应位置。若关系判断正确但抓取滑落，应算物理执行失败；若抓得很稳却拿错杯子，应算语义接地失败。

论文的主要平台是移动操作机器人，但本文所讨论动作编码是末端与夹爪控制，不能仅因机器人具有移动底盘，就推导出模型学会开放环境导航。

二、把动作token与视觉语言任务联合训练

办法非常直接：把动作离散成 token，把“观察图像后输出动作”写成和视觉问答相似的训练样本。模型既继续训练互联网视觉语言任务，也学习机器人示范。这样，语义知识不只用于高层选技能，而能影响动作预测本身。

动作离散化

以某一连续动作维 $a$ 为例，给定训练约定的区间 $[a_{\min},a_{\max}]$，可用如下教学形式映射到离散格：

$$q(a)=\operatorname{clip}\!\left( \left\lfloor B\frac{a-a_{\min}}{a_{\max}-a_{\min}}\right\rfloor, 0,B-1 \right).$$

$B$ 是箱数；原文连续动作维使用 256 个均匀箱。具体反量化与边界约定属于实现细节，上式用于解释原理。

离散化使动作能够进入既有词表，但也带来分辨率限制。动作范围越大，同样数量的箱越粗。换机器人时若仍沿用相同数值 token，却改变单位或动作语义，模型输出就会被错误解释。

自回归行为克隆

将动作编码后的 token 序列记为 $u_{1:m}$，图像为 $I$，指令为 $\ell$。训练目标可写成：

$$L_{\rm robot}(\theta) =-\mathbb E_D\sum_{j=1}^{m} \log p_\theta(u_j\mid I,\ell,u_{<j}).$$

这是 token 负对数似然，也是机器人示范上的行为克隆目标。它没有直接最大化环境奖励，更没有学习 Bellman 意义的价值函数。

PaLI-X 可以使用已有数字 token；PaLM-E 则为动作改用低频词表位置。两者体现同一个思想：尽量复用已经训练好的输出接口，而不是额外增加一个独立动作头。机器人任务解码时限制合法动作词表，避免输出一段无法执行的普通自然语言。

为什么还混入互联网任务

只用机器人样本继续训练，可能让模型丢失原来的视觉语言能力。联合训练相当于：

$$L(\theta)= \alpha L_{\rm robot}(\theta) +(1-\alpha)L_{\rm web}(\theta).$$

这是对混合采样的教学表达；$\alpha$ 表示采样权重而非真实数据集体积比例。模型持续看到视觉问答与描述任务，同时把机器人语言指令映射到动作。

机制上的变化是“共享模型与输出空间”；优化目标仍是预测 token；实验改善指标是机器人成功率。把这三层分开，才能避免把语言模型的困惑度下降直接当成控制性能提高。

推理延迟也是算法边界

生成一次动作需要图像编码、模型推理、token 解码和传输。大模型使用云端多 TPU 服务，原文 55B 模型动作更新约为 1–3 Hz。底层控制器可以更高频运行，但新的视觉决策并不会因此自动更快。

“完整动作序列”在这里指一个动作向量的 token 编码，不是一次生成整个任务的开环轨迹。

合法动作token约束仅保证语法，不保证物理可行。教学例：解码出的每个维度都在范围内，组合后仍可能让夹爪撞桌；逐维合法不等于联合运动学、碰撞和接触合法。互联网知识帮助选对“哪一个物体”，与如何在毫米误差下稳定抓它是不同泛化轴。

联合微调也要看曝光量：采样权重50%不表示机器人数据占原始语料一半，而是每批中重复出现的训练比例。原文不同RT-2骨干采用不同混合和更新预算，因此模型大小消融以外的跨骨干差值不能只归于参数规模。原文Co-Fine-Tuning与训练附录

用一个例子辨认“迁移了什么”

以下是自构教学例子，未运行。桌上有苹果和扳手，机器人示范只教过“抓起指定物体”。测试指令是“拿可以吃的那个”。

若模型选苹果并成功抓起，至少说明语义属性影响了动作目标。但这不能证明模型学会削苹果。如果换成一个形状相似但极易碎的物体，模型可能仍输出相似抓取动作；此时视觉语义知识没有自动提供合适的接触控制。

可以进一步设计三组测试：只换称呼不换物体，只换物体外观不换物理性质，只换物理性质不换任务。三组结果分别帮助定位语言、视觉和动力学迁移。这比把所有变化合并成一个“泛化”总分更有解释力。

三、联合训练视觉语言样本与离散动作序列

机器人动作被编码成输出token，互联网任务继续约束视觉语言知识。联合微调的取舍在于保留语义能力的同时学习身体接口，而非用文字直接替代控制。

训练：
    初始化预训练视觉语言模型
    以固定混合规则采样机器人与互联网样本
    若为机器人样本：
        图像和任务组成输入
        按动作单位、范围和顺序编码离散 token
    否则使用原视觉语言输入输出
    用下一 token 预测损失更新共享模型
部署：
    读取当前图像和任务
    在合法动作词表中生成完整动作序列
    反量化为末端增量、夹爪与终止命令
    交给底层控制器执行
    若未终止，读取新图像再预测

四、区分新语义选择和新运动技能证据

重要边界是：新的语义用法不等于新的运动技能。选出可当锤子的石头，与学会用石头完成精确敲击，不是同一件事。作者也明确承认物理技能仍受机器人数据限制。

原图怎么读： 图4，原论文图注与图像。分别看已见任务、新物体、新背景和新环境，不能把一个类别的泛化成绩复制到另一个类别。各柱的详细条件和次数要与附录结果表对应。

“相同机器人数据”是有价值的控制变量，但不等于相同总信息或计算预算。因此实验支持“大规模视觉语言预训练有用”的系统结论，若要估计参数量本身的独立贡献，还需要更严格的计算匹配。

论文还注明，PaLM-E 原始预训练可能包含类似泛化场景的机器人图像，只是没有对应低层动作。于是“未见环境”至少要分为视觉场景未见和该场景动作监督未见；不能将二者混写。

五组证据怎样判断

详细结果来自原论文正文和附录 H。

第一组：图4、表6，优势主要在哪里。 已见任务的 RT-1 为 92%，PaLI-X 版 RT-2 为 91%；未见条件均值则分别为 32% 和 62%。后者是增加 30 个百分点，相对基线提高约 93.75%，结果约为 1.94 倍。它支持泛化改善，不支持所有场景都更好。

第二组：表7，语义迁移与运动能力。 语义测试显示模型可以把互联网知识用于机器人任务，但成功仍依赖原有抓取、移动等动作能力。把对象移动到数字标记处，是已有运动加新语义目标，并非从数字知识中生成全新的控制规律。

第三组：表8，联合训练是否必要。 大模型的联合训练优于只用机器人数据微调；小模型的平均差距较小，而且某些条件出现退步。结论应是训练混合影响泛化，并有规模和场景依赖，而不是每增加互联网数据都必然改善。

第四组：§4.4 与附录 I，推理链。 这一部分展示先生成语义计划再输出动作的能力。展示性例子不能等同于一套充分重复的长时程规划基准，也不证明文字理由一定是实际动作决策的因果解释。

第五组：附录 G，识别正确仍可执行失败。 新对象的滚动和受力特性会使动作失效。这是语义泛化与动力学泛化的直接分界：知道是什么、应该选哪个，并不意味着知道在哪个接触点施加多大位移。

表6 与表8 对同类 55B 联合训练行的未见平均数分别列为 62 和 63，分项相同；本文保留各表原口径，不把这一差异解释成新的模型提升。

五、模型规模与示范动作支持共同限能力

代价不只是参数存储。长生成延迟会降低纠错频率，网络服务依赖影响部署方式，动作量化影响精度，训练混合需要权衡语义保持与动作拟合。机器人示范里的运动范围仍是物理能力的重要边界。

作者承认新运动、精细操作和复杂推理的不足。本文进一步分析：离散 token 的预测损失通常把不同错误类别分开计数，但相邻动作箱和相反方向动作的物理后果不同。符号空间便利，并不自动提供最佳控制几何；后续连续动作模型、动作分块与专门解码器都有理由重新处理这一接口。

追问：动作token预测更准确，为什么毫米级物理误差未必同比下降？

参考答案：离散类别损失关心正确token的概率，物理误差还取决于动作分箱、各维尺度和多步执行。相邻箱与远离箱的分类错误在物理上并不等价。应同时报告动作数值误差、控制频率和闭环成功，不能用token准确率单独判断精密操作能力。

六、沿机制关系继续读

RT-2沿RT-1的视觉语言动作问题，并与PaLM-E等预训练骨干作模块组合；后续OpenVLA采取开放VLA路线。这里的继承是任务接口与训练思路，并非所有模型共享同一个架构。

七、自测三题与参考答案

问题1：RT-2 为什么不是因为“输出动作”就属于强化学习？

答案：算法类别由学习信号与更新机制决定。RT-2 的动作训练使用示范 token 的预测损失，没有通过环境回报优化策略的核心过程。真实执行用于测试，不会自动把监督学习变成 RL。

问题2：为什么联合微调可能比只用机器人数据微调更好，却也不保证每个任务更好？

答案：互联网任务约束模型保留语义表征，可缓解遗忘；同时它占用容量和更新预算，可能与精细动作拟合存在竞争。效果依赖数据比例、模型容量、任务分布和训练时长，需要分项消融而非只看平均。

问题3：如果模型能挑出“可以当锤子的东西”，怎样才算证明它获得了工具使用能力？

答案：还需要观察它是否能以正确握持、方向、力度和接触时序完成敲击目标，并在不同物体与受力条件下重复成功。只选择或抓起该对象证明语义选择，尚未证明相应的工具控制策略。