060｜PaLM-E：将连续感知送入语言模型

系列首页 · 上一篇 · 下一篇

原论文：PaLM-E: An Embodied Multimodal Language Model，Danny Driess 等，2023年；本文阅读2023年3月v1正文及附录。论文。

先接住前作的问题

SayCan枚举技能并用外部可行性评分接地，但语言模型本身并不直接读取完整感知表示。PaLM-E把连续观测嵌入语言模型来生成步骤文本，追问场景信息怎样影响高层规划；低层控制仍由已有策略完成。

五个前置概念

五个前置概念：接地把符号与当前感知联系起来；软提示以连续向量影响语言模型；对象中心表示分离实体；分层控制区分技能选择和动作执行；灾难性遗忘指新任务训练损害原有能力。

一、问题设定：连续观测怎样改变语言模型的任务规划

SayCan主要把语言模型与技能可行性分数组合；PaLM-E进一步把图像、连续状态或三维场景表示直接嵌入语言模型。模型既能回答“红块在蓝块下面吗”，也能生成“先移开蓝块，再抓红块”这样的步骤。

“把红块拿起来”可能要求先移走压在上面的蓝块。语言常识知道“上方障碍要先移开”，但纯文本模型没有眼前物体的精确配置。另一方面，一般视觉问答模型即使会识别颜色，也未必会把识别结果转成可执行的任务顺序。

PaLM-E考察三个机器人领域：

学习本身是监督式文本预测，不通过环境奖励更新PaLM-E。成功条件随任务定义：有的检查计划可行性，有的运行机器人，有的只是判别回答。终止由生成的done或terminate等命令及环境流程决定。

假设也很明确：系统已经拥有一个小规模可执行技能集合。PaLM-E从训练数据与提示学习哪些技能可用，论文没有再用一个强制过滤器保证输出都落在技能集合中。因而生成语句合理，不等于它对应的技能存在。

二、把感知嵌入接入文本生成并混合训练

它输出的仍是文本。真正的末端或关节动作来自已有低层控制器，例如移动操作使用RT-1。因此PaLM-E是一种具身视觉语言规划模型，不能等同于后来的直接动作输出VLA。

实验最有价值的发现是跨域共同训练：大量视觉语言数据与少量机器人任务一起训练，能够改善有限机器人示范下的规划。但收益随任务和冻结方式变化；真实长任务主要有定性展示，不能把问答F1当成整机成功率。

1. 不必把每张图先转成文字

语言模型内部处理的本来就是向量。设词嵌入为$\gamma(w)\in\mathbb R^k$，感知编码器将观测变成$q$个同维向量：

$$\phi(O)\in\mathbb R^{q\times k}.$$

输入序列可以交错排列为

$$X=[\gamma(\text{问题}),\phi(I), \gamma(\text{历史步骤}),\gamma(\text{请继续})].$$

图像向量直接进入已有自注意力层，无需先挑一个词表ID或生成场景描述。视觉信息也可以插在句子不同位置，不局限于固定前缀。

这种接口沿用语言模型的序列和位置编码机制；它并不表示图像已经被无损翻译成语言概念。感知编码器与投影层需要通过任务训练把信息变成模型可利用的表示。

2. 不同表示提供不同先验

状态编码器用MLP嵌入物体位置、大小、颜色等。ViT把图像转成网格token，再通过投影层匹配语言模型维度。对象中心ViT使用真值物体掩码分开对象，这是额外监督，不能和无掩码视觉输入视作同信息量。

OSRT通过多视角新视角合成学习对象槽位，再把槽位映射成多个语言空间向量。它不需要真值实例分割，但需要域内视觉表示学习。相关实验中OSRT和语言模型冻结，只训练小型投影接口。

对象指代采用“Object 1 is <对象向量>”之类输入，让生成计划可以引用obj_1。低层接口也须理解这些对象索引，否则规划与执行的指代会断开。索引减少同色物体的语言歧义，但不是免费的场景解析。

3. 仍然是目标文本的交叉熵

设$y_{1:L}$为目标答案或计划，优化

$$\mathcal L =-\mathbb E_D\sum_{\ell=1}^{L} \log p_\theta(y_\ell\mid X,y_{<\ell}).$$

损失只覆盖非提示部分的文本。梯度可以更新编码器、投影与语言模型，也可以冻结部分组件。冻结语言模型不是“模型完全不学习”，感知接口仍能学；全量微调也不是必然更优，后面的实验会展示取舍。

模型家族以PaLM为骨干：8B语言模型加4B视觉模型为12B；62B加22B为84B；540B加22B为562B。最大模型展示视觉语言能力，并不意味着每项机器人数字都来自562B。

数学目标是文本预测，机制是连续感知接入与共同训练，改善指标则包括规划成功、执行成功、F1和语言能力。PaLM-E内部没有本文训练的TD价值函数，也没有显式物理世界模型；可行性问答不等于经过贝尔曼更新的价值估计。

向量维度对齐只解决接口形状，没有自动解决语义对齐。教学设定：两个物体token被交换，而文本仍称Object 1，语言模型可以生成语法完全正确的计划，却让底层抓错物体。对象索引、视觉槽位和技能控制参数必须在同一轮观测中保持一致；重新观测后若索引重排，还须更新指代。

论文文本输出依赖已有技能词汇，并没有外部机制硬过滤全部不可执行输出。因此语言计划正确率与低层执行成功要分开：前者可能受益于互联网知识，后者仍受技能覆盖与感知误差限制。所谓连续输入是嵌入向量连续，不是模型直接发出连续力矩。原文输出接地与感知嵌入

一个具体例子

自构例子，未运行：红块被蓝块压住，目标是“拿红块”。输入不仅包含指令，还包含当前图像。模型生成“移开蓝块”，低层策略执行后再拍图。如果人把蓝块放回去，下一次视觉反馈可以促使规划器重新处理障碍，而不是机械执行之前整条计划。

这里有两种可能失败：模型误读叠放关系，或低层策略无法稳定抓蓝块。前者是感知规划问题，后者是执行问题。只看最终失败不能诊断原因；只看计划文本正确也不能证明系统成功。

三、把感知编码插入语言序列并调用低层技能

连续观测经编码后成为语言模型可读的输入，输出仍是步骤文本。真正动作由RT-1等已有控制器执行，训练混合比例和冻结方式会影响两层连接。

输入：视觉语言问答、机器人计划、场景判断等混合数据
训练：
  按混合比例抽取样本
  把感知观测编码成语言嵌入维度的向量序列
  与提示文字交错排列
  自回归预测目标答案或下一步计划文本
  仅在目标文本上计算交叉熵
  按实验配置更新全部模型或仅感知接口
机器人执行：
  输入任务、当前观测与已执行步骤
  生成下一条技能描述
  交给已有低层策略执行
  获取新观测，必要时重新规划
  生成终止命令后结束

四、分别读取问答指标与真实长任务展示

原图怎么读： 图5，原论文图注与图像。图中高层模型输出步骤，两个真实机器人分别调用低层策略执行。应该沿模块边界判断谁负责语言、谁负责连续控制，而不是把整套系统能力全归给文本模型。

结果图怎么读： 再看图4的TAMP规划消融：完整混合数据、单机器人数据、是否预训练和是否冻结语言模型分别形成对照。这里报告的是仿真规划成功率，不能与上方两台真机的执行序列混成同一个成功率指标。

8.9%是训练抽样配比，不是说机器人原始数据量占所有互联网样本8.9%。也不能用低数据规划示范数替代低层策略所需的全部训练数据。

控制时间要按实验区分：真实桌面展示§6.3描述高层1 Hz、低层5 Hz；附录B.2的数据采集与仿真评估使用每4秒一个高层命令、低层10 Hz。它们不应被合并为一个统一频率，比较纠错速度时需指定场景。

五组证据：正迁移也有条件

表1：低数据下的跨域帮助。 ViT-4B、冻结预训练语言模型时，单机器人数据在两个TAMP规划任务分别30.6%、32.9%；完整混合为74.1%、74.6%。第一项提高43.5个百分点，结果约2.42倍。该比较支持共同训练在此设置中的正迁移，但额外数据和任务正是新增资源，不是同总数据预算下的免费提高。

表1、表7：对象结构与预训练各有作用。 低数据OSRT为82.5%、76.2%，高于对应单域ViT；完整数据、8物体测试中，状态输入加预训练语言模型为91.3%、89.3%，无预训练为24.6%、6.7%。这支持结构化输入和预训练对组合扩展有帮助。但状态向量来自真值信息，不能直接宣称视觉模型已经达到同样的八物体泛化。

表2与附录B.2：桌面任务不能全部叫执行成功率。 完整混合、未冻结的12B模型在三项最大示范设置为80.0、57.5、50.0；84B为90.0、53.8、64.4。扩大模型两项改善、一项下降。任务1是单步指令预测测试，任务2、3才运行闭环仿真；直接平均三列会混合不同评估单位。追加少量微调提升若干设置，却也没有随示范数量严格单调。

表4、附录表9/10：解冻带来取舍。 完整混合12B冻结语言模型时，失败检测F1为0.91、可行性0.87；解冻后分别0.77和0.91。可行性提升并不代表失败检测同步提升。F1综合精确率与召回率，不是“机器人91%执行成功”。真实厨房计划的图5展示则提供另一级定性证据，没有同表列出统一长任务成功率。

附录表8：大模型保留语言能力较好，但不完美。 解冻多模态训练后，12B相对其PaLM骨干平均NLG从32.4降至4.1，562B对应53.8降至51.7。作者据此认为扩大规模缓解遗忘。这是所测模型和混合训练条件的实验趋势，不是规模保证；也不能用“保持语言能力”掩盖小模型严重退化。

以上来自原文正文与附录。本文核对v1方法和上述表格，未独立训练或复现真实系统；图示的单次成功不替代重复执行统计。

五、文本正确不能替代低层物理可执行性

代价首先是资源：大规模语言视觉预训练、多种机器人训练数据，以及已经能执行短指令的控制器。其次是能力分工：规划器看到“拿杯子”，不会自动掌握杯子的力控制；如果低层策略做不到，正确计划也无法完成。

作者讨论表示、冻结和共同训练的不同效果，并以实验说明泛化。本文进一步的分析是，文本交叉熵没有直接惩罚碰撞或长任务失败；训练中常见的合理语句可能在当前身体上不可执行。对象指代错误、漏检和反馈延迟会同时影响计划，需要闭环评估而不能只测语言输出。

示例中的单样本泛化也有先验背景：真实桌面实验是在一个模型上为100种长任务各提供一个训练例，并复用已有低层策略。“每种新高层任务一个例子”不能缩写成“机器人只看一次就学会全部动作”。

追问：规划文本因新图像改变，是否足以证明机器人实现了闭环恢复？

参考答案：只能证明高层输出会响应观测。还需检查新步骤是否及时送到控制器、旧技能如何中止以及低层是否具备恢复动作。应记录干预后的文本、技能调用和执行结果，分别定位感知理解、计划修订与动作完成。问答或文本匹配分数无法替代这条整机链路。

六、沿机制关系继续读

与SayCan是平行高层接地方法；与RT-2有历史联系，后者将动作编码为模型输出，本篇主要输出供既有控制器执行的文本技能。两者的“具身”发生在不同接口。

七、自测三题与参考答案

问题1：PaLM-E和RT-1最重要的输出差别是什么？

答案：PaLM-E输出答案或技能步骤文本，RT-1输出机器人动作分量。前者可以以RT-1作为低层控制器。把两者连接起来不意味着PaLM-E本身学习了全部运动控制。

问题2：为什么640个TAMP规划例并不等于整个系统仅用了640个训练样本？

答案：640只是低数据设置两个规划任务的例数。模型还可能使用其他TAMP问答、完整混合数据、语言视觉预训练，以及独立低层控制器训练。衡量数据效率要明确哪一层新增数据少。

问题3：解冻语言模型是否一定优于冻结？

答案：不是。表4完整混合下解冻提高可行性F1，却降低失败检测F1；附录还显示语言遗忘。选择需依据目标任务、保留能力和训练数据，而不是认为可训练参数更多必然更好。