Home / 机器人学习 / PerAct：三维体素中的语言条件动作

055｜PerAct：三维体素中的语言条件动作

原论文：Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation，Mohit Shridhar、Lucas Manuelli、Dieter Fox，2022。论文。

先接住前作的问题

Transporter把抓放关系放入平面空间结构，但三维位姿动作还需要处理高度、旋转与不同视角。PerAct把RGB-D与关键动作共同写进体素空间，再让语言参与选择；它改换表示与动作接口，不继承平面等变性的全部结论。

五个前置概念

五个前置概念：体素把三维空间分成格子；关键帧动作表示技能中的瓶颈位姿；cross-attention使一组查询汇总另一组输入；几何增强同时变换场景和动作标签；运动规划器根据起终位姿与碰撞信息生成可执行路径。

进阶追问与参考答案（3题）

进阶问题1：等视角输入下，PerAct的改进还剩多少？

参考答案：不能从输入不一致的已有比较计算出净增益。应固定相机数、RGB-D分辨率、历史长度与标定，再比较三维体素模型和对应基线；分别记录遮挡条件与非遮挡条件的成功率。如果优势主要来自多视角信息，输入对齐后会缩小；剩余差距才更直接支持表示与架构的贡献。

进阶问题2：连续残差动作能否缓解体素量化？

参考答案：在体素已选对、目标处于局部可达邻域时，预测体素中心到连续目标的残差可以降低网格偏差。但它不能修复选错抽屉或错误深度。可比较细网格、粗网格与粗网格加残差，匹配预算，分别统计离散选格错误、格内定位误差和真实插装成功；仅降低位置MSE不足以证明接触控制改善。

进阶问题3：失败恢复示范是否比继续增加成功示范更有效？

参考答案：若主要失败来自策略偏离后的状态缺失，恢复示范更有针对性；若基础技能尚未学好，更多成功示范仍可能更有价值。用相同人工采集时间分配给普通成功轨迹或故障后恢复轨迹，再在标准初态和受扰初态两组独立评估。记录自然发生的失败而非只挑容易恢复的例子，才能避免选择偏差。

这些回答给出机制分析与待检验设计，不是已经运行的新实验结果。

一、问题设定：怎样在三维观察中定位下一次关键动作

给机器人看图，让它回归一个三维抓取位置，网络需要自己学相机投影与空间关系。PerAct先把RGB-D转换成三维体素，再问：“下一次关键动作应该落在哪个体素？”

研究设定是离线模仿、单臂、多任务、语言条件控制。观测包含RGB-D重建的点云及少量本体信息；输出不是每个时刻的关节力矩，而是关键末端位姿和辅助离散决策。

模拟用四台无噪声RGB-D相机；真机因多Kinect互相干扰，只用一台经过标定的Kinect-2。3D表示可以自然融合多个视角，但不意味着系统无需几何标定。深度误差和外参偏差会直接进入动作坐标。

模拟任务有18类、249种变化，包含物体姿态、颜色、数量、形状类别及语言条件变化。论文明确不测试未见物体：训练和测试的物体集合相同。应说泛化到新的场景配置，而非开放词汇新对象操作。

终止也不是网络独立完成的全部能力。模拟中由任务oracle判定成功，最多25次关键动作；真机由人停止，并观察下一动作预测是否安全。神经网络输出“碰撞规避开关”，不等于学会可靠安全约束。

二、用体素和Perceiver预测位姿分类

语言和三维空间特征通过Perceiver融合，输出位置、旋转、夹爪及碰撞规划模式。底层运动规划器负责从当前位置走到预测位姿。这是一种语言条件行为克隆，虽然输出被记作Q，训练并没有TD学习。

它在18项RLBench任务上明显优于所测图像回归基线，并用53条真实示范训练七项真机任务。但多任务模型在几项精密操作上仍为零；三维结构带来样本效率，不代表解决了任意精细接触控制。

1. 关键帧减少控制学习难度

示范通过停顿、关节速度和夹爪状态等启发规则抽取关键动作。训练数据中的多个观测帧都可对应下一个关键位姿，网络学“接下来去哪里”，不拟合运动规划器沿路每个微小控制量。

这既减少标签噪声，也把一部分运动生成职责交给已有规划器。关键帧选择是实质性先验；若抓取接触点被错过，剩余网络再强也会学习错误分段。

2. 体素对齐观测与平移标签

默认在边长1米的立方空间划分 $100^3$ 体素，对应每边约1厘米。每格含颜色、点坐标、占据与网格索引信息。目标平移位置以夹爪中心最近体素作为分类标签。

旋转按三个Euler轴各5度一档，每轴72类；夹爪开合与碰撞规划模式各两类。旋转头输出216个logit，代表三个72类分类，不是同时枚举 $72^3$ 个联合姿态。

把动作位置和视觉放在同一坐标网格有直觉优势：看到把手的格子，就可在附近给动作高分。但这不自动解决“接近把手时的朝向”“施加多少力”等全部控制问题。

3. Perceiver怎样避免巨大自注意力

体素先分成 $5^3$ 小块，共8000个块；语言提供77个CLIP文本token特征。输入通过cross-attention汇入2048个可学习latent，再在latent之间做自注意力，最后解码回三维网格。

相比直接在所有输入间做自注意力，主要结构从输入平方关系变成输入与latent交互加latent自注意力。教学数量级为 $O(NM+M^2)$ ，其中 $N$ 是输入块数、 $M$ 是latent数；实际还有层数、通道、输出解码成本，不能据此宣称总计算量低到可忽略。

Perceiver的latent是每次感知处理中的可学习槽位，不是跨时间保存的机器人记忆。附录还输入动作序号，因此“没有循环记忆”也不等于完全不知道步骤进度。

4. 分类训练

令各输出头概率为 $p_j$ ，示范标签为 $y_j$ ：

$L_{\mathrm{BC}}=-\sum_j\log p_j(y_j\mid v,l), \quad j\in\{\mathrm{位置},\mathrm{旋转三轴},\mathrm{夹爪},\mathrm{碰撞模式}\}.$

原文Q是分类logit，经softmax得到概率。它不是折扣回报，也没有Bellman方程。CLIP文本编码提供预训练语言知识；“从头训练”主要指操作模型，不应理解为没有使用任何预训练组件。

几何增强必须同时变换观测与动作，否则监督不一致。论文实际主要用三轴平移与yaw旋转，而不是无约束随机roll/pitch：机器人可达空间会限制合法增强。

体素分辨率可换算为几何量化误差。边长1米、每轴100格时，格宽1厘米；若取最近格中心，每轴误差至多0.5厘米，三维欧氏误差至多约0.866厘米。这里只计算无噪声点的量化，不含深度、标定、规划跟踪误差。5度旋转分箱又有单轴最多2.5度的量化间隔误差，且Euler多轴合成不应直接相加为全姿态误差。

因此1毫米插孔任务不能只靠“位置分类正确”论证精度够用；需要更细网格、局部修正或柔顺接触等额外机制。原文碰撞模式头还会改变运动规划器允许的路径，成功结果是分类模型与执行器共同作用。原文§3.2—3.4

一个例子与前置概念

自构例子，未运行。 三个抽屉把手局部外观完全相同。只截取一个把手的小块点云，网络不知道它是上还是下；保留全柜三维结构后，可根据整体排序决定“打开中间抽屉”对应的位置。若相机外参整体偏2厘米，分类即使语义正确，执行仍可能错过把手。

三、从关键帧标签训练位姿头并调用规划器

只看选格正确还不能保证末端精度。教学上，边长为 $h$ 的立方体素若解码为中心，即使类别完全正确，格内目标到中心的最大距离仍为 $\sqrt3h/2$ ；这是假定三轴均匀网格的量化几何，不是原论文误差测量。若插入容差比这个尺度更小，就还需要更细表示、连续修正或低层反馈，不能只靠提高体素分类准确率。

准备示范：
    抽取关键末端位姿与夹爪、碰撞模式
    将轨迹中观测配对到下一关键动作
    用相机内外参将RGB-D转到机器人坐标系
    体素化，并把目标动作离散为分类标签

训练：
    均匀采任务，再采该任务观测动作对
    同时变换点云和目标动作进行几何增强
    编码体素块、语言token与本体信息
    用Perceiver融合，解码位置与其他动作头
    最小化各头交叉熵

执行：
    从当前观测预测关键位姿和规划模式
    用运动规划器执行到目标，再读取新观测
    按实验规定由成功oracle或人工停止

四、将体素收益与规划器分担的能力分开

原图怎么读： 图4，原论文图注与图像。这里比较全局与局部感受野的策略成功率，关注局部细网格是否因丢掉远处任务关系而吃亏。它不能把三维精度与场景语义当成同一个因素。

原文标注 CC BY 4.0。本页摘图仅保留图形区域并作栅格化；有面板重排的图另行注明，作者与原文入口见各图注。

Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation，图4：这里比较全局与局部感受野的策略成功率，关注局部细网格是否因丢掉远处任务关系而吃亏。它不能把三维精度与场景语义当成同一个因素。 — 实验图原图摘引：Mohit Shridhar、Lucas Manuelli、Dieter Fox，2022，HTML S4.F4，图4。核对原文。原版权保留。

项目	设置与含义
模拟数据	每任务10或100条示范，18任务共同训练；动作关键帧约2–17个
模拟传感器	四台128×128无噪声RGB-D相机
主训练	8张V100、约16天、60万更新、batch16、LAMB
测试	每任务25回合，共450回合；完整成功100，失败0，无部分分
检查点选择	模拟使用独立验证集选最佳，再测测试集
主要对比	Image-BC CNN/ViT、改为BC的C2FARM、去语言和结构消融
真机	七任务18种变化，53条示范；每任务5–10次测试
真机训练	8张P100约2天，最终检查点；单Titan X推理
人工与规划	Vive指定示范位姿，MoveIt/RRT-Connect执行；评测有人监视与停止
不确定性	表格报告成功率；独立重训种子与误差区间未逐项确认

Image-BC使用单视角，而PerAct模拟使用多视角。论文也承认这项劣势，因此34倍等倍率是完整框架比较，不能说只把CNN换成Transformer就获得同等提升。

C2FARM-BC更适合作为结构对照：同样体素化，但由粗到细裁剪，细层局部感受野受限。它的细分辨率约0.47厘米，甚至高于PerAct的1厘米，说明分辨率不是决定效果的唯一因素。

每批先均匀选任务，避免长示范任务贡献过多样本；代价是长任务中每个动作阶段覆盖较慢。数据量增加也可能引入更多任务变化，并非只给同一种情形重复更多样本。

五处证据与具体反例

表1：整体比较。 作者报告PerAct在36个“任务×数据量”比较中的25个胜过C2FARM-BC；相对平均倍率在10示范时1.33、100示范时2.83。它不是25个独立新任务，也不是所有任务成功率提高183个百分点。倍率低分母敏感，应同时阅读逐任务成功率。

图4：相似把手需要全局上下文。 打开上、中、下抽屉时，局部把手很相似。PerAct超过70%，所测C2FARM变体约33%。这支持全局场景关系的作用；实验仍同时包含网络结构差异，不能证明所有局部方法都无法加入位置上下文。

图3：关键帧是核心条件。 随机或固定间隔选择关键动作，在该抽屉消融中导致零表现。它说明动作分段不可忽略，而非单靠Transformer就能消化任意原始控制记录。

Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation，图3：关键帧是核心条件。随机或固定间隔选择关键动作，在该抽屉消融中导致零表现。它说明动作分段不可忽略，而非单靠Transformer就能消化任意原始控制记录。 — 原图摘引：Mohit Shridhar、Lucas Manuelli、Dieter Fox，2022，HTML S4.F3，图3。核对原文。关键帧是核心条件。随机或固定间隔选择关键动作，在该抽屉消融中导致零表现。它说明动作分段不可忽略，而非单靠Transformer就能消化任意原始控制记录。

表2：真机范围有限。 洗手液90%、放记号笔70%、放食物60%、放抽屉40%、击球60%、堆块40%、扫豆20%。前六项各10次，扫豆5次。不同任务样本数不同，不能不说明加权方式就报一个精确总成功率。真实策略使用真实示范，未采用模拟策略直接迁移。

附录G–H：增强和多任务都有反例。 去yaw增强时某些受限朝向任务反而更好；更少latent有时不差。三项精密任务的默认多任务模型为0，单任务训练后放杯24%、套杯32%、插孔16%。量化精度是限制之一，多任务优化也同样重要。

此外，附录A的部分成功判据比自然语言任务名称更窄：例如“关罐子”主要检查盖子位置及夹爪释放。读者不应自动将其理解为已验证真实螺纹密封或可靠旋紧扭矩。

五、离散精度与关键帧控制限制接触能力

这种结构也带来边界。固定网格限制工作空间；分辨率提高会增加内存；Euler角分类有量化与表示问题；采样运动规划器可能找不到路径或无法完成接触动作。多指手、高速抛接、力反馈插装不容易直接复用这套关键位姿接口。

作者承认对运动规划器的依赖及向灵巧连续控制推广的困难。本文进一步强调，碰撞开关若选择“不避障”，只是为了允许目标接触，并不能自动区分必要接触与危险碰撞。

六、沿机制关系继续读

与Transporter是平行空间动作表示：本篇把分类网格升到三维并用Perceiver融合；与RLBench是基准使用关系，航点规划提供的能力仍须计入整套系统。

七、自测三题与参考答案

问题1：Q图最大的位置是不是未来回报最高的位置？

不是本篇的训练含义。Q图是分类logit，监督来自示范关键位置，最大值代表模型最倾向预测的动作类别。没有TD目标，就不能直接赋予其长期回报解释。

问题2：更细的体素为什么未必打败全局模型？

细网格提高局部精度，却可能因局部裁剪丢掉任务关系。把手位置再准确，如果不知道应该选哪层抽屉，仍然会失败。精度和语义上下文解决不同问题。

问题3：预测六自由度位姿是否等于学会六自由度连续控制？

不等于。网络预测的是关键终点，规划器与底层控制器负责整段运动；接触、力和高速反馈没有由该输出完整表达。迁移到精密插装或灵巧手时，需要重新考虑动作接口。