073｜Mobile ALOHA：移动双臂的全身示范

系列首页 · 上一篇 · 下一篇

原论文：Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation，Zipeng Fu、Tony Z. Zhao、Chelsea Finn，2024，arXiv v1。论文。

先接住前作的问题

ACT和ALOHA让低成本双臂示范可学习，但桌面静态基座不需要边退底盘边保持手部接触。Mobile ALOHA扩展全身采集与统一动作，并混合静态数据；新增瓶颈是移动、操作及硬件延迟的协调。

五个前置概念

五个前置概念：

• 全身协调：多个运动子系统共同满足操作约束。
• 行为克隆：从示范学习观察到动作的映射。
• 动作分块：一次预测多个未来动作，以学习时间结构并降低推理负担。
• 条件成功率：在已完成前面阶段的前提下计算当前阶段成功概率。
• 正负迁移：辅助任务数据使目标任务变好或变差，二者都可能发生。

一、问题设定：底盘运动怎样与双臂接触同步学习

双臂抓着柜门时，底盘要后退，手臂又要保持接触；底盘停得稍有偏差，按电梯按钮的位置就可能偏几厘米。Mobile ALOHA 研究的正是这种移动与操作耦合。

这是纯真实机器人模仿学习。每个任务训练一个策略，不是一个语言通用机器人，也不是通过奖励自主探索。观察是两腕和前方 RGB 图像、手臂关节位置；动作包含双臂与夹爪14维位置目标，以及底盘线速度、角速度2维。

为什么用关节位置与速度混合？手臂控制器可以跟踪位置目标，移动底盘通常接受速度命令。二者不是同单位物理量，因此需要规范化和时序对齐；“16维向量”只是接口统一，不是动力学统一。

桌面策略通常假设相机和支撑平台固定。移动后背景变化、相机视角变化、地面接触误差都会影响末端相对物体的位置。反过来，携带重物或开柜门又改变底盘与手臂应该如何配合。

任务终点由具体成功标准决定，学习损失拟合示范动作而非成功奖励。子任务成功率以“到达该子任务的尝试数”为分母。只看后期子任务的高成功率，会漏掉前面已经失败的试验。系统与任务：§3–5。

二、采集全身动作并联合静态示范训练

它先解决“怎样容易地录下全身协调示范”：人用双手操纵主臂，腰部连接底盘并带动移动。随后将双臂关节目标和底盘速度拼成统一动作，用已有模仿算法训练，并混入桌面 ALOHA 数据。

1. 先让示范包含正确的协调

两个从臂安装在可移动底盘上，主臂作为人的操纵接口。腰部连接使人不用额外占用双手控制移动。自主执行时移除操纵结构，策略控制从臂和底盘。

论文的历史造价约3.2万美元，包含机载供电与计算；这是当时系统成本，不是当前采购报价。低成本也不意味着无机械约束：固定手臂高度影响低处操作，平台占地影响狭窄通道。

2. 静态数据怎样帮助移动任务

设$D_s$是静态 ALOHA 数据，$D_m$是某个移动任务数据。教学形式为：

$$\mathcal L= \tfrac12\mathbb E_{D_m}\ell(\pi(o),[a_{\rm arm},v,\omega]) +\tfrac12\mathbb E_{D_s}\ell(\pi(o),[a_{\rm arm},0,0]).$$

静态轨迹的底盘标签补零。混合按来源等概率采样，不是将825条静态轨迹与几十条移动轨迹拼起来后均匀抽每条轨迹；后者会让静态来源占据绝大多数。

图像与手臂数据不做专门几何对齐，动作按目标移动任务的统计规范化。静态相机中去掉一台，使两种数据都有三视角。这里的可迁移部分可能是腕部视觉—抓取关系，而不是静态数据本身包含导航知识。

这个解释属于作者提出的假设，混合数据消融支持“有帮助”，却没有单独分离出腕部不变性、视觉多样性和运动先验各自的份额。

3. 动作分块还用于对齐硬件延迟

ACT、Diffusion Policy 和带分块的 VINN 都预测未来动作序列。底盘速度的实际响应比手臂位置响应慢，因此不能同时执行同索引指令就认为同时到达。

论文使用长度$k$的块，若底盘滞后$d$步，配对执行手臂前$k-d$步与底盘后$k-d$步：让底盘提前接受稍后需要的速度。它是前馈时序补偿，不是训练出了精确延迟动力学模型。

把延迟补偿落实到索引更容易检查。教学设块长 $k=5$、底盘滞后 $d=2$ 个控制周期，则执行配对为 $(a^{\rm arm}_0,a^{\rm base}_2)$、$(a^{\rm arm}_1,a^{\rm base}_3)$、$(a^{\rm arm}_2,a^{\rm base}_4)$，实际推进3步后重新规划。上标表示设备，下标表示块内位置。

它依赖延迟近似稳定，且预测覆盖了所需未来。如果载荷使延迟从2步变成4步，原配对不再对齐；加长块也会推迟视觉纠错。因此应同时报告周期秒数、推理时间和设备响应，而不能只比较动作块长度。原文底盘开环复播仍有明显漂移，说明索引补偿不能替代闭环观察。原文§5—6

自构例子与前置概念

教学例子，未运行。 底盘向柜子后退，双手抓门把不松。若只回放手臂关节位置而底盘速度偏慢，手臂相对世界的位置就改变，可能拉扯门板。视觉策略读到把手位置偏差后，可修改后续关节目标。

设动作块有10项，底盘滞后2步。把手臂第0至7项与底盘第2至9项配对，是让较慢系统提前执行将来需求，并非删除环境中的两步时间。如果把两者都简单删掉前两项，不会补偿相对延迟。

再假设任务连续三段的条件成功率是1、0.8、0.75，整任务成功率是0.6。最后一段75%不是全部起始试验的75%；它的分母只包括成功走到那里的轨迹。

三、同步记录底盘与双臂并用混合数据训练

静态ALOHA数据补零底盘动作，移动示范提供全身协调，两者共同进入既有模仿学习器。不同硬件延迟还要在动作块对齐时处理。

采集：
    同步记录三相机、从臂状态、主臂目标与底盘速度
    为每个目标任务保存移动示范

训练：
    一半概率抽移动任务数据，一半抽静态数据
    静态底盘标签补零，统一三相机输入
    用移动数据统计规范化动作
    训练所选动作分块模型

执行：
    根据当前图像和关节状态预测长度 k 的动作块
    对底盘延迟 d 做索引前移配对
    执行手臂前 k-d 项与底盘后 k-d 项
    更新观察并继续预测

这是系统级教学伪代码。ACT 的潜变量训练、扩散的去噪循环和 VINN 的检索并不相同；联合训练没有把它们变成一种算法。尤其 VINN 仅联合训练特征编码器，检索动作的方式没有充分利用外域静态动作。

四、分开单任务自主评估与遥操作展示

作者的核心主张是硬件与数据配方能让复杂移动操作变得可学习。实验支持若干单任务策略自主完成真实任务；长时间烹饪、清洁等遥操作展示不能全部算作自主策略能力。

原图怎么读： 图3，原论文图注与图像。横向比较移动任务示范预算下的协同训练与仅移动数据训练；静态辅助数据仍是额外监督。数据效率指新增目标数据，不是总数据成本为零。

依据 §4、§6 与附录 A.3。本文不会把摄像头图像刷新率与控制记录频率混成一个数字：§3写相机50Hz，附录 A.2写30帧/秒，尚不能据此确认所有实验实际新帧频率。

数据效率实验固定静态辅助来源，改变移动示范数。因此“需要更少目标任务示范”成立的条件，包含已拥有辅助数据。它不等于从空数据开始减少全部人类劳动。

五组证据：哪些提升可信，哪些口号太宽

证据1：表1的真实完整任务。 ACT联合训练在擦酒从50%到95%，提高45个百分点；柜子和击掌完整成功率均保持不变。煎虾只有40%，来自5次评估，即2次成功。不能由几段漂亮视频概括成所有家务都达到高可靠性。

证据2：表1与表2的推椅条件不同。 表1考五把椅子，后两把超出示范序列；表2比较算法只考前三把。后者 ACT 两种训练都100%，不能用它覆盖前者的泛化差异。这里“任务名相同”不意味着评估问题相同。

证据3：表2出现负迁移。 VINN擦酒从20%降到15%，而扩散策略从35%到65%。说明联合训练不是无条件有效，特征检索与生成动作模型利用辅助数据的方式不同。表题的整体概括应让位于逐格结果。

证据4：图3、表3/4检查配方。 35条移动示范加联合训练的擦酒为70%，优于50条只训移动的50%；同任务联合训练95%，先静态预训练再微调40%。这是该任务的证据，不能推出一切机器人任务都应放弃预训练。遗忘是作者解释，未被单独测量表征或记忆来证实。

证据5：附录 A.4 的开放环重放。 同一底盘转弯轨迹重复执行，末端落点明显漂移。它解释为什么复制时间序列不足、视觉反馈必要；不证明策略已拥有一般定位能力，也不证明任何显式定位都无用。主结果与附录。

摘要“最高增加90%”与正文个别任务从0到95%的陈述，不适合被直接当作相对百分比。以0为基线相对提升未定义；应报告表格绝对百分点和试验次数。本文也不沿用引言的整体平均数，避免混合任务与不同样本量口径。

五、时延和工作区限制全身示范复用

但“没有显式状态估计器”不意味着世界位置不重要。网络可能通过场景外观隐式识别位置，也可能记住有限路线。要证明更一般的导航，需要新建筑、遮挡、替代路线和地图变化的实验。

作者明确限制为单任务模仿，不能自主通过探索改善，也未覆盖大量低质量操作者数据。两位专家采集的数据与新手用户研究是不同部分，不能说全部策略由新手示范训练。

本文分析的进一步边界是：动作块越长，延迟补偿越容易安排，但临时变化的响应可能越慢。固定$d$只能补偿近似固定的延迟；载荷、地面或计算抖动改变延迟时，需要重新测量或增加反馈。减少推理次数和保持闭环响应需要一起评估。

追问：底盘和手臂时延不同，为什么只对整段动作统一平移可能不够？

参考答案：统一平移只能校正共同延迟，两个执行链路的相对时差仍可能破坏接触协调。应分别记录命令与实际响应时间，并检查关键接触阶段的相对运动。动作分块提供可对齐的未来序列，但补偿方式仍需匹配硬件，不能只凭视频同步认定控制同步。

六、沿机制关系继续读

本篇直接承接ACT/ALOHA的遥操作和动作分块，新增底盘协调与静态数据共训练；Diffusion Policy在这里是可替换的学习模块，系统收益不能全部记到ACT架构上。

七、自测三题与参考答案

问题1：这篇是否训练了一个同时会做七种任务的通用策略？

答案：没有。论文主要是每个移动任务分别训练策略，再混入相同静态辅助数据。七种任务展示了系统和训练配方的覆盖面，不代表一个统一任务条件策略已经学会全部任务。

问题2：为什么静态数据补零底盘动作，不会必然让移动策略永远不动？

答案：策略同时观察场景与手臂状态，能学习不同输入下的不同动作；等概率混合也保留目标移动数据的重要性。但这不是理论保证，来源比例、外观混淆和模型能力仍会造成负迁移，需要目标任务评估。

问题3：为什么不能说电梯从0到95%是“提高95%”？

答案：若指绝对提升，应写95个百分点；若指相对提升，分母为0而无法定义。还要说明20次评估、已限定的路线和随机化范围，避免把局部实验成功率扩大成任意电梯可靠性。