Home / 机器人学习 / ACT：用动作分块学习精细双臂操作

062｜ACT：用动作分块学习精细双臂操作

原论文：Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware，Tony Z. Zhao、Vikash Kumar、Sergey Levine、Chelsea Finn，2023年；本文阅读2023年4月v1。论文。

先接住前作的问题

Diffusion Policy展示了整段动作建模的价值，但精细双臂任务还需要可负担的示范采集与实时接触接口。ACT在ALOHA主从系统上用CVAE动作块与时间集成处理长序列，分布形式和硬件贡献应分别理解。

五个前置概念

五个前置概念：主从遥操作映射人的运动到机器人；位置伺服用目标误差驱动执行；CVAE学习条件潜变量分布；动作分块预测一段时间；时间集成汇总对同一执行时刻的多次预测。

一、问题设定：低成本双臂示范怎样支撑精细连续操作

ALOHA是双臂遥操作硬件，ACT是学习算法。人移动较小的主臂，较大的从臂同步关节运动，收集精细操作示范；ACT读取多视角RGB和当前关节位置，一次预测未来一段双臂关节目标，再通过时间集成形成平滑命令。

ALOHA由两台ViperX从臂和两台较小WidowX主臂组成，夹爪、手柄和支撑件有定制设计。论文报告当时整套系统低于2万美元，这是2023年的论文成本，不是当前采购报价。

四个普通RGB相机覆盖前方、上方和两个腕部。策略观测包括四张480×640图像，以及双臂共14维位置：每臂六个关节加夹爪。动作是双臂14维绝对关节目标，电机内PID负责跟踪，不是输出14维力矩。

训练动作取主臂位置，观测取从臂实际位置。接触时，从臂可能因阻力尚未达到目标，目标与实际位置的误差让控制器继续施力。若把实际从臂位置当动作标签，训练会抹掉这部分接触命令。

学习属于离线行为克隆，每个任务独立训练，不是语言条件通用策略。任务成功由人工或仿真定义的完整操作结果判定，例如鞋子在双臂松开后仍固定在假脚上。初始位置真实任务沿15厘米参考线变化，仿真在二维区域变化；这不是跨家庭、跨对象的广泛泛化测试。

另一个必须区分的范围是遥操作与自主学习。穿扎带、插RAM、颠乒乓球等展示中包含人操作硬件的能力，不能全部称为ACT学会的自主技能。

二、用动作块、潜在风格与时间集成组织预测

论文的重要判断是：高频示范有很长的时间序列，逐步行为克隆容易积累误差，也难理解停顿与动作风格。动作分块减少局部决策负担，CVAE处理人类示范的变异，重叠预测则保留反馈能力。

真实任务并非全部80–90%：拉开滑扣袋88%、装电池96%、开小杯84%，穿魔术贴只有20%。精细感知和中途恢复仍是明显瓶颈。

1. 一次预测一段双臂目标

令 $o_t$ 是当前观测，动作段 $A_t=(a_t,\ldots,a_{t+k-1})$ ，策略输出 $k\times14$ 矩阵。标准设置 $k=100$ ，在50 Hz下覆盖约2秒。

若每100步才查询一次，任务的决策次数显著减少，局部动作更一致。但“有效时域缩短100倍”是设计直觉，不是误差严格缩小100倍的定理；执行整段仍可能受扰动影响。

ACT进一步每步预测新段，使它们在未来时间上重叠。这样既有较长动作结构，又能持续融入新观测。

2. CVAE把示范风格作为隐变量

训练编码器 $q_\phi(z\mid A_t,\bar o_t)$ 读取未来动作段和关节观测， $\bar o_t$ 不含图像，以减小训练成本。它输出高斯风格变量 $z$ 的均值和方差。策略解码器再结合 $z$ 、图像和关节位置预测动作段。

根据§IV-C的实际重建损失：

$\mathcal L= \mathbb E_{z\sim q_\phi} \|A_t-\hat A_\theta(o_t,z)\|_1+ \beta D_{\rm KL}\!\left( q_\phi(z\mid A_t,\bar o_t)\,\|\,\mathcal N(0,I) \right).$

第一项重建专家动作，第二项让风格分布接近标准高斯； $\beta$ 控制隐变量携带信息的程度。原文算法1写MSE，而实现说明明确使用L1，因此这里按实现章节解释，并保留这处伪代码口径差异。

部署时丢弃训练编码器，将 $z=0$ ，即先验均值，确定性地产生动作。它不是每次都随机抽不同风格。CVAE在训练中帮助组织人类动作变化，但不意味着部署已经遍历多种策略模式。

3. Transformer在哪里

四张图像通过ResNet-18形成每张300个512维特征，加二维位置编码，共1200个视觉token；再加当前关节与 $z$ 两个token。Transformer编码器融合它们，解码器用 $k$ 个位置查询并行产生未来动作。

这里“解码器”不意味着逐动作自回归生成。它一次输出整块，训练时也没有未来动作泄漏给部署策略：未来动作仅用于被丢弃的CVAE编码器。

4. 时间集成平均的是同一时刻

设过去各次预测对当前时刻 $t$ 给出的动作集合为 $\mathcal B_t$ ，执行

$a_t=\frac{\sum_i w_i\mathcal B_t[i]}{\sum_iw_i}, \qquad w_i=\exp(-mi).$

按论文定义， $i=0$ 对应最早的预测。因此 $m>0$ 时旧预测权重较大，减小 $m$ 让新观测更快发挥作用；不要凭常见EMA经验把方向写反。这里平均的是“不同预测时刻对同一个执行时刻的建议”，不是把相邻时间的不同动作直接平滑。

数学上仍是监督重建，机制上新增动作段、潜变量和集成，实验改善的是精细操作成功及运动连续性。没有价值函数、环境模型或在线奖励优化。

时间集成会降低随机噪声，也会保留过时意图。教学例：旧预测对当前时刻建议关节目标1，新观测发现障碍后建议−1；若旧、新权重为1和0.5，执行目标为1/3，仍朝旧方向。平滑不等于及时避障，且平均两个可行但不同模式的动作也未必可行。

另一个CVAE细节是 $f(E[z])\neq E[f(z)]$ 对非线性解码器一般成立；此处 $z$ 是潜在风格变量、 $f$ 是固定其他条件后的动作解码函数， $E$ 表示期望。部署固定 $z=0$ ，不是精确执行训练分布中的平均动作，更不是取最大概率风格。原文按旧预测优先的指数权重有明确方向，不能照常见“新数据权重大”习惯解释；任务扰动测试才检验平滑与响应的折中。原文时间集成与ACT推理

一个例子：为什么不能把从臂实际位置当标签

自构例子，未运行：右臂把电池压向弹簧，左臂固定遥控器。主臂继续给出更深的目标，从臂因弹簧阻力落后。这个目标—实际位置差让PID产生推力。

若训练标签只保存从臂停住的位置，策略看到相同观测时会命令“保持现在”，失去继续压入的意图。ACT预测的应是人给出的目标序列，同时从实际位置和图像判断接触进展。这是动作接口定义直接影响学习质量的例子。

三、采集主臂目标并用重叠动作预测形成命令

训练编码器可以读取未来专家动作来学习潜变量，部署则采用规定的先验条件。时间集成汇总的是对同一未来时刻的多次预测，不是简单平滑过去已经执行的动作。

训练：
  从示范取当前四视角图像、从臂位置、未来主臂目标段
  CVAE编码器用位置和动作段估计z分布
  采样z，策略结合图像和当前位置预测整段动作
  优化L1重建与beta乘KL正则
部署：
  丢弃CVAE编码器，固定z=0
  每步根据最新观测预测未来k步目标
  将预测分配到各未来时间的缓存
  汇总缓存中所有对当前时刻的预测
  按指数权重平均，发送给从臂PID控制器

四、按任务核对成功率与全部采集成本

原图怎么读： 图7，原论文图注与图像。四个子图分别处理动作块长、时间集成、CVAE和遥操作频率。时间集成对不同基线作用不一致，因此不能把某一消融收益推广成无条件规则。

Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware，图7：四个子图分别处理动作块长、时间集成、CVAE和遥操作频率。时间集成对不同基线作用不一致，因此不能把某一消融收益推广成无条件规则。 — 实验图原图摘引：Tony Z. Zhao、Vikash Kumar、Sergey Levine、Chelsea Finn，2023年，HTML S5.F7，图7。核对原文。原版权保留。

项目	原文设置
真实任务	六种双臂操作，通常50条示范，穿魔术贴100条
示范时长	每条8–14秒、400–700步；每任务约10–20分钟有效数据
采集墙钟	包含复位与错误约30–60分钟，每任务
仿真	MuJoCo立方体交接、双臂插入；各50条脚本或人类成功示范
策略	约80M参数，每任务训练；表III学习率 $10^{-5}$ 、batch8、块长100、 $\beta=10$
算力	论文约5小时/单RTX2080Ti 11GB；同机推理约0.01秒
选模	最低验证损失检查点
评估重复	仿真3训练种子×50回合；真实1训练种子×25回合
基线	BC-ConvMLP、BeT、RT-1架构变体、VINN；在立方体交接上调参
频率研究	6名参与者，50 Hz与5 Hz遥操作，随机任务顺序，每设置3次尝试

基线比较是在本文有限数据和硬件条件下训练的架构，不是直接部署RT-1原论文13万条示范预训练系统。视觉编码、动作离散化与时间建模同时不同，因此后面的消融比单个总表更适合归因。

论文说每任务训练，不表示所有底层视觉参数一定没有任何通用初始化；本文不将该说法扩写为已经核实全部权重来源。完整复现还需对应代码训练配置与数据拆分。

五处证据与解释

表I：精細控制优势。 ACT在真实滑扣袋和电池任务最终成功88%、96%，均为25次评估、一个训练种子。仿真交接最终成功脚本86%、人类50%；插入32%、20%。脚本到人类示范的差距说明动作变异仍有难度，不能用最好真实任务掩盖所有场景的不足。

表II：成功沿阶段下降。 开杯84%、穿魔术贴20%、准备胶带64%、穿鞋92%。魔术贴从抬起92%到抓尾40%、最终穿入20%，定位了具体瓶颈：空中抓取时机和窄孔对准。表中各阶段是累计达成率，不能当作独立条件概率相乘，也不能都称最终成功率。

图7a：分块的直接证据。 禁用时间集成，四个仿真数据设置平均成功从 $k=1$ 约1%升到 $k=100$ 约44%，更大块长略降。给BC-ConvMLP和VINN加分块也改善，说明收益并非只属于Transformer。该曲线同时说明长块不是越长越好，接近全开环会损害反馈。

图7b、7c：集成和CVAE不是无条件有效。 时间集成给ACT约3.3个百分点改善，却降低VINN表现；有无集成分别调参，不能解释为完全固定其余参数的单变量结果。去掉CVAE在人类示范中平均从35.3%降到2%，但脚本数据几乎不变。证据支持处理人类变异的价值，而不是声称任意确定性任务都需要潜变量。

图7d与附录-F：频率和失败。 六人研究中扎带任务5 Hz平均33秒、50 Hz20秒；分杯16秒与10秒。作者报告重复测量检验 $p<0.001$ 。这是人的遥操作完成时间实验，不是直接证明ACT降到5 Hz成功率下降同一幅度。另有未成功学习的任务：拆糖纸初步10次最终0次成功；给每颗糖最多10次重试后5颗成功3颗，属于不同重试预算，不能写成单次60%。

以上定位见论文正文与附录。本文阅读v1方法、实验和局限，未独立训练，也未把硬件演示等同于自主策略结果。

五、时间平滑不能创造缺失的恢复示范

作者列出的硬件限制包括力矩不足、多指协调需求和薄边缘操作困难；软件限制包括透明或低对比物体的识别、抓取差异导致的形变和中途恢复。外部障碍和新物体泛化也不是主要实验覆盖。

本文进一步分析是，时间集成有稳定性收益，也有滞后：如果所有旧预测都基于已过时的接触状态，给它们较大权重会延缓响应。它平均同一时刻的建议，仍不能保证平均结果在两个不同接触模式间可行。评价时应观察接触阶段与突发扰动，而不只看轨迹是否平滑。

“有效时域降低”与“每步都重新查询”也要分别理解。纯分块减少查询次数，时间集成版本为反馈重新增加推理；它保留长段监督结构，却不能再把整个推理开销宣称为减少 $k$ 倍。

追问：时间集成会不会让突发接触后的新纠正被旧预测稀释？

参考答案：会有这种取舍。多个过去观察形成的预测都指向当前时刻，平滑能抑制抖动，但旧条件下的建议可能不再合适。可固定训练模型，在相同突发扰动下比较集成权重与重新观察频率，报告恢复时间和指令跳变。平滑程度需要结合反应需求选择，不能只看轨迹是否更顺。

六、沿机制关系继续读

与Diffusion Policy是平行动作块生成；后作Mobile ALOHA直接承接低成本双臂遥操作与ACT，并加入移动底座。动作集成、示范采集硬件和移动控制要分开归因。

七、自测三题与参考答案

问题1：ACT部署时为什么不需要未来专家动作，却训练时可以把它们送入编码器？

答案：未来动作只进入训练用CVAE编码器，用来学习潜变量后验；部署丢弃该编码器，策略根据当前观测和固定 $z=0$ 输出动作。两条路径角色不同，不是部署时访问未来答案。

问题2：时间集成和对过去执行动作做平滑有什么区别？

答案：时间集成汇总多次模型对“当前这一时刻”的预测；普通时间平滑混合不同执行时刻本来就应不同的动作。前者减少预测不一致，但仍可能因旧观测过时而滞后。

问题3：为什么“10分钟示范、80–90%成功”不能代表六个任务全部成本与效果？

答案：有效示范约10–20分钟，复位和错误使采集墙钟约30–60分钟，之后还需训练；穿魔术贴用了100条示范，最终仅20%。概括必须保留任务、数据量、训练与评估种子的边界。