043｜robomimic：离线人类示范中真正重要的变量

系列首页 · 上一篇 · 下一篇

原论文：What Matters in Learning from Offline Human Demonstrations for Robot Manipulation，Ajay Mandlekar 等，2021，本文依据v2。论文。

先接住前作的问题

CQL以保守价值处理离线支持问题，但这不保证它在人类混合示范上胜过精心设计的行为克隆。robomimic把算法、历史、动作分布和选模方式放到共同数据条件中，追问到底哪个变量决定操作成功。

五个前置概念

五个前置概念：行为克隆拟合示范动作；循环策略把历史压缩进隐状态；多模态分布允许多个不同动作都合理；离线RL只用固定数据学习回报优化；模型选择偏差指用评估结果反复挑模型会抬高最终报告成绩。

一、问题设定：同一批人类示范为什么产生不同闭环结果

一段人类操作轨迹并不是普通的独立样本集合。人会记住刚才失败过的抓取、根据自己的操作习惯继续运动，也可能用不同路径完成同一任务。把每一帧孤立起来拟合“唯一正确动作”，容易丢掉这些信息。

任务覆盖抓取抬升、罐子放置、方形螺母插杆、双臂搬运、工具架组装悬挂。它们从短程抓取延伸到多阶段精确操作；真实实验对应 Lift、Can、Tool Hang 三项。

训练完全从固定离线数据学习，不让策略继续探索收集训练样本。不过仿真评估会在线执行大量回合，用于估计成功与选择检查点，因此“离线学习”不等于整个研究不访问环境。

低维观测含末端位姿、夹爪位置和物体真实状态；图像观测用相机替换物体真值，但仍包含本体信息。仿真中每条手臂动作7维：末端平移增量3维、旋转增量3维、夹爪1维，策略20 Hz，操作空间控制器500 Hz（附录E.1）。双臂任务不能仍算作单臂7维。

离线RL使用二元任务完成奖励；BC、BC-RNN与HBC并不使用奖励监督。附录C把成功状态或数据轨迹末尾作为done条件，因此数据截断方式也进入价值学习。本文不是在证明一种更聪明的奖励函数，而是在追问：相同数据交给不同学习系统，究竟哪里决定了结果？

作者提出的五个挑战包括历史依赖、示范质量差异、覆盖规模、训练与评估目标不一致、设计敏感性。历史依赖并不一定说明真实物理系统不满足马尔可夫性质，而是说明提供给学习器的当前观测未包含人类决策的全部信息。

二、分开循环记忆与多峰动作分布的作用

这篇论文没有提出一个包打天下的新算法，而是系统比较六类离线学习方法，并研究数据来源、历史信息、动作分布、相机、超参数和模型选择。它对应的开放平台通常称为 robomimic；论文正式题名则是 What Matters in Learning from Offline Human Demonstrations for Robot Manipulation。

1. 用记忆解释动作，而不是把所有行为平均

确定性行为克隆最常见目标是

$$L_{\mathrm{BC}}=\mathbb E_{(o,a)\sim D}\|\pi_\theta(o)-a\|^2.$$

若两位操作员分别从障碍左右绕行，同一观察附近可能出现相反动作。平方误差会偏向平均动作，平均路径可能正好撞上障碍。论文中的人类数据 BC-RNN 默认使用高斯混合动作分布，教学表示为

$$h_t=f_\theta(h_{t-1},E(o_t)),\quad p_\theta(a_t|h_t)=\sum_{j=1}^{K}\alpha_j(h_t) \mathcal N(a_t;\mu_j(h_t),\Sigma_j(h_t)),$$

$$L_{\mathrm{NLL}}=-\mathbb E_D\sum_t\log p_\theta(a_t|h_t).$$

$E$ 是观测编码器，$h_t$ 是循环记忆，$\alpha_j$ 为混合权重。记忆帮助确定当前阶段和历史意图，混合分布保留多种可能动作。两者解决不同问题，不能把“用了RNN”当作已经消除动作多模态。

所有循环网络采用两层LSTM，视觉输入使用ResNet-18及空间softmax，外部和腕部图像分别编码（附录D.1）。低维与图像设置的记忆容量不同。论文还发现，扩大动作头不一定好，但过小循环隐状态或过弱图像编码器可能明显下降；“模型越大越好”或“越小越不易过拟合”都过于简单。

2. 训练分布和执行分布还差一步

附录C.1按长度为 $T$ 的序列训练，测试逐步展开，并每 $T$ 步刷新隐藏状态。因此不能把它描述成无条件保留整回合永久记忆。附录J还采用低噪声评估：保留混合模式采样，但把每个模式标准差设为 $10^{-4}$，减少模式内部随机扰动。它不是把所有模式均值取平均。

行为损失与闭环成功的排序为什么会相反？教学设定：99个普通帧中策略A每步误差0.01、关键抓取帧误差0.1；策略B普通帧误差0.02、关键帧误差0。平均平方误差分别约0.000199与0.000396，指标偏爱A；若抓取只容忍0.05的误差，关键帧却使A失败、B成功。这里误差采用同一归一化动作单位，阈值也是教学设定。逐帧等权没有自动表达接触阶段的重要性。

原文仿真选在线评估最好的检查点，真机因成本使用最后检查点，这两种口径不能直接合并。不断试检查点还会产生选择偏差：测试回合越多，越容易选中偶然偏高的一次。严谨复现实验宜给选模单独验证集，再用未参与选择的回合报最终结果；这是建议，非作者已提供的额外实验。原文模型选择段

建立理解：一次小误差如何改变后续数据

自构例子，未运行：人类在抓取前先把夹爪向左校正，下一帧保持向左；另一个人从右侧接近并保持向右。当前图像相似，隐藏的接近方向不同。记忆有助于延续一致动作，GMM则允许多种动作峰值。若预测均值让夹爪停在中间，下一帧便不再像任何示范，误差开始累积。

三、保留轨迹边界训练BC-RNN并按规定选模

序列抽样、隐藏状态刷新和GMM低噪声执行都会改变行为。仿真还用在线成绩选检查点，真机使用最终检查点；这些步骤属于完整研究协议，不是可省略的细节。

输入：保持轨迹边界的人类示范 D，任务与观测配置
按轨迹划分训练和验证数据
重复训练：
    从训练轨迹抽取连续序列
    对图像做规定的随机裁剪/平移增强
    编码外部图像、腕部图像与本体状态
    展开 LSTM，逐步输出 GMM 动作分布
    最小化示范动作的负对数似然
    按规定间隔保存检查点
仿真研究评估：
    每个检查点执行50个回合，记录成功率
    报告每次训练最高成功率，再对3个种子汇总
真实实验评估：
    使用最终检查点，执行30个回合
部署单步：
    更新记忆，采样一个动作模式并使用很小模式内噪声
    输出末端位姿增量和夹爪指令；按设定刷新记忆

这是本文强基线与评估流程的教学伪代码，不是把六种算法伪装成同一训练公式。BCQ用价值选择受数据约束的候选动作，CQL保守估计价值，HBC预测子目标再控制，IRIS进一步用价值选择子目标。论文价值在于对这些既有方案进行可复查比较。

四、将检查点选择预算与算法结果分开

最重要的发现之一是，设计合适的 BC-RNN 在人类示范上可以很强，部分当时流行的离线RL算法反而表现较差。

原图怎么读： 图4，原论文图注与图像。原有局部摘图展示左侧面板，比较按最小验证损失、最终检查点和最佳策略表现选模型的差异；下方完整图补上右侧的图像观测算法比较。检查点选择和算法能力是两种不同变量。

这里epoch被定义为固定梯度更新数量，不是必然遍历整个数据集一次。不同算法批次大小和计算复杂度也不相同，因此相同梯度步数不等价于相同算力预算；本文未逐项核实全部机器配置与总调参算时。

MH比PH多100条，却可能更难学：这同时改变操作者数量、熟练程度和动作风格，不能把两者差异单独归因于质量。质量子集和配对诊断集提供了更细的证据，但同样无法穷尽真实工厂或家庭遥操作分布。

五组证据：强在哪里，哪些结论不能扩大

表1：历史对长程任务很重要。 低维Transport-PH中BC为17.3%，BC-RNN为71.3%，相差54.0个百分点；Transport-MH分别11.3%与65.3%。但Tool Hang-PH中BC为29.3%，BC-RNN为19.3%，是明确反例。历史有帮助的结论有较多支持，却不是逐行全胜。

表1和表2：机器数据的胜者不必在人类数据上胜出。 Lift-MG中BCQ为91.3%、BC为65.3%；Transport-PH中BCQ仅7.3%，CQL为0。Can-Paired中BC-RNN70.0%、IRIS75.3%、BCQ44.7%、CQL6.0%。这些结果提示动作和价值建模面临人类数据特有困难，不能据此宣布所有离线RL永久不适合机器人。

表3：视觉控制未必全面更差。 图像Tool Hang-PH的BC-RNN达到67.3%，明显高于其低维版本19.3%；但Transport-MH图像42.0%低于低维65.3%。观测信息、表示、超参数和任务结构共同影响性能，不能只用“真值状态信息更多”预测学习结果。

图2与附录D、J：容易被忽略的设计会改变结果。 腕部相机、图像增强、GMM、循环容量都影响性能。附录J显示低噪声评估并非统一提高每一行，它是一项有用但需要记录的执行选择。增加关节或末端速度信息反而可能下降，作者提出过拟合解释；这是解释性假设，不是证明额外传感信息本身有害。

图4与§4.7：检查点选择和真实差距。 最低验证损失或最终检查点相对仿真最优检查点可能显著下降。真实任务使用最终检查点，Lift为96.7%、Can为73.3%、Tool Hang为3.3%。最后这个数值提醒我们，仿真67.3%并没有自动迁移成真实高成功率；真实策略也从真实示范重新训练，并非直接sim-to-real部署。

所有数值与协议可对照原文正文及附录。结果表的“最佳”使用在线评估选择，意味着读者拿到固定离线数据时未必能独立挑出同样好的模型。其价值在于测量学习潜力与暴露选择难题，不能与只报最终检查点的论文直接不加说明排名。

五、人类数据来源和评估方式限制结论

代价首先是人工遥操作与环境执行评估。复杂任务的200条示范不等于200张图片，而是完整多阶段轨迹；示范者时间、机器人复位、相机和动作接口都影响可复现性。方法选择的复杂程度也不能仅按损失函数是否简单判断。

作者对历史依赖和价值学习困难的解释是有根据的研究方向，但没有完成所有因果分解。尤其BC-RNN、HBC、IRIS拥有不同结构，价值算法的失败还可能受表示、奖励稀疏性、超参数、截断等影响。附录包含进一步诊断，结论仍应限定于所测实现和范围。

追问：同一个BC-RNN改成更长的测试记忆，是否仍算原协议复现？

参考答案：不算完全相同的执行协议。原文训练使用固定长度片段，测试还按设定刷新隐藏状态；延长记忆可能保存更多上下文，也可能积累未在训练中出现的隐状态。应把刷新周期作为执行变量，固定权重后单独消融，并另报原协议结果。改变记忆长度的收益不能直接归为新的训练算法收益。

六、沿机制关系继续读

本篇把BC、CQL等方案放到人类示范的共同数据条件中审视；后续Diffusion Policy沿多模态动作与时序一致性继续发展，属于历史关联，不能把新架构改进与数据/选模改变混为一项。

七、自测三题与参考答案

问题1：验证动作误差更低，为什么闭环成功率仍可能下降？

答案：误差被平均到大量普通时刻，少数关键接触步骤可能贡献很小却决定全任务失败；而部署动作改变后续状态，验证集无法模拟这种分布变化。更低平均误差也可能对应更严重的多模态平均。需要闭环测试或更可靠的离线策略评估补充判断。

问题2：PH有200条，MH有300条却更差，能否得出“更多数据有害”？

答案：不能。数据量、操作者熟练程度和策略多样性同时变化，比较不控制变量。应在同一来源逐步增加轨迹，并对相同总数比较质量配比。论文的数据缩减实验表明复杂任务通常受益于更多同分布数据。

问题3：怎样公平地拿新算法与这里的71.3%比较？

答案：必须匹配Transport-PH、低维观测、训练与测试划分、动作接口、训练预算和检查点选择。71.3%是3个种子的训练过程最佳成功率汇总；如果新算法只用最终检查点，或者用不同图像输入，单个数字就不再是同一实验条件。