086｜HIL-SERL：通过人类纠正加速真机学习

系列首页 · 上一篇 · 下一篇

原论文：Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning，Jianlan Luo、Charles Xu、Jeffrey Wu、Sergey Levine，2024。论文。

先接住前作的问题

SERL接通了奖励、复位和离策略学习，困难接触仍可能很少访问有价值的恢复状态。HIL-SERL让人短时接管把机器人带回可探索区域，并把纠正作为真实转移学习；它扩展数据流，不强制策略永远复制人。

五个前置概念

五个前置概念：离策略学习允许训练数据由不同策略产生；回放池用于重复利用历史转移；Bellman目标把未来成功向较早动作传播；阻抗控制把位姿偏差转成柔顺的接触响应；接管分布是人决定何时干预所形成的数据选择偏好。

一、问题设定：人在环纠正怎样改变恢复状态的学习

教机器人插内存条，最难的往往不是让它接近插槽，而是在接触后发现偏差、退出一点、重新对齐。只模仿顺利完成的演示，容易缺少这些失败后的恢复经验。HIL-SERL 让机器人在真机上试，同时允许操作者用 SpaceMouse 接管几步，把机器人带回值得探索的区域。

这是无模型、在线强化学习，同时使用离线示范。双臂任务采用协调的联合控制，不是两个互不影响的独立智能体。

观测包含裁剪图像和任务选择的本体感觉，例如末端位姿、速度、力矩与夹爪状态。普通操作输出末端运动和离散夹爪命令，快速甩动任务则输出前馈 wrench。区别很关键：学习算法相近，并不代表所有实验共用完全相同的物理接口。

多数任务通过图像分类器给出完成奖励；夹爪任务还有抑制无谓开合的小惩罚。Jenga 甩块例外，由人在回合末标注结果。因此“全部只靠自动视觉稀疏奖励”并不准确。任务还包含预抓取、工作区随机化、脚本或人工复位等条件。

问题可以分成两层。第一，稀疏奖励使随机探索很难抵达装配成功；第二，即使人给出成功演示，机器人仍需处理自身分布里的偏差。纠正帮助抵达有意义的状态，价值学习连接这些状态与最终成功，二者承担不同职责。方法与任务定义，§3–4、附录 A

二、将实际接管转移写入离策略回放

其重要改变是：纠正被当作带奖励的环境转移，进入离策略强化学习；策略并不被强制永远复制纠正动作。因此，人可以示范“从哪里继续”，机器人则通过结果学习“怎样继续更好”。

1. 两个回放池决定了人类数据如何发挥作用

离线演示初始化 demonstration buffer；策略交互进入 RL buffer。发生接管时，保存的是实际执行的人类动作，而不是未执行的策略动作。接管转移进入两个池，纯策略转移只进入 RL 池。训练按两个池等比例抽样。

这并不等价于“每个样本一半来自人、一半来自机器人”：RL 池也包含接管，示范池还会增长。等比例是池级采样规则，会提高有限纠正被再次利用的机会。

以教学简写表示价值更新：

$$y=r+\gamma(1-d)\,\mathbb E_{a'\sim\pi_\theta}Q_{\bar\phi}(s',a'),\qquad L_Q=\mathbb E(Q_\phi(s,a)-y)^2.$$

$s,a,r,s'$ 是实际转移，$d$ 表示终止，$\bar\phi$ 为缓慢更新的目标网络参数。原文式(1)未显式写终止掩码，这里补出常见实现含义。其打印的 critic 目标没有熵项，不应直接替换成另一个 SAC 版本的公式。原文式(2)的 actor 则最大化价值加熵：

$$L_\pi=-\mathbb E_s\left[\mathbb E_{a\sim\pi_\theta}Q_\phi(s,a)+ \alpha\mathcal H(\pi_\theta(\cdot|s))\right].$$

纠正的好坏最终通过回报进入 $Q$，而不是通过一项必须贴近全部人类动作的回归损失进入 actor。这里的“可超过示范”是一种优化机制提供的可能性，不能理解成无条件保证。

2. 把动作结构和真实机器人接口一起设计

连续运动用随机 actor，夹爪用离散 critic，单夹爪有开、合、保持三种选择；双夹爪有九个组合。后者使用在线网络选动作、目标网络评价的 Double-DQN 形式。两部分动作拼接后才施加到同一个物理系统，因此不能由分头预测推断两者动力学独立。

视觉使用 ImageNet 预训练 ResNet-10。位姿相对于回合初始末端坐标系表示，动作相对于当前末端坐标系表示。前者减少记住某个绝对安装位置的倾向，后者让“往自己前方移动”具有局部含义。跨坐标系的具体变换仍需和控制器约定一致。

低层阻抗控制通过限制参考误差约束接触作用；快速任务采用另一种前馈控制路径。价值函数负责评价长期结果，控制器负责把动作变成可执行力矩，两者不能互相替代。

这是对§3的教学压缩，不包含设备通信及全部超参数。人类动作改变了后续状态分布，不能把有接管的训练回合成功率直接当作自主部署成功率。

双池对半采样并不意味着人类转移只占一半。教学设示范池全部为人类动作，RL池中接管转移比例为 $h$，则一次训练抽样来自人类执行的概率为 $0.5+0.5h$。若 $h=0.2$，有效占比就是60%；同一纠正还可能通过两个池重复被抽到。

这提高关键恢复片段的利用率，但也使接管策略和回放构成成为实验条件。比较HIL-SERL与行为克隆时，应同时记录原始示范、纠正数量、在线自主转移和自主测试，不能把训练中有人扶正的成功直接计入最终控制能力。原文系统与人在环设计

用一个小例子建立理解

下面是未运行的教学例子。机器人把插头顶在孔旁，人只把它后退并稍作横移，然后放手。若保存“人实际做的后退”这一步及其后续成功，价值传播可以让策略学到：当前接触状态下，暂时离开目标反而提高长期成功概率。若错误地记录原策略仍然前推的命令，数据就会声称“前推导致了后退后的状态”，破坏动力学和价值对应。

三、将人接管与自主转移共同写入回放

人改变了实际执行动作，记录必须反映真实转移而非策略原建议。纠正数据进入离策略更新后可以被反复利用，但不构成永久复制人的监督约束。

为当前任务配置相机、动作接口、复位与成功判定
收集成功演示，初始化 D_demo；初始化 D_RL
循环进行真实机器人回合：
    读取图像和相对本体状态 s
    用连续 actor 和离散 grasp critic 组合动作 a
    如果人接管：a = 实际人类控制命令
    执行 a，记录奖励、下一状态和终止标记
    把实际转移加入 D_RL
    如果人接管：也加入 D_demo
    learner 异步等量采样 D_demo 与 D_RL
    更新连续 critic、actor 和需要的离散 critic
    更新目标网络，并周期性向机器人发送参数
    回合结束后复位
冻结策略，在无需接管的独立试验中评价

四、同时核对成功率、接管与全部交互成本

作者报告了多种接触、双臂和动态操作上的高成功率。理解这项工作，应同时保留两个事实：这是相当有力的真机系统证据；这是逐任务训练、配套奖励与复位的系统，不是一个直接泛化到任意装配任务的通用策略。

原图怎么读： 图4，原论文图注与图像。成功率、周期时间和接管率是三个独立轨迹，图中采用20回合滑动平均。应同时追踪接管降到零时任务是否仍成功，不能只报被人纠正后的完成率。

原文标注 CC BY 4.0。本页摘图仅保留图形区域并作栅格化；有面板重排的图另行注明，作者与原文入口见各图注。

主表与Diffusion Policy比较段的数值差异尚未统一；涉及该比较时应保留各自任务和评分口径，不能合成一个更强的统一提升值。

附录 A 逐项列出观测、奖励和随机化。多数任务在约1–2.5小时训练，皮带任务是6小时，不能抹掉这个例外。训练种子间的不确定性未逐项核实。

奖励分类器高准确率不能单独排除奖励投机。插接实际成功、是否损坏、是否靠视觉假象触发奖励是不同问题；论文的任务评测提供了额外结果证据，但不等于部署级异常测试。家具完整流程包含脚本衔接，且每个子策略允许最多两次尝试，不是一个端到端策略一次完成全部流程。

结果：证据到底有多强

证据1：表1(a)的自主评测。 RAM 从对照的29%到100%，提升71个百分点；USB 为26%到100%。表中平均49.7%到100%的“101%”是相对提升，计算为 $(100-49.7)/49.7$，不是101个百分点。100次全成功很有价值，但有限试验中的100%不是未来失败概率为零。

证据2：表1(a)的周期时间。 平均9.6秒变成5.4秒，速度比约1.78；减少的是约43.8%的时间。两种表述数学上相容。折扣回报可能偏好较早成功，但不能把所有速度差异都严格归因于折扣，其他学习机制也一起变化。

证据3：表1(b)的去纠正实验。 无示范且无纠正的三任务结果均为零；有示范无纠正在 RAM 为48%、仪表板为零，而翻转仍为100%。这说明纠正的重要性依赖任务；不是“没有人在线接管，RL必定失败”。动态任务本来就不适合快速人工纠正。

证据4：图4与图5。 图4显示训练中介入比例下降，但曲线是滑动统计，部分回合被人帮助；最终独立评测才验证自主性。图5展示受扰后恢复，是定性鲁棒性证据，不能据此给出任意扰动下的成功概率。

证据5：图6。 状态访问逐渐集中形成通向目标的区域，支持作者关于恢复行为的解释。但图中对动作扰动计算的 $Q$ 方差是动作敏感度，不是模型集成的认识不确定性；方差大也不自动代表价值估计更准确。这里没有给出视觉神经策略的形式化稳定域证明。

另一个具体口径问题：v1表1(b)给仪表板 DP 为18%，§4.5正文写28%。两处不一致，本文不据此计算精确的相对优势。实验与分析，§4.3–5

五、人类介入分布可能掩盖自主恢复缺口

直接成本包括人类观察与复位、接管设备、每任务成功分类器和真实机器人磨损风险。作者提醒，长时间由人接管并一路做到成功，可能造成早期价值高估；这也说明“接管越多越好”不是系统原则。高价值的短纠正与无限代劳是不同的数据分布。

我的分析是，任务范围是其最重要的适用边界：工作区、物体、动作控制形式均经过配置。相对坐标能改善位置变化，不会自动获得新物体语义、不同机械臂动力学或跨工厂工装泛化。和更强的动作生成器结合值得研究，但不能从少数 DP 基线失利推出扩散策略本质上无法闭环恢复。

追问：接管率下降时，怎样判断是自主恢复更强还是评估变容易？

参考答案：应固定任务初态、扰动和接管规则，记录相同困难状态下是否无需人帮助即可恢复。总接管率也会随操作者阈值变化，不能单独当能力指标。可同时报告无人接管评测和训练期介入统计，区分策略改善与人工监督策略改变。

六、沿机制关系继续读

本篇直接承接SERL的离策略真机系统；与DAgger有纠正覆盖的教学联系，但HIL-SERL把纠正作为带回报的转移优化价值，并非仅回归专家标签。

七、自测三题与参考答案

问题1：人接管时，为什么一定要记录实际动作？

答案：价值学习用的是状态、动作与后继状态之间的真实关系。机器人没有执行原 actor 的前推，就不能把人类后退造成的结果标在前推动作上。是否来自人类不妨碍离策略学习，动作标签与执行不一致却会直接污染学习目标。

问题2：有20条演示的 HIL-SERL 胜过200条演示的 DP，是否证明其数据只用十分之一？

答案：不能。HIL-SERL还有真实试错、在线纠正和奖励标签；DP则使用固定离线资料。可说初始示范较少，不能把初始示范数当总数据成本。合理比较应同时报告机器人时间、人工时间、转移数以及最终效果。

问题3：100次评测全成功，能否宣布可靠性为100%？

答案：只能报告该测试样本中100%成功。若真实失败率很小，100次也可能没有失败；同样，换插槽、光照或控制频率会改变分布。可靠性判断需要更大样本、跨条件测试和独立训练复验，不能由一个有限测试百分比推出绝对保证。