074｜SERL：可实际运行的真机强化学习栈

系列首页 · 上一篇 · 下一篇

原论文：SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning，Jianlan Luo、Zheyuan Hu 等，2024，arXiv v1。论文。

先接住前作的问题

SAC定义了离策略更新，却没有定义真实机器人怎样复位、判断奖励并持续安全采样。SERL把这些接口与高数据复用学习接起来，研究一个RL公式怎样成为可运行系统；系统准备成本因此也是方法的一部分。

五个前置概念

五个前置概念：

• 离策略学习：可利用与当前策略不同的历史行为数据。
• UTD：每单位新环境数据执行多少次更新。
• 目标网络：缓慢更新的价值估计副本，用来稳定自举目标。
• 阻抗控制：让机器人表现出设定的弹簧和阻尼特性。
• 奖励投机：优化代理奖励却没有实现真实目标。

一、问题设定：真实接触任务怎样形成持续学习闭环

写出 SAC 损失很容易，让真实机械臂稳定收集数据、自动获得奖励、完成复位且不因训练阻塞控制，却需要另一套工作。SERL 把这些环节组合成可用的软件系统。

模拟器里 reset 是函数调用；现实里，物体掉到桌角后必须有人或另一个策略把它放回去。模拟训练中多算几次梯度只影响运行时间；现实中若更新阻塞动作输出，控制频率变化会直接改变被学习的系统。

SERL 面向在线、无模型、离策略机器人 RL，可借助已有示范。观察含图像和本体信息，实验描述还包括末端速度、力与力矩。它不是仅输入 RGB 的视觉系统。

任务包括 PCB 插入、线缆卡入槽与物体往返搬运。策略输出末端六维增量，由底层控制器跟踪。奖励可来自本体位置条件、固定图像分类器或 VICE 式在线更新分类器。支持某种奖励机制，不代表所有实验都用了该机制。

对于固定抓持物体，末端位置可代理插入完成；但其正确性依赖物体在夹爪中未滑动。对自由物体则需要看物体是否达到目标。这个区别说明奖励设计总包含任务假设。问题与系统：§3–4。

二、接通奖励分类、复位与异步离策略学习

1. 核心RL沿用什么

RLPD 的关键是高更新/数据比、示范与在线数据对半采样，以及 critic 的 LayerNorm。旧数据可以被多次使用，减少昂贵的真实交互；归一化缓解高复用下价值估计不稳定，但不是误差不会累积的证明。

按本文 §4.1 的简化写法：

$$y=r+\gamma(1-d)\mathbb E_{a'\sim\pi}Q_{\bar\phi}(s',a'), \qquad \mathcal L_Q=\mathbb E(Q_\phi(s,a)-y)^2,$$

$$\mathcal L_\pi=-\mathbb E_s[ \mathbb E_{a\sim\pi}Q_\phi(s,a)+\alpha\mathcal H(\pi(\cdot|s))].$$

这里$d$是教学上补出的真实终止标志，$\bar\phi$是缓慢更新的目标参数，$\alpha$调节熵。原文展示的 critic 目标没有通常软 Bellman 形式里的下一步熵项，因此不应默默把另一版 SAC 公式作为本文逐字实现。具体复现需与对应版本配置对照。

数学目标是回报与探索熵；机制是回放采样和更新组织；实验改善的是成功率、完成速度、训练墙钟。示范帮助探索启动，不把在线阶段变成行为克隆。

2. 奖励模型不是不会犯错的裁判

固定分类器可用成功、失败图像训练，然后取$r(s)=\log p(e|s)$。若策略发现一个不成功但分类器高分的状态，就发生奖励投机。

VICE 通过把策略到达的状态加入负样本并更新分类器，让裁判随策略变化；它是缓解机制，并非消除所有投机的保证。实际实验表2对线缆与搬运标为二分类器，PCB为真值式条件，不能把 VICE 的支持能力说成三个任务都用过的实证。

3. 正反策略处理复位

自由物体搬运中，正向把右箱物体送到左箱，反向送回。两者各有策略、critic 与奖励。“无需人工逐次复位”在这里意味着学习了复位动作，不意味着物理世界无需恢复状态。

若物体掉出两个策略可达范围，双向机制仍可能无法继续。这是闭合任务域的假设，不是一个抽象 reset 接口已经覆盖所有事故。

4. 接触控制让探索可执行

高层约10Hz，底层阻抗控制约1kHz。若高层目标穿过硬表面，位置误差会积累为很大弹簧力。SERL 在实时层把目标与当前位姿的差限制在小范围，而不是把高层每次位移都限制成极小值。

教学上，令目标误差按恢复方向定义为$e=p_{\rm target}-p$，弹簧力为$K_pe$。每个底层周期重新限制$|e|\le\Delta$，自由空间里目标能随着机器人移动不断前进，接触时则不无限积累误差。此处明确符号约定，避免照抄原文误差正负号造成恢复方向混淆。

限制的是控制参考，并非对现实所有碰撞力的无条件上界证明；模型近似、惯性与外力仍重要。

5. 异步学习与相对坐标

actor持续输出动作，learner更新网络，环境执行并回传数据。控制不必等待一批梯度更新完成。观察的位置相对每回合初始末端框架表达，动作相对当前末端表达，从而减少对固定世界坐标的记忆。

两层限幅的差异可以算出来。教学取每个实时周期允许参考超前 $\Delta=0.1$毫米，一个高层周期含 $M=100$ 个实时周期。理想自由空间跟踪下，参考可累计推进约 $M\Delta=10$毫米；若只在高层限同样的0.1毫米，远距离接近会慢两个数量级。实际推进量仍受速度、加速度和跟踪误差限制。

若标量弹簧刚度 $K_p=2000$牛/米，参考裁剪只把这一轴的弹簧项约束到 $K_p\Delta=0.2$牛。阻尼、惯性、科里奥利补偿和外部冲击不能由这个数值一并保证。原文实时限参考的机制，应与“机器人所有接触力都有同一上界”分开理解。原文§4.5

自构小例子与前置概念

教学例子，未运行。 一块连接器卡在孔边，高层继续下压。若目标距离当前位置累计到1厘米，弹簧项会持续增大。实时参考限制让控制器只保留小的恢复目标；机器人可在横向探索中找到孔，再继续下行。这解释了“合适的动作接口”为什么会改变可学性。

再假设每秒得到10条转移、每条做20次更新。一小时只有3.6万真实转移，但可有大量梯度计算。高UTD节省的是交互，不自动节省GPU时间。异步也可能造成参数稍旧，应记录实际控制频率与参数同步间隔。

若成功分类器把“夹爪挡住相机”误判为插入成功，策略可能学会遮挡。仅画出奖励上升曲线不能发现问题，必须用独立任务完成标准检验。

三、让奖励、复位、接触控制和学习器协同运行

奖励分类器决定什么转移被记成成功，正反策略影响能否重新开始，异步系统决定训练会不会阻塞控制。这些接口一起规定了RL实际看到的数据。

准备：少量示范、奖励判定、控制与复位方式
初始化在线回放与策略、critic、目标网络
actor循环：
    读取图像与相对本体状态
    运行最新策略，发送末端目标
    实时控制层逐周期限制参考误差并执行
    记录转移到在线回放
    任务结束后运行脚本或反向策略复位
learner循环：
    从示范和在线回放各采一半
    多次更新critic，再按配置更新策略和目标网络
    定期把新参数交给actor
若使用学习式奖励或双向策略：分别更新对应模型

四、按任务核对训练时间和准备条件

作者没有主张发明新的基础 RL 算法。核心是 RLPD 风格的高数据复用训练，加上示范、奖励分类器、可选双向复位策略、异步执行和接触控制。实验说明这套组合能在若干真实操作任务上快速训练。

原图怎么读： 图3，原论文图注与图像。橙色为RL原目标、红色为平滑目标、蓝色为受限目标、绿色为实际位置。接触段和自由运动段一起看，才能理解逐毫秒限参考与简单缩小动作的区别。

原文标注 CC BY 4.0。本页摘图仅保留图形区域并作栅格化；有面板重排的图另行注明，作者与原文入口见各图注。

结果图怎么读： 图6直接对比三个真机任务中的RL和行为克隆成功率。每个任务评估100次，红色RL柱均达到本次试验的满分；但两种流程看到的数据分布和交互预算不同，这支持整套训练流程有效，不能单独归因于某一个损失函数或保证长期零失败。

复现时仍需核对所选实验的UTD、奖励阈值与终止掩码；软件默认值不能代替各项真机实验的设置证据。

表2与结果段有一个小差异：文字说 PCB 与线缆少于30分钟，但线缆表格列31分钟。这里采用逐任务表格，不把摘要中的平均时间范围覆盖具体实验。训练墙钟包含计算、复位和预期暂停；搭建硬件、采示范与设置奖励的全部项目成本不能因此视为零。

五处实验证据

证据1：图6的RL与BC。 在100次评估中，RL三个任务均成功；BC使用更多人工示范仍明显更低。支持在线纠错有价值，但比较是完整学习流程，不是严格等信息的“RL损失对BC损失”。在线策略看到自身失误状态，BC没有同样分布。

证据2：图7的完成速度。 作者报告 RL 成功执行的周期更短。它支持在所测成功轨迹上动作更高效；应同时看失败率和所有尝试总时间，不能仅用成功样本时长评价生产吞吐。

证据3：图3的控制日志。 自由空间允许持续运动，接触时参考被限制，展示了低层机制如何改善执行条件。它没有单独量化“去掉限制后，学习成功率下降多少”，因此不能把软件整体增益全部归于这个组件。

证据4：表1的历史系统对比。 不同论文研究不同插入对象、控制器、奖励和示范预算。作者也承认直接比较困难。这张表可说明训练量级，而不能证明在相同基准、同硬件和同预算下击败所有方法。

证据5：图8对应的异地复现。 华盛顿大学搭建插孔任务后，报告19分钟学习、100/100成功、20条初始示范。它是有价值的独立地点证据；一个额外地点不能代替多团队、多硬件、长期维护的普适可用性验证。实验与讨论：§5–6。

这篇没有逐项完整因子消融，最稳健结论是系统组合有效。把“工程细节很关键”进一步说成“算法选择完全不重要”，超出了证据。

五、奖励误判与复位失败会改变数据分布

作者承认奖励与复位仍是开放问题，当前选择不适用于所有任务。不可逆装配、液体倾倒、物体破坏后很难由反向策略恢复；目标分类器也可能受到遮挡和背景相关性的影响。

本文分析是：低层控制器改变了高层 RL 面对的动作后果，实际上定义了学习问题的一部分。同一个网络输出在两种阻抗设置下不再是相同动作语义。复现时若只复制超参数而换了控制器，不能简单认定算法结果不可复现。

相对坐标可减少绝对位置过拟合，但世界中有固定障碍和方向相关重力。等价变换的适用范围受这些因素限制；移动目标的鲁棒性仍需通过实测确认。

追问：自动复位偶尔失败时，怎样避免把下一回合的异常归因于学习算法？

参考答案：应记录每次复位是否达到规定初态，并把复位成功率与任务成功率分开。未复位状态可能改变难度、奖励判别和探索分布；若直接纳入同一曲线，算法成绩会混合控制栈故障。可固定策略检查复位流程，再在验证后的初始化条件下比较学习更新。

六、沿机制关系继续读

SERL组合SAC相关离策略RL、示范回放、奖励与实时控制，贡献重点是可复用真机系统；后作HIL-SERL直接继承这个基础并加入人在环纠正与更复杂任务。

七、自测三题与参考答案

问题1：SERL与RLPD是什么关系？

答案：RLPD是其中核心学习配方；SERL把它与奖励、复位、异步软件和控制器连起来。论文新意主要是系统集成与真实验证，不应把全部基础算法贡献归到SERL。

问题2：为什么低层参考限制不同于把策略动作缩小一百倍？

答案：底层每毫秒重新以当前状态限制目标，自由空间里可持续推进；把高层动作直接缩小，则每个策略周期允许的位移都很小，可能极大增加到达目标所需步数。两者对接触和自由运动的作用不同。

问题3：100次全成功能证明部署不会失败吗？

答案：不能。它说明在所测试验条件和样本量内未观察到失败。换初始分布、物体、控制器或运行更久都可能失败，且训练种子不确定性与执行重复不确定性不是同一层面的统计问题。