Home / 机器人学习 / CQL：离线机器人数据为什么需要保守估值

038｜CQL：离线机器人数据为什么需要保守估值

原论文：Conservative Q-Learning for Offline Reinforcement Learning，Aviral Kumar 等，2020；本文核对 arXiv v3。论文。

先接住前作的问题

SAC能重复使用回放，却仍依赖在线交互纠正被策略选中的虚高动作。固定离线数据取消了这条纠错途径，CQL因而在价值目标中增加支持相关的保守正则；它不是把双Q取小值改个名称。

五个前置概念

五个前置概念：

离线强化学习：训练时只用固定记录，不再采集交互。
自举误差：目标依赖已有价值估计，使误差可能递归传播。
分布外动作：数据很少支持、却被学习策略提出的动作。
log-sum-exp：可微软最大，关注数值较大的候选。
悲观估计：在证据不足时避免把回报估得过高。

进阶追问与参考答案（3题）

进阶问题1：怎样从离线数据选α而不偷用在线调参？

参考答案：需要把训练和选择数据按轨迹划分，并使用已声明的离线评估或保守诊断；但在行为覆盖不足时，离线评估本身也可能不可靠。可用留出Bellman误差、数据动作与候选动作的价值差及多种离线评估一致性筛除明显异常，再预先锁定选择规则。若无法区分候选，应报告不确定性，不能把测试环境成绩暗中用于选α。

进阶问题2：数据覆盖改善后是否应减弱保守惩罚？

参考答案：可能应当减弱，但条数增加不等于覆盖改善。必须确认新数据覆盖当前策略拟访问的状态动作，并检查估计误差是否降低。固定数据来源，逐步扩展覆盖范围，比较固定α和基于覆盖诊断的调度；若只有重复旧轨迹增多，盲目减惩罚仍会暴露同样的外推风险。

进阶问题3：保守critic与模仿actor如何组合？

参考答案：一种待检验方案是用保守Q构造优势权重，只对数据动作做加权似然更新，同时限制极端权重；这样分别控制价值外推与策略偏离。需比较普通Q/保守Q和普通BC/优势加权的四组组合，匹配训练预算。过度保守的Q也可能压平所有权重，因此必须同时看数据支持、动作多样性与最终回报。

这些回答给出机制分析与待检验设计，不是已经运行的新实验结果。

一、问题设定：无法重新交互时怎样抑制数据外虚高价值

机械臂积累了许多旧操作记录，能否不再冒险试错，直接学出更好的策略？普通 SAC 虽然能重复使用旧经验，却不保证在完全离线时稳定：它可能选中数据里没有、价值网络却误判很好的动作，而离线训练没有机会去环境中纠错。

离策略学习允许训练数据来自旧策略；离线学习进一步要求训练期间不能再收集新环境经验。这多出的限制改变了错误纠正机制。

在在线 SAC 中，若策略误以为某个危险动作很好，它可能执行后看到失败，从而下调价值。离线时，同一个虚高值可以不断进入 Bellman 目标，再被策略最大化，形成自我强化。

本文适用于连续或离散动作，机器人相关实验包括灵巧手、迷宫运动和厨房操作。不同数据集有不同状态、奖励与动作定义；不能用一套“机械臂末端位移奖励”概括全篇。

CQL 不需要学习环境动力学，也不必额外拟合完整行为策略密度。它保留价值自举框架，把主要修改放在 critic 目标。部署时状态仍可能偏离数据，保守动作价值并不自动修复所有状态分布变化。

二、在Bellman学习中加入相对保守Q正则

CQL 在价值学习里增加保守正则：压低缺乏数据支持却被模型看好的动作，相对保留数据动作的价值。策略仍追求高回报，但依据的价值更谨慎。

1. 先看 Bellman 误差漏掉了什么

数据集为 $D=\{(s,a,r,s')\}$ 。标准价值训练最小化：

$L_{\mathrm{TD}}(Q)= \frac12\mathbb E_D[(Q(s,a)-y)^2].$

它只约束数据中出现的动作 $a$ 。但目标 $y$ 会查询策略在下一状态提出的新动作，策略优化又会搜索高 Q 动作。未被直接约束的地方，恰好最容易被最大化操作利用。

单纯把所有 Q 都压低不够理想：所有动作一起减去相同常数，排序可能完全不变，而且会让数据支持的好动作也过度悲观。CQL 的相对正则更有针对性。

2. CQL(H) 的核心公式

在有限动作空间中：

$L_{\mathrm{CQL}}= L_{\mathrm{TD}} +\alpha\mathbb E_{s\sim D} \left[ \log\sum_a\exp Q(s,a) -\mathbb E_{a\sim D(\cdot\mid s)}Q(s,a) \right].$

第一项 log-sum-exp 是软最大值，特别关注当前预测很高的动作；第二项减去数据动作价值，在最小化时相对抬高这些受证据支持的动作。 $\alpha$ 控制保守程度。

从梯度更容易理解。对某个动作，正则的导数具有下面的结构：

$\frac{\partial L_{\mathrm{reg}}}{\partial Q(s,a)} =\alpha[\mathrm{softmax}(Q(s,\cdot))_a-\hat\pi_\beta(a\mid s)].$

如果它被 Q 分布赋予很高概率，但行为数据很少支持，梯度下降会压低它；数据中常见却被低估的动作则可能相对上升。这里的行为分布是解释经验期望的记号，不要求实际训练一个行为策略网络。

3. 连续动作不能直接枚举

机器人动作是连续向量， $\sum_a$ 要换成积分或采样近似。常见实现从均匀分布与策略分布提议动作，再做重要性加权近似。采样分布、密度校正和动作范围都会影响结果，不能把有限动作公式原样当成连续代码。

论文还讨论以先前策略为参考的 CQL 变体，用于减轻高维动作采样方差。它在部分灵巧手任务上更稳定，但不代表任何场景都更优。

4. 保守下界到底保证了什么

论文先分析逐点压低的版本，再分析加入数据项后更紧的策略期望下界。后者并不要求每一个动作的 Q 都低于真实 Q：

$\mathbb E_{a\sim\pi}[\hat Q(s,a)] \le V^\pi(s)$

是不同于 $\hat Q(s,a)\le Q^\pi(s,a)$ 对所有动作成立的命题。必须保留足够惩罚、采样误差、支持条件和函数近似假设。

“安全策略改进”在这里是统计意义上的回报界，不能翻译成真实机器人不会碰撞。若奖励没有表达损坏风险，再保守的奖励价值也不等于工程安全保证。

与 MBPO 不同，这里没有生成下一状态的世界模型。被额外采样的是动作，用来约束价值函数；不是在虚拟环境里造一批转移。

CQL正则对共同平移不敏感：所有动作值都加 $b$ 时， $\log\sum_a e^{Q_a+b}=b+\log\sum_a e^{Q_a}$ ，数据动作均值也增加 $b$ ，两者抵消。这说明相对正则主要改变动作之间的差距，绝对值尺度仍由Bellman拟合约束。

教学例：只有动作A在数据中，预测为 $Q_A=1,Q_B=3$ ，正则对B的导数约0.881，对A约−0.881；下降时压B、抬A。若真实B其实更好但从未被观察，保守性仍可能放弃它，这是离线不可识别性的代价。原文策略期望下界不能改写成每个动作都正确或真机物理安全。原文§3理论与目标

帮助建立理解

自构例子，未运行：一个状态中数据只记录了向左移动，真实回报约为五；网络偶然把未见的向右动作预测成二十。普通离线 actor 会被二十吸引。CQL 的软最大主要对向右施压，同时数据项保留向左的相对价值，从而减少这个未经验证的诱惑。

若向右实际上回报三十，CQL 也可能错过它。这不是逻辑矛盾，而是固定数据下保守改进的代价：缺少证据时宁可谨慎，不能同时保证探索到所有更优行为。

三、在固定数据中联合更新TD与保守正则

连续动作积分的近似还依赖提议分布。教学上，若 $a_j\sim q(\cdot\mid s)$ 且 $q$ 覆盖积分支持， $\int e^{Q(s,a)}da$ 可用 $N^{-1}\sum_j e^{Q(s,a_j)}/q(a_j\mid s)$ 估计；省掉密度修正，会变成对 $q$ 加权的另一对象。取对数后有限样本仍有估计偏差。因此候选来自哪里、多少个、怎样修正，都属于保守目标的数值定义。

输入固定数据集 D；训练期间不新增环境数据
初始化 Q 网络、目标网络和连续动作策略

重复：
    从 D 抽取 (s, a_data, r, s_next, done)
    根据下一状态策略动作构造 Bellman 目标
    在 s 上采样候选动作，近似软最大 Q
    正则 = 候选动作软最大 Q - 数据动作 Q
    更新 Q：TD 误差 + alpha × 正则
    更新策略，使其偏向保守 Q 下的高价值动作
    按实现更新目标网络与可选 alpha

评估时另行运行策略；评估反馈不混回离线训练

四、把机器人数据收益与失败例子一起读

原图怎么读： 图1，原论文图注与图像。横轴是离线训练步数，四个游戏只使用在线DQN最早20%的经验。不同曲线检验固定数据上的训练稳定性，不能把训练步数误当作新增环境交互。

Conservative Q-Learning for Offline Reinforcement Learning，图1：横轴是离线训练步数，四个游戏只使用在线DQN最早20%的经验。不同曲线检验固定数据上的训练稳定性，不能把训练步数误当作新增环境交互。 — 实验图原图摘引：Aviral Kumar 等，2020，HTML S6.F1，图1。原图面板重新排版，数据未改。核对原文。原版权保留。

项目	原论文实验内容
连续控制	不同质量和混合组成的 D4RL 数据
机器人操作	Adroit 灵巧手、Franka 厨房等
对照	BC、离线 SAC、BEAR、BRAC 等
离散视觉	固定 Atari 回放数据的子集
指标	D4RL 归一化回报或相应游戏回报
重复	主要 D4RL 表格平均四个种子
数据成本	数据固定；梯度更新与环境评估应分开计算

数据质量不能只用总条数描述。专家与随机轨迹的混合，可能覆盖更多状态，却让行为分布更复杂；短演示很优质，也可能只覆盖一条狭窄路径。这些因素会改变价值估计能否拼接出有效策略。

表格中的许多对照数值来自基准已有报告。比较同一数据集是合理基础，但不等于所有方法在同机器上以相同调参预算重跑。原文附录给出训练细节，实际复现仍需锁定数据版本。

结果：机器人数据上的强项与失效

依据原文第6节、表1—3及第3节定理。

表1，混合运动数据：CQL 在若干混合数据上显著优于离线 SAC，支持价值正则对复杂行为分布有用；简单专家数据中，BC 仍可能很强。
表2，pen-human：BC 为 34.4，CQL(H) 为 37.5，另一 CQL 变体为 55.8。它们是归一化分数，不能直接称作百分之多少成功。
表2，pen-cloned：BC 为 56.9，两个 CQL 变体均更低。这是必须保留的反例，说明保守 RL 不保证优于模仿。
表2，厨房与迷宫：支持利用不同轨迹片段完成组合目标，但大迷宫仍远未满分，数据覆盖与长程学习没有被彻底解决。
定理3.1—3.6：解释不同保守目标及条件性改进界；理论范围不等于任意深度实现均拥有逐状态证书。

厨房归一化分数还涉及完成子任务数量。一个高平均分可能来自许多回合完成部分任务，而非同样比例的回合完成整条操作链。使用“完整成功率”前必须回到数据集指标定义。

实验中的提升回答“从这份固定记录中能否学得更好”。它不能回答数据中从未出现的物体、相机和接触方式是否泛化良好，也不能证明离线评估已经足以替代部署验证。

五、下界假设不能变成部署安全保证

作者的贡献是将离线保守性直接放进 Q 学习，使已有价值或 actor–critic 框架容易接入。无需精确拟合复杂行为密度，是面对多人、多策略数据时有吸引力的特点。

代价是额外动作采样与正则系数选择。 $\alpha$ 太小可能保留虚高值，太大又可能抑制数据附近真正有用的改进。连续动作维度高时，软最大近似还可能有很大方差。

本文分析：悲观并不会创造缺失证据。如果所有记录都只到达门前，从未成功转动把手，算法无法仅靠价值惩罚知道正确接触方式。离线学习能力始终与数据覆盖以及奖励信息有关。

六、沿机制关系继续读

与TD3有教学联系，但本篇针对离线支持之外的价值；与IQL是平行离线路线，后者通过避免在critic目标查询新动作来处理问题，并非把CQL正则换个名字。

七、自测三题与参考答案

问题1：CQL 是否只是给所有 Q 值减去一个常数？

答：不是。正则对当前 Q 偏好的动作施压，同时相对保留数据动作。它改变动作间的价值差，而统一减常数通常不会改变排序，也不能有针对性地解决 OOD 高估。

问题2：为什么 CQL 可以优于行为克隆，却又不保证一定优于它？

答：价值学习可以利用奖励比较并拼接数据中的较好行为，超过对所有动作一视同仁的模仿；但价值误差、过度保守或很窄的数据会限制这种改进。优质专家数据下，BC 可能更直接有效。

问题3：论文的下界能否保证部署动作安全？

答：不能这样理解。下界针对满足假设时的奖励价值，而且更紧版本主要针对策略期望。物理安全需要任务奖励和约束明确表达相关风险，并另行验证真实系统行为。