Home / 强化学习 / CQL：不敢相信未知动作，就直接惩罚乐观估值

第 42 天｜CQL：不敢相信未知动作，就直接惩罚乐观估值

原论文与版本：Kumar 等，Conservative Q-Learning for Offline Reinforcement Learning，2020。正文。

先接住前作的问题

第37天 BCQ与第38天 BEAR都要处理离线数据外的动作：前者限制候选，后者约束策略支持。它们留下的具体问题是，若价值网络仍把陌生动作估得极高，能否直接改变估值本身？CQL选择Critic端的保守正则，是同一离线难题的不同干预点；并不承接MuZero的模型搜索。

五个前置概念

保守正则：对证据不足的高估施加代价。
Logsumexp：平滑聚合较大值。
OOD动作：超出数据覆盖的动作。
价值下界：在特定假设下低于真实价值。
D4RL分数：按任务参考值归一化的回报。

一、问题设定：固定数据之外的高Q由谁纠正

现在只允许使用固定转移数据，不能执行一个可疑动作来纠正Q。普通TD误差约束了数据里出现的动作，却可能对其他动作留下很乐观的预测；一旦策略或自举目标选择这些动作，估值错误就会进入下一轮更新。

CQL要回答的不是怎样把所有价值都压低，而是怎样让缺少证据的高值付出额外代价，同时保留数据动作的可评价性。保守性与回报仍需分别检验，数据里出现过也不表示动作优秀。

要素	本文设定
研究场景	离线、无模型、保守价值学习
状态／观测	固定数据状态
动作	离散动作或连续候选动作
奖励或学习信号	数据奖励
终止／边界	终止由原数据标记

二、从相对价值正则看动作梯度怎样改变

BCQ与BEAR主要限制策略去哪里，CQL则改变策略看到的价值地形。离散正则 $\log\sum_a e^{Q(s,a)}-\mathbb E_{a\sim D}Q(s,a)$ 一边压低所有被当前Q偏爱的动作，一边相对抬高数据支持的动作。

对logsumexp求导，为什么不是统一减常数

$L=L_{TD}+\alpha[E_s\log\sum_a e^{Q(s,a)}-E_{(s,a)\sim D}Q(s,a)].$ 第一项倾向压低高估动作，第二项相对保留数据动作。α权衡保守性与拟合，连续动作的采样近似改变实现。

这里的“两项”特指方括号内部，不是把 $L_{TD}$ 也解释为压低所有动作。 $L_{TD}$ 仍拟合停止梯度的Bellman标签；正则中的 $\mathbb E_s$ 与数据动作期望使用相同的数据状态分布。固定状态，对 $\log\sum_a e^{Q(s,a)}$ 求导得到softmax权重，对数据平均Q求导得到经验动作频率，两者相减得softmax(Q)_j−β̂(j|s)：梯度下降会削弱价值诱导分布比数据分布更偏爱的动作。若给所有动作加常数 $b$ ，logsumexp与数据平均都加 $b$ ，差值抵消，所以该正则直接调整的是相对价值。对应原文§3.1—3.2的CQL目标。

用梯度总和检查两个期望是否归一化

固定状态时，正则对全部动作Q的导数相加为1−1=0。这可做离散实现的单测：若把数据动作平均误写成未经归一化的总和，数据项的梯度总质量就会随样本数改变，不再具有这里的常数平移不变性。此检查只针对正则，不能要求整个TD损失也满足它。

两个动作的保守梯度与缺失好动作

以下是可手算的教学构造，不是论文实验。

两个动作当前Q=(0,0)，数据只含第一个，β̂=(1,0)。正则梯度为(−0.5,0.5)，梯度下降使数据动作上升、未知动作下降。

若Q=(0,5)，未知动作softmax约0.993，受到更强向下压力。但若它其实是真正好动作、只是数据缺失，CQL仍倾向保守，这正是离线安全改进与潜在最优性的折中。

三、构造冻结TD目标并估计候选动作项

输入固定离线D
每轮：
  抽(s,a,r,s_next,done)
  按底层算法构建冻结TD目标
  计算数据动作Q
  枚举／采样候选动作估计logsumexp项
  最小化TD误差+α*(候选聚合Q-数据Q)
  若有Actor，按原文策略目标更新
  更新目标网络
输出：保守Critic与策略

四、读离线Atari曲线与D4RL表：保守性何时有用

实验要素	原文设定与证据范围
环境与任务	D4RL locomotion、AntMaze、Adroit、Kitchen；离线Atari
数据来源与规模	多质量固定数据；Atari含1%/10%等子集
对比基线	SAC离线、BC、BCQ、BEAR及相关基线
训练预算与资源	D4RL表1/2四种子；基线部分引自D4RL
指标及其含义	归一化回报、成功率、游戏分数
随机性与不确定性	4种子汇总；全部误差形式逐表
实际验证的假设	保守评价是否减少OOD自举失效

图1：固定前20%数据中的胜出与失败

CQL与QR-DQN和REM在固定前20%在线数据中的四项Atari学习曲线 — 原论文图形摘引；Kumar等，2020，Figure 1；原HTML图形。核对原文。原版权保留。

这里每个算法只用在线DQN运行前20%的固定样本训练，横轴是训练迭代、纵轴是游戏回报。CQL在Pong和Breakout较强，但Seaquest后期的REM更高，展示保守性并不等于每个时间点、每个任务都获胜；这组数据条件也不同于原文表3的1%或10%数据。

表1、表2、表3分别扩展到不同质量运动数据、迷宫/操作和离线Atari；基线来源与数据版本须一致。核对原文。

五、区分逐点下界、期望下界与过度保守

Theorem 3.1的基本只压低式可给逐点价值下界；Theorem 3.2加入数据动作提升项后，主要约束策略期望，未必每个动作都保守。有限样本、正则强度、表示与策略变化条件不可省略，连续log积分还需采样近似。

表3 Seaquest的10%数据中CQL约3674.1、REM约3936.6，并非所有设置取胜；walker2d-medium-expert的98.7是归一化分数而非成功率。未知动作不等于坏动作，正则过强会压制改进，也无法修复数据中的错误奖励。

六、三个值得继续追问的问题与参考答案

1. α如何同时影响安全性和收益？

较大 $\alpha$ 加强压低候选动作相对数据动作的价值，可能降低分布外乐观误差，但也可能过度悲观、压低真实好动作并抑制改进。它提供的是保守估值动机，不是物理安全保证。应在不同数据质量下同时报告真实收益、估值偏差和约束违规；自适应乘子还依赖目标差值与优化稳定性，不能理解为自动找到最佳安全水平。

2. 连续动作积分近似会引入什么误差？

连续动作的 log-sum-exp 或积分通常用策略、均匀等提议分布采样并做密度修正，有限样本会遗漏尖峰，提议支持不足则无法一致覆盖。取对数又使无偏积分估计一般不再给出无偏对数估计；数值稳定性与动作尺度也重要。需报告提议分布、样本数、密度修正和敏感性，不能把离散求和的精确公式直接当实现无误差。

3. “数据动作好”在劣质数据中是否成立？

不成立。数据动作只是有转移证据、相对可评价，不等于高回报动作；CQL 的相对项减小一刀切压低数据动作的副作用，并没有把所有示范视为专家。能否从劣质数据改进仍取决于覆盖、奖励信息和可拼接路径。若所有可达数据都很差且缺少通向高回报的转移，保守目标不能凭空恢复缺失行为。

七、沿未解决的问题继续读

IQL：如果候选动作积分难估，是否可以从价值训练中避开这类动作查询？IQL用数据动作Q的expectile拟合V，再做TD传播；这是后续替代方案，不是CQL罚项的改名。（后续替代路线）
AWAC：保守训练得到离线起点后，新增在线经验怎样进入策略而不被旧约束拖住？AWAC研究优势加权回归与在线衔接，和CQL的价值端惩罚并行。（并行问题路线）

原文核对与路线出处

原论文与图表入口。§3.1 Theorem 3.1—3.2及式1—2；保守Q目标解释。
并行路线：BEAR。Actor约束与Critic保守正则是不同干预点。
并行路线：IQL。后作通过数据内expectile避免直接查询未知动作，机制不等于CQL罚项。
教学阅读：Offline Reinforcement Learning: How Conservative Algorithms Can Enable New Applications。仅借用本节的解释顺序与接口视角；具体算法、版本和实验以本篇原论文为准。

自测两题

第一题考查核心机制，第二题考查边界与辨析。建议先自行作答，再对照参考答案。以下数值小例子均为教学构造。

问题 1：CQL 为什么压低缺少数据支持的动作价值？

参考答案：离线策略容易利用虚假的高 Q。CQL 用保守正则使这些动作相对数据动作更不容易获得乐观估值。离散动作下，一个常见示意项是：

$\log\sum_a e^{Q(s,a)} - \mathbb E_{a\sim D}[Q(s,a)]$

它改变动作之间的相对评价，不只是统一减常数。

问题 2：保守程度越强，是否越安全、越好？

参考答案：太强可能压制真正较好的动作，使策略过度退回数据行为。保守目标也不能修复错误奖励和完全缺失的行为覆盖。论文中的下界结论有具体条件，不能理解为任意实现中的每个 Q 都低于真实价值。