系列收尾｜把 60 篇论文连成可检验的理解

返回系列首页

理解一个算法，不仅要能写出更新公式，还要知道它依赖哪些信息、改善了什么指标，以及在什么条件下可能失败。把相近方法放在一起比较，再构造能够推翻直觉的实验，才能把零散论文连成可检验的认识。

横向比较：相近算法的关键差异

上述表是教学归纳，具体设定以各篇链接版本为准。

统一实验阅读方法：哪些结果能够放在一起比较

先确定实验单位。 经典控制可能按环境 step 或 frame 计；语言模型可能按 prompt、rollout、token 或 optimizer step 计；Agent 还可能有工具调用和中间状态重启。不同单位的“训练 100 步”没有直接可比性。

区分三个常见语言模型指标。

• Avg@k：同题采 k 次后平均正确率，常用于降低单次采样评估噪声。
• Pass@k：k 个候选至少一个成功的概率或相应估计，通常会随候选数增加。
• Majority vote：选 k 个回答中最常出现的答案，再算正确率。

多轮 Agent 的 $pass^k$ 又可能表示 k 次全部成功的一致性指标。必须逐篇查看定义。

区分两类论证。 Bellman 收敛、梯度恒等式、望远镜求和是数学结论，各有前提；真实网络的稳定性、泛化和成本主要靠实验回答。一个漂亮恒等式不能自动证明其学习到的中间量准确，一个好分数也不能单独证明作者提出的机制解释唯一正确。

一条策略更新，怎样同时读懂四篇论文

把REINFORCE、GAE、TRPO、PPO放在同一个实验里，比只背年代更能看见继承关系。固定旧策略、同一批轨迹与同一价值网络，先比较完整回报优势和GAE优势；再冻结同一份优势，比较TRPO与PPO的参数更新。前一个对照问估计器，后一个问优化器，不能同时替换两者后把分数差归给其中一项。

一份可检验的记录应至少包括四层：

1. 目标层：优化折扣回报、未折扣回报还是带熵/参考KL的目标？γ和β改变了什么？
2. 估计层：优势来自完整回报、bootstrap、组内均值还是judge？哪些量停止梯度？
3. 优化层：实际执行自然梯度方向加回溯，还是小批量裁剪代理？哪些约束只在样本上检查？
4. 证据层：更新后独立轨迹回报、样本KL、未采样状态行为、计算时间是否同时记录？

一个简单反例足够打破“clip就是信赖域”的直觉：某样本A>0且比率超过上界，其裁剪项变平，不再直接奖励继续增大；共享参数仍可能受其他样本、价值损失和熵项推动。目标项变平不等于参数被投影回可行域，更不等于所有状态KL都小。相反，TRPO回溯检查的是有限样本平均KL，也不能据此宣称理论最坏状态条件在真实网络上已满足。

这套拆法还能迁移到GRPO：把critic换成组基线属于估计层，DAPO的动态采样改变数据层，Dr. GRPO改归约权重，FACTOR与DRACO再改信用落点。名义上都“做RL”，变化却发生在不同位置。

三个贯穿系列的教学实验

三个实验分别检验价值高估、长度归一化和模型误差，连接本系列的主要方法。以下均为尚未运行的教学方案；可手算的结果单独列出，训练效果需要实际实验验证。

实验 A：高估、覆盖与保守性

固定两动作bandit的真实奖励分布，例如A均值1、B均值0、二者标准差1。先单独建立一个不均衡数据集：A有100条，B仅1条且恰好观测到3。这一条件数据集用于演示，不能用于宣称无条件平均性能。

实验分成两条线：第一条在相同完整数据上比较估值和选出的动作；第二条重新随机生成许多数据集，比较期望表现。Double Q应按其抽样／更新机制训练，不能在两套完全相同的精确样本均值上假装得到了独立去偏。

for independent_seed in 预先固定的种子列表：
  生成同一份训练数据供各方法使用
  for method in [单Q, 双估计, 保守目标]：
    以相同更新预算训练
    冻结策略，用独立奖励样本评估
    保存估值、真实均值差、选动作与收益
按种子配对比较，不能只保留最漂亮的一次

它把Double Q／Double DQN、TD3、BCQ／BEAR、CQL／IQL联系起来。假设而非结果：减少估值高估可能改善动作选择，但无法替代缺失的信息。

实验 B：长度分母到底改变哪个量

令两回答长度分别10和100，优势都为+1，G=2，固定最大长度100。以下是ρ=1、裁剪前的系数手算。

优势全为−1时表中系数翻转符号，绝对比例不变。本批中全局token平均与固定分母只差整体尺度，但换成其他长度批次，尺度比例会变；它们跨batch的优化过程不等价。

第二阶段才做训练实验：使用同一批轨迹、同一模型起点、同一优化器，分别记录梯度范数、有效KL、正确／错误回答长度与独立题正确率。先控制学习率，再另做匹配梯度尺度的对照，避免把纯幅度差当成新机制。

对于FACTOR，要同时验证动作内权重均值为1和action-mean归约；对于DRACO，要验证token系数总和保持AN。两者守恒对象不同，均不能推出参数梯度向量守恒。

实验 C：模型误差如何被策略利用

真实一维环境为s'=s+a，动作限制[-1,1]，目标位置设为5。学习模型在指定区间错误预测s'=s+2a，其他位置准确。回报可用负目标距离，另报告实际到达率，防止代理回报掩盖任务失败。

固定真实环境与带局部误差的模型
对每组初始状态与算法配置：
  在模型内选动作／训练Actor
  记录模型预测的回报
  在真实环境执行同一策略并独立评价
  保存想象—真实差距与是否进入误差区域
比较短rollout、价值尾部和分布约束各自的作用

这连接Dyna、PETS、MBPO、Dreamer、MuZero、MBDPO与WorldSample。假设而非结果：更长规划可能找到更好的真实方案，也可能更善于利用模型漏洞；实验应允许两种结果出现。

三处值得进一步验证的证据疑点

1. WorldSample 数字口径：摘要的成功率增幅，与表1展示均值直接相减的结果不同；步数和时间降幅对应标签也需核对。正文熵调度与附录线性近似、30%上限亦应分开记录。表中数据的直接计算与摘要表述存在差异，原因尚待澄清。
2. MBDPO 扩展趋势：正文提到较大模型在某个数据设置下降，因此不能只引用概括性的“单调扩展”。能量与行为密度的对应也依赖负样本近似；附录将状态相关常数吸收入归一化时，还使用短展开内常数近似。
3. TTPO 评估协议：无标签测试时更新加峰值检查点报告，与固定模型的独立测试不是相同设定。需要补充预先指定检查点和完整成本才能支持更强比较。

上述疑点来自论文文本分析，仍需作者说明或独立实验加以澄清。

证据链与澄清方式

这些差异尚不足以判断原因。进一步的解释需要对应版本的原文、计算口径和实验日志支持；来源见 MBDPO、WorldSample 与 TTPO。

学习检查：怎样判断自己真的读懂

读完一篇论文后，合上正文，尝试完成以下四项自测：

1. 画信息流：数据从哪里来，奖励谁提供，哪些模型训练、冻结或延迟更新？
2. 写一个核心更新：说明每个量来自真实样本、网络估计还是搜索，以及哪些路径反向传播。
3. 复述一个证据：明确任务、基线、指标与预算，说明它支持什么、不能说明什么。
4. 构造一个失败例子：如缺乏覆盖、模型幻觉、错误多数票、奖励偏差或优势分配错误。

使用 Agent 辅助阅读

以下提示词可用于概念自测和逐步推导：

按《强化学习 60 篇论文博客》的第 N 篇带我学习。先检查我是否理解它依赖的概念，然后只讲当前最重要的一步。请让我自己解释公式或做一道手算题，依据我的回答继续。区分原论文内容、教学例子与你的分析；核对具体版本与实验条件。不要只用缩写解释缩写，也不要把理论保证直接套在神经网络实现上。

引用版本与证据范围

• 经典理论：Q-learning 1992、REINFORCE 1992、DPG 2014 原文。
• 深度控制：DQN 2015；DDPG arXiv v6、GAE v6、TRPO v5、PPO v2、TD3 v3、SAC v2。版本后缀标明本文引用的文本版本，与论文首次发表年份分别记录。
• 离线与世界模型：CQL v3、IQL v1、Dreamer v3、MuZero v2。
• 语言模型：InstructGPT v1、DPO v2、DeepSeekMath v1、DeepSeek-R1 v1、DAPO v1、Dr. GRPO v1。
• 2026 专题：MBDPO、WorldSample、FACTOR、TTPO、DRACO，均为所链接 v1 文本。
• 论文成绩均引自作者报告；教学手算单独标注。本系列未独立运行原论文训练，尚未核实的实验细节在各篇中注明。

按一个具体疑问回到前面的文章

• 结果相反，是理论失效还是实验协议变了？ 回到第2天TD(λ)，并排读正确的勘误图3与单遍训练图4—5，检查何时改参、数据是否重复使用。

勘误图对应反复重用同一训练集直至稳定；横轴为λ，先固定这个协议，才可比较各点的RMS误差。

单遍实验同时改变步长α；每条曲线代表一个λ。与上一图比较前，先注意横轴与更新时机都已经改变。

这里对每个λ分别选取所测最佳α，汇总单遍训练误差。U形趋势不推翻勘误图，因为数据重用与调参条件已不同。

• 策略更新与优势估计如何配合？ 连读TRPO、GAE与PPO：约束更新、构造优势、裁剪替代目标解决的是不同环节。
• 同一批离线数据为什么不能随便最大化Q？ 对照BCQ、CQL与IQL，分别找动作支持、价值悲观与避免显式查询分布外动作的机制。
• 后续论文的数字或图号要去哪核对？ 从逐篇原文与查核入口进入具体文章；实验条件和证据限制紧贴各自结论，避免在这里重复60份阅读记录。