Home / 强化学习 / REINFORCE：环境不可微，也能沿奖励的梯度学习

第 05 天｜REINFORCE：环境不可微，也能沿奖励的梯度学习

系列首页 · 上一篇 · 下一篇

原论文与版本：Williams，Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning，1992。原文。

先接住前作的问题

Q-learning先估计动作价值，再通过最大化选动作。本篇走的是平行路线：如果直接参数化随机行为，而环境只返回奖励，参数更新的方向从哪里来？早期Actor–Critic提供行动与评价分工的历史背景，REINFORCE则把奖励与随机输出的概率导数明确联系起来，不是从Q-learning收敛定理推出的变体。

五个前置概念

  1. 随机策略：给动作分配概率而非只输出一个动作。
  2. 似然比技巧：用 log 概率导数改写分布期望的梯度。
  3. Monte Carlo 回报：由完整采样轨迹累加得到的结果。
  4. 基线：用于比较好坏、可减少梯度噪声的参考量。
  5. 信用分配：判断长序列中哪些行动促成最终结果。

一、问题设定：没有动作标签与环境导数，如何直接改变动作概率

奖励告诉学习器抽出的动作是否带来好结果，却不给正确动作标签，也未必能对动作求导。可以求导的是自己定义的抽样概率。REINFORCE的问题因此变成：怎样用结果给“刚才为什么抽中这个动作”的导数加权，使期望更新对应期望奖励的改善方向？

监督学习给出正确答案，强化学习只说这次结果好不好。策略于是既是模型，也是采样分布。本文不是专门针对深度网络游戏控制的论文，而是讨论一类连接主义随机单元的学习规则。以下用有限回合、γ=1 的现代记法解释其核心，避免把今日常见代码当成原文的全部内容。

要素 本文设定
研究场景 随机策略的强化学习；原文含即时与延迟强化
状态／观测 网络输入或序列状态
动作 按概率分布采样的离散或连续输出
奖励或学习信号 即时奖励或回合后续回报 G
终止／边界 回合结束后计算完整回报；原文也讨论其他反馈时序

二、对轨迹概率求导并消去不依参数的环境项

把整条轨迹的概率写成初始状态概率、策略概率和环境转移概率的乘积。若环境本身不依赖策略参数，取对数再求导时，只剩 ∑t∇log⁡πθ(at∣st)\sum_t\nabla\log\pi_\theta(a_t|s_t)。因此不需要知道“改变动作后物理系统的导数”，只需知道刚才这个动作为何被抽中。

从 ∇∫pθ(τ)R(τ)dτ\nabla\int p_\theta(\tau)R(\tau)d\tau 使用 ∇p=p∇log⁡p\nabla p=p\nabla\log p，得到似然比梯度。在允许交换积分和求导等正则条件下它是期望恒等式；一次随机更新当然可能走错方向。再用因果性删除动作发生前的奖励，可减少无关噪声。

基线为何不改期望？对固定状态，∑aπ(a∣s)b(s)∇log⁡π(a∣s)=b(s)∇∑aπ(a∣s)=0\sum_a\pi(a|s)b(s)\nabla\log\pi(a|s)=b(s)\nabla\sum_a\pi(a|s)=0。因此状态基线合法，但把当前动作的奖励直接当基线会把学习信号抵消。学习基线和优势都应在Actor损失中停止梯度。

由似然比恒等式得到回报加权梯度

∇J=Eτ[R(τ)∇log⁡pθ(τ)],g^=∑t(Gt−b(st))∇log⁡πθ(at∣st).\nabla J=\mathbb E_\tau[R(\tau)\nabla\log p_\theta(\tau)],\quad \hat g=\sum_t(G_t-b(s_t))\nabla\log\pi_\theta(a_t\mid s_t).

第一式来自 ∇p=p∇log⁡p\nabla p=p\nabla\log p；不依赖 θ 的环境转移项在 log 概率的导数中消失。第二式使用后续回报，省去与当前动作无因果关联的过去奖励。这里 γ=1；若换折扣目标，需要同步核对时间权重。

从概率导数看回报权重的符号

对独立logit表示，增加被采样动作的log概率会提高其概率；但参数更新用的是 ∇θlog⁡π\nabla_\theta\log\pi，也会改变其他动作的归一化概率。正权重表示提高这个样本的相对倾向，不是给每个输出概率都加同一个数。

验算减基线前后的平均梯度

以下是可手算的教学构造，不是论文实验。

两动作bandit，p=π(a1)=0.25p=\pi(a_1)=0.25，奖励分别为4和0。用logit参数θ，有∇θlog⁡π(a1)=0.75\nabla_\theta\log\pi(a_1)=0.75、∇θlog⁡π(a2)=−0.25\nabla_\theta\log\pi(a_2)=-0.25。零基线时平均梯度为0.25×4×0.75=0.750.25\times4\times0.75=0.75。

取不依动作的基线1，平均梯度变为0.25×3×0.75+0.75×(−1)×(−0.25)=0.750.25\times3\times0.75+0.75\times(-1)\times(-0.25)=0.75。第二个动作样本也提供方向，但期望没变。这是可核查的无偏性例子，不是在证明基线1对所有问题方差最小。

三、采完整回合、算后续回报并冻结权重

stop_gradient 表示停止向目标量传播梯度。

输入：随机策略 πθ，完整回合采样器
重复：
  用当前 πθ 采样若干完整回合并保存 logπθ(a|s)
  对每个回合从后向前计算 G_t = r_t + G_(t+1)
  对每步取 b_t（零或只依赖状态的旧基线）
  A_t ← stop_gradient(G_t-b_t)
  L_actor ← -平均回合的 Σ_t logπθ(a_t|s_t)*A_t
  对 L_actor 梯度下降
  若使用学习基线：以 G_t 为停止梯度的回归目标更新它
输出：更新后的动作分布

不要对 A 的数值误差反向穿过 Actor，否则优化的是另一目标。同一批样本反复更新很多轮时，采样策略已经过期；原始 on-policy 梯度不能无条件重用。训练基线时先分清共享网络与独立网络。

四、以两动作图和原定理核查期望方向

证明要素 原文设定与证据范围
环境与任务 随机单元及强化学习理论设定
数据来源与规模 从自身分布产生的输出及奖励
对比基线 直接梯度表达式、不同强化规则
训练预算与资源 此处不对应统一现代基准预算
指标及其含义 期望更新与期望奖励梯度的关系
随机性与不确定性 理论期望不等于小样本置信区间
实际验证的假设 仅有奖励的随机输出规则能否找到有用更新方向

理论解读（本文分析）：Theorem 1先保证期望更新与奖励梯度的内积非负；统一标量步长时才是同方向缩放。原文还讨论基线对实际收敛的显著影响，不能把理论不改变期望误写成“基线不影响学习”。本篇以公式与条件为核心证据，不编造现代连续控制结果。

对照柱形贡献之和而非单次样本

零基线和基线1下两个动作对期望梯度的贡献条形图，总和均0.75
原创教学示意（非原实验）；Williams，1992，§3–4基线与期望更新的原创算例。核对原文。本文原创。

每根柱是概率加权后的梯度贡献，不是一次采样的梯度。基线1把部分贡献移到第二个动作，但两柱之和仍为0.75；因此图展示期望不变，并没有证明任意基线都会减小方差。

原文§4的Theorem 1把随机单元的期望更新与期望强化的梯度联系起来；同一标量步长与各参数不同步长的“方向性质”须区分。该理论为随机输出和延迟强化提供梯度依据，但没有承诺单次采样提高回报。基线是否与当前动作独立、回报是否对应所求目标，决定能否保留这种期望性质；长序列信用分配的方差仍需实验检验。 查看原文。

五、期望方向正确为何仍可能训练困难

方差会随奖励噪声、轨迹长度和概率尖锐程度变化；任意基线并不保证降低方差。无偏性必须绑定回报、基线与采样分布，等标量学习率与各参数不同步长的方向性质也应区分。即使期望方向成立，参数化策略仍可能有局部最优或边界问题。

继续追问：基线、折扣与样本复用

1. 为什么只依赖状态的基线在期望中抵消？

固定状态下，Ea∼π[b(s)∇θlog⁡π(a∣s)]=b(s)∑a∇θπ(a∣s)=0\mathbb E_{a\sim\pi}[b(s)\nabla_\theta\log\pi(a|s)]=b(s)\sum_a\nabla_\theta\pi(a|s)=0，依赖策略归一化、可交换求导与求和，以及基线在给定状态后不依赖所采动作。实际实现应把基线作为梯度估计中的常量处理。若用包含该动作回报的同批统计拟合基线，有限样本依赖可能引入偏差，需区分理想恒等式与实际估计器。

2. 同一批轨迹更新十轮后，梯度还对应当前策略吗？

只有首轮在原采样参数处具有直接的 on-policy 解释；参数改变后，轨迹仍来自旧策略。要估计新策略目标，通常需要行为概率和适当的轨迹或逐决策重要性修正，并满足支持覆盖；仅修改动作条件比率不自动修复所有状态分布差异。直接重复十轮属于对旧分布替代目标的优化，不能继续称为每轮都无偏的当前策略 REINFORCE。

3. 回报标准化会改变什么，何时不能直接称为无偏？

减去一个与当前动作独立的基线不改期望梯度；除以固定正数只改步长。用同批样本的均值和标准差则使归一化系数与各样本回报相关，尤其小批量、同一提示多次采样时，不能直接套用独立基线的无偏证明。逐轨迹归一化还会改变长短轨迹和不同任务的相对权重。应明确统计范围、是否停止梯度，并用独立统计或留一法检查有限样本效应。

六、从轨迹梯度继续追问价值近似与优势噪声

  • 后作理论承接：策略梯度定理。整轨迹回报可以替换成怎样的价值近似而不带偏更新，需要进一步刻画访问分布与兼容条件。

  • 估计模块组合：GAE。当回报权重噪声太大时，可以改变优势估计的跨度；对数概率梯度本身仍在。

  • 原论文与图表入口。§3—4定义与Theorem 1、Bernoulli例、基线讨论。

  • 教学阅读：Vanilla Policy Gradient。仅借用本节的解释顺序与接口视角；具体算法、版本和实验以本篇原论文为准。

自测两题

第一题考查核心机制，第二题考查边界与辨析。建议先自行作答，再对照参考答案。以下数值小例子均为教学构造。

问题 1：环境不可微，REINFORCE 怎么得到梯度？

参考答案：它不对环境求导，而对“策略生成这些动作的概率”求导：

∇θJ=E ⁣[∑t∇θlog⁡πθ(at∣st)Gt]\nabla_\theta J = \mathbb E\!\left[ \sum_t\nabla_\theta\log\pi_\theta(a_t|s_t)G_t \right]

高回报样本推动相关动作概率上升。环境虽然决定样本回报，但不需要提供从奖励到动作的可微路径。

问题 2：减去状态基线为什么不改变期望梯度？

参考答案：给定状态，基线不依赖当前采样动作时：

Ea∼π[∇θlog⁡π(a∣s)b(s)]=0\mathbb E_{a\sim\pi} [\nabla_\theta\log\pi(a|s)b(s)]=0

因此它不改变期望方向，却能去掉“这个状态本来就容易得高分”的部分，降低波动。基线在策略梯度项中还应作为固定量处理，不能任意通过它反向传播。

系列首页 · 上一篇 · 下一篇