Home / 强化学习 / GAE：把一串 TD 误差变成更好用的策略优势

第 15 天｜GAE：把一串 TD 误差变成更好用的策略优势

原论文与版本：Schulman 等，High-Dimensional Continuous Control Using Generalized Advantage Estimation，2015／2016。正文。

先接住前作的问题

TRPO控制参数怎样移动，却需要一个优势估计作为输入；再稳妥的步幅也可能追随噪声很大的权重。TD(λ)已有多步混合与几何加权残差的思路。GAE承接这种估计结构，把对象改为策略优势，并与信赖域优化组合，不是对TD预测器的简单改名。

五个前置概念

优势：某动作比当前状态平均前景好多少。
TD 残差：相邻价值预测的误差信号。
Bootstrap：用价值估计补足未观测未来。
λ：控制多步误差权重。
截断：采样因预算停止但环境未终止。

一、问题设定：优势信号太吵时，要信任多远的TD修正

一步TD优势及时，但依赖后继价值；完整回报减基线少用中间自举，却带来更长轨迹的噪声。GAE把不同跨度混合起来。分析必须同时说明价值误差、尾部截断，以及γ本身相对未折扣任务改变了什么，不能把所有偏差只归给λ。

要素	本文设定
研究场景	on-policy Actor–Critic 的优势估计
状态／观测	控制环境状态
动作	策略采样动作
奖励或学习信号	逐步任务奖励
终止／边界	真实终止与 batch 截断分别处理

二、展开多步优势并合并为几何残差和

从一步优势估计 $\hat A_t^{(1)}=\delta_t$ 开始。两步是 $\delta_t+\gamma\delta_{t+1}=r_t+\gamma r_{t+1}+\gamma^2V(s_{t+2})-V(s_t)$ ；中间的价值项相消。一般k步同理，得到k步回报减当前基线。

再用 $(1-\lambda)\lambda^{k-1}$ 混合这些估计。第l个残差出现在所有k>l的项中，其权重为 $\gamma^l(1-\lambda)\sum_{k=l+1}^{\infty}\lambda^{k-1}=(\gamma\lambda)^l$ ，于是得到GAE。 $\lambda=1$ 应以极限或有限回合尾项理解，不能直接把前面的 $(1-\lambda)$ 乘成零。

若价值正确，不同k步可保持相应折扣策略梯度的一致性；价值有误时，短估计更依赖bootstrap，长估计承受更多轨迹方差。原文§2的基础任务目标是未折扣回报；γ作为降方差参数已经引入相对该目标的偏差。γ-just只表示估计器相对折扣梯度 $g^\gamma$ 不再额外引入偏差，不能把所有偏差都算到λ身上。论文也承认加权残差形式有先前工作，贡献包括分析及与信赖域策略/价值训练的结合。

先冻结采样时的V计算优势，再训练V。若先在同一小批次把V拟合到残差接近零，策略信号可能被过拟合“吃掉”。GAE是一件估计工具，TRPO或PPO才决定参数怎样更新。

从残差求和得到可反向递推的优势

$\delta_t=r_t+\gamma V(s_{t+1})-V(s_t),\quad\hat A_t=\sum_{l\ge0}(\gamma\lambda)^l\delta_{t+l}.$ 反向递推为 $A_t=\delta_t+\gamma\lambda A_{t+1}$ 。λ=0 是一步 TD，λ=1 在完整回合中对应带价值基线的回报差；不能忘记尾部 bootstrap。

尾部价值误差沿递推衰减多少

在其他输入冻结的教学比较中，若只把末端 $V(s_T)$ 改动e，递推会将其对 $A_t$ 的影响传为 $\gamma^{T-t}\lambda^{T-t-1}e$ （ $t<T$ ）。因此长片段能弱化某一个尾部误差，却不会自动消除片段内各处价值误差。

核对三步递推与直接加权和

以下是可手算的教学构造，不是论文实验。

三步TD残差为(1,2,3)， $\gamma=0.9,\lambda=0.8$ ，尾部优势0。反向计算 $A_2=3$ ， $A_1=2+0.72\times3=4.16$ ， $A_0=1+0.72\times4.16=3.9952$ 。

直接求和同样得到 $1+0.72\times2+0.72^2\times3$ 。λ=0时只剩1；λ=1时为5.23。数值更大不代表估计更好，要比较它们对真实优势的偏差与方差。若rollout只是截断，最后δ还应含下一状态价值，但迹不能跨到下一回合。

三、冻结旧价值后从轨迹尾部递推

用旧策略和旧 V 收集 rollout
next_adv ← 0
从最后一步向前：
  bootstrap_mask ← 0 若真正终止，否则1
  trace_mask ← 0 若回合边界或 rollout 边界，否则1
  δ_t ← r_t+γ*bootstrap_mask*V(s_next)-V(s_t)
  A_t ← δ_t+γ*λ*trace_mask*next_adv
  next_adv ← A_t
冻结 A，供 TRPO/PPO 等更新策略
按选定原文回报目标训练 V
输出：优势估计与策略／价值更新所需目标

实现要点：rollout 截断处可 bootstrap V，但不能串到下一回合的优势；原文价值训练流程不应直接替换成所有现代 PPO 的实现细节。

四、读成本曲线与γ、λ联合热图

实验要素	原文设定与证据范围
环境与任务	cart-pole、双足、四足与起立控制
数据来源与规模	当前策略轨迹
对比基线	不同 γ/λ 等优势估计配置
训练预算与资源	cart-pole每批20轨迹；双足约50k步、部分其他任务200k步每批，见§6
指标及其含义	负回报成本随迭代变化（越低越好）；图2右热图白色更好
随机性与不确定性	cart-pole 21、双足9、四足5次；区间定义与起身重复未全部复核
实际验证的假设	混合残差是否改善偏差—方差折中

分别按成本曲线和热图颜色判断好坏

GAE在Cart-pole中比较λ的成本曲线及γ与λ联合扫描热图 — 原论文图形摘引；Schulman等，2015/2016，Figure 2；原HTML图形。核对原文。原版权保留。

实验解读与读图：原文§6.3把学习曲线纵轴定义为负回报成本，越低越好。图2左侧以迭代为横轴，固定γ=0.99比较λ；右侧在20次策略迭代后扫描γ与λ，白色表示较高回报，两种视觉方向不能混用。Cart-pole结果平均21个随机种子，中间参数范围的较好表现支持偏差—方差折中，不是λ越大越好的证据。3D图3的双足曲线平均9次运行、四足平均5次；每批双足50000步，四足与起身200000步，因此相同迭代数不等于相同样本预算。“No VF”仍使用时间相关基线，并非完全零基线。

两列分别是3D双足与四足，纵轴为cost，下降才是改善；横轴是策略迭代，不能直接当作相同环境交互量。两任务分别汇总9次与5次运行，带价值估计的不同参数曲线应在各自任务内比较。

五、区分折扣偏差、价值误差与截断错误

V错误、截断处理错误或不一致的γ目标都会改变优势估计；这些问题不能靠策略优化器自动修复。方差小也不是充分目标：全为零的优势方差最小，却完全无法学习。γ与λ应连同真实任务目标和预算选择。

六、继续追问：短估计、时间限制与优化器

1. V 很准确时为什么较小 λ 可能有利？

当 $V=V^{\pi,\gamma}$ 且边界处理正确时，各步 TD 残差的条件期望给出相应优势，小 $\lambda$ 可以减少远期随机回报进入估计器，从而降低方差。这讨论相对折扣目标的优势估计；若原任务目标是不折扣回报， $\gamma<1$ 本身仍可能引入目标偏差。它并非普遍最优：价值存在系统误差、部分可观测性或尾部边界处理不当时，短视自举会引入偏差。应通过价值误差和优势估计方差共同选择，不能只看一次训练曲线。

2. 把时间限制当真正终止会产生什么偏差？

真正终止时后续价值为零；只是达到采样时间上限，任务仍继续时，应该从最后真实观测自举。错误地把截断当终止会删去 $\gamma V(s_{t+1})$ ，在价值为正的任务中通常低估，在其他奖励符号下偏差方向可变。还需阻断跨重置的资格递推，不能把下一回合初态接成同一轨迹；若时间上限本来就是任务定义，则应把剩余时间纳入状态。

3. 为什么 GAE 可以与多种策略优化器组合？

GAE 输出的是供策略更新使用的优势估计，而 TRPO、PPO 或普通梯度方法决定如何使用这个估计移动参数，两者接口不同。组合成立仍要求采样策略、旧概率、价值边界和优势归一化与优化器目标一致。多轮复用同一 GAE 时它属于旧策略估计，不能声称已随每轮参数自动更新成当前策略优势。

七、把同一优势接口交给不同策略优化器

原文模块组合：TRPO。GAE提供优势，信赖域流程负责参数更新，估计和求解的失败方式应分别诊断。
后续模块组合：PPO。旧策略优势可用于多轮裁剪目标，但裁剪不会自动纠正价值误差或截断偏差。
原论文与图表入口。§3多步推导与§4解释；§6.1更新顺序；§6.2—6.3与图2、图3。

自测两题

第一题考查核心机制，第二题考查边界与辨析。建议先自行作答，再对照参考答案。以下数值小例子均为教学构造。

问题 1：为什么连续 TD 误差的加权和可以估计优势？

参考答案：GAE 使用：

$\hat A_t=\sum_{l\ge0}(\gamma\lambda)^l\delta_{t+l}$

它相当于混合不同长度的优势估计。展开后，相邻价值项会按权重抵消；在 λ=1、完整回合且正确终止时，得到实际回报减当前价值基线。

问题 2：价值网络越差，是否越应该把 λ 调大？

参考答案：较大的 λ 通常能减少对中间自举值的依赖，但也增加长回报噪声，所以不是无条件规则。还要考虑轨迹是否完整、任务随机性与截断处的估值。应比较优势估计质量及最终策略表现，而非只看价值损失。