Home / 强化学习 / TRPO：策略更新太猛，为什么会毁掉好不容易学会的行为

第 14 天｜TRPO：策略更新太猛，为什么会毁掉好不容易学会的行为

原论文与版本：Schulman 等，Trust Region Policy Optimization，2015。正文。

先接住前作的问题

自然策略梯度按Fisher几何校正方向，但方向合理并不保证实际一步足够小。策略改变还会改变访问的状态，使旧数据上的收益估计失真。TRPO直接承接这条局部几何路线，把替代目标、KL限制和回溯检查串起来，回答“这次更新应走多远”。

五个前置概念

信赖域：限制一步优化偏离可靠区域。
重要性比：新旧策略对样本概率的比值。
替代目标：用旧样本估计新策略收益的代理。
共轭梯度：无需显式逆矩阵的线性求解方法。
回溯搜索：逐步缩短候选更新直到满足条件。

一、问题设定：旧轨迹支持的好方向，走远以后是否仍可靠

旧策略收集的轨迹只能直接描述旧访问分布。若新策略一次改得很远，训练目标看上去提高，实际却可能进入完全不同的状态。TRPO要限制的是这类替代误差：先说明性能差来自哪里，再把不可直接计算的要求逐步近似成可执行更新。

要素	本文设定
研究场景	单智能体、on-policy 随机策略优化
状态／观测	控制状态或 Atari 图像
动作	连续或离散动作
奖励或学习信号	任务回报
终止／边界	真终止及 rollout 截断要区分

二、从性能差恒等式走到受限替代目标

第一步是性能差恒等式。以 $d_\pi(s)=(1-\gamma)\sum_{t\ge0}\gamma^t P(s_t=s\mid\pi)$ 记归一化折扣访问分布，初始状态分布固定， $J$ 为从该分布出发的折扣回报，有 $J(\pi')-J(\pi)=\frac1{1-\gamma}\mathbb E_{s\sim d_{\pi'},a\sim\pi'}[A^\pi(s,a)]$ 。它仍需新策略的状态分布，因此不能直接用旧轨迹精确求值。

第二步把 $d_{\pi'}$ 换成旧分布 $d_\pi$ ，得到替代目标。动作分布可用概率比修正，状态分布的变化却还在误差里；这才是限制策略变化的原因。论文以最坏状态的分布差异控制理论误差，实际用样本平均KL约束，是可计算近似而非等价替换。

第三步才进入数值优化：目标局部线性化成 $g^\top\Delta$ ，KL二次化成 $\frac12\Delta^\top F\Delta$ 。这里g是在旧参数处的替代目标梯度，F是平均KL在旧参数处的Hessian（相应Fisher矩阵），δ是KL预算，Δ是候选参数增量。另用v表示优化方向，以免与访问分布d混淆。解 $Fv=g$ 后，候选步为 $\sqrt{2\delta/(g^\top v)}v$ ；共轭梯度用矩阵向量积避免显式求逆。最后回溯检查真实样本替代目标和平均KL。没有通过检查就拒绝更新，而不是强迫每轮参数必须变化。

所以TRPO串起了恒等式、替代近似、理论界和近似求解四层。不能从第一层的严格表达跳到第四层，声称有限采样深度网络每轮真实回报必增。

写清概率比目标与实际平均KL约束

$\max_\theta E_{old}[\rho_t(\theta)\hat A_t],\quad E_sD_{KL}(\pi_{old}\|\pi_\theta)\le\delta,\quad\rho_t=\pi_\theta(a_t|s_t)/\pi_{old}(a_t|s_t).$ 理论推导中的最坏状态散度不能直接替换为实验平均散度后仍声称完全相同保证。

为什么先解方向，再用预算决定长度

把候选增量写成 $\Delta=cv$ ，其中 $Fv=g$ 。在局部二次模型中，KL预算给出

$\frac12\Delta^\top F\Delta=\frac{c^2}{2}v^\top Fv=\frac{c^2}{2}g^\top v\le\delta.$

因此 $c=\sqrt{2\delta/(g^\top v)}$ 是沿该方向用满局部预算的尺度；它不是直接设定参数欧氏长度。这里假设方向曲率为正；数值阻尼改变了求解矩阵，回溯则用实际样本KL与替代目标检查近似是否可靠。共轭梯度只需计算 $Fv$ ，不必存下整个Fisher矩阵。

这一段采用Spinning Up的“局部问题→方向→尺度→回溯”讲法，符号与KL方向沿用原论文§4—5；下面代入具体数字核对。

用二次KL验算候选步为什么仍需回溯

以下是可手算的教学构造，不是论文实验。

取 $g=(2,1),F=\mathrm{diag}(4,1),\delta=0.01$ 。线性系统给 $v=(0.5,1)$ ， $g^\top v=2$ ，缩放后 $\Delta=(0.05,0.1)$ 。代入二次KL为 $\frac12[4(0.05)^2+(0.1)^2]=0.01$ 。

这只能验证局部模型。若实际样本KL变成0.016，就要缩短步长；若KL合格但替代目标下降，也不能接受。即使两项通过，未采样状态的行为仍可能发生更大变化。

三、求自然方向、缩放候选步并回溯

冻结旧策略 π_old
用 π_old 收集轨迹，估计优势 A
计算替代目标梯度 g
定义 KL Hessian-vector product 运算 F·vector
用共轭梯度解 Fv≈g
缩放 v 使局部二次 KL≈δ
沿 v 回溯候选 θ：
  若样本替代目标改善且样本平均 KL≤δ：接受
  否则缩短步长；无可行步则保持 θ
更新价值估计，开始下一轮

实现要点：实际平均 KL 与理论最坏状态约束不同，不构成无条件单调保证。

四、读连续控制曲线并检查各自采样权限

实验要素	原文设定与证据范围
环境与任务	§8 连续控制和 Atari
数据来源与规模	on-policy 轨迹；single-path 与 vine 分开
对比基线	自然梯度、其他策略搜索等
训练预算与资源	实验 δ=0.01；完整任务步数本文未逐项核实
指标及其含义	回报与学习曲线
随机性与不确定性	运动任务图4 平均5次运行；其他图按各自协议
实际验证的假设	受限更新是否改善稳定性与样本利用

实验解读（本文分析）：图4各方法平均5次随机初始化运行；Hopper和Walker得分−1可由只站稳而不前进实现，因此“曲线变好”须检查是否学会步态。自然梯度基线对固定惩罚系数扫描，TRPO使用约束；max-KL对照只在cart-pole可行。原文结果支持实际平均KL方案的经验效果，不能把小任务max-KL对照当成所有大网络最坏状态保证。

检查迭代预算与站稳但未前进的得分

TRPO在Cartpole、Swimmer、Hopper和Walker的回报学习曲线 — 原论文图形摘引；Schulman等，2015，Figure 4；原HTML图形。核对原文。原版权保留。

四个面板横轴都是策略迭代次数，不能直接视为相同环境交互或墙钟；先在同一任务里比较Vine、Single Path与其他方法。Cartpole、Hopper和Walker纵轴标reward；Swimmer图上仍标cost，而原文§8.1按前进奖励减控制惩罚解释性能，因此应连同任务定义阅读，不单凭一个轴名反转结论。图展示所测流程的回报变化，不能从误差条重叠与否单独宣布统计显著性。

理论性能界用最坏状态的策略差异控制替代目标误差，实际求解改成采样平均KL和近似线性系统；因此实验是在检验一套有理论动机的近似流程。图4展示连续运动的学习曲线，图注为五次随机初始化平均。Hopper/Walker约−1的分数可以只是站稳而没有前进，故不能仅从曲线离开失败区就判断已学会行走；vine和single-path的状态恢复权限也应一并比较。查看原文。

五、区分最坏状态理论界与平均KL实现

实际平均KL检查可能遗漏未访问状态的大变化，不能代替理论最坏状态约束。vine采样还需要恢复环境状态，这可能是现实机器人没有的权限。比较TRPO与PPO时，应同时计量更新速度、环境样本和实现复杂度。

六、继续追问：未见状态、优势误差与步幅

1. 平均 KL 很小却有少数状态变化巨大，可能发生什么？

罕见但高代价状态可能出现大幅动作改变，导致失败概率上升，而常见状态占据平均 KL 的绝大部分，使均值仍很小。理论最坏状态散度界与实现的采样平均 KL 不是同一约束。可监测分位数和关键状态 KL、独立评估尾部风险，并缩小步长；但有限样本没看到风险状态仍是缺口，回溯通过也不能自动排除此风险。

2. 恢复状态的 vine 采样额外提供了什么能力？

Vine 能把模拟器恢复到同一中间状态，并从该状态试验不同动作及后续 rollout，因而更直接估计动作间优势，通常有利于降低比较方差。普通真实在线环境未必允许保存和精确恢复状态，部分可观测环境还需恢复隐藏变量与随机数状态。比较 vine 与 single-path 时，要计入恢复权限、分支样本和模拟调用，不能只比较外层轨迹条数。

3. 回溯通过是否意味着真实回报一定提升？

回溯仅检查当前批次的替代目标和经验 KL 是否满足实现准则。优势估计噪声、平均与最坏状态约束差异、状态分布迁移及有限样本误差都可能导致真实性能下降。应在独立数据上测回报与 KL，并用重复种子评估下降频率；原理论说明保守更新的动机，实际回溯算法不是无条件的真实回报上升证明。

七、沿优势估计和一阶更新继续拆分

估计模块组合：GAE。步幅控制无法消除优势权重的噪声，下一篇专门处理策略更新输入的估计质量。
后作承接保守更新动机：PPO。概率比替代目标保留，求解改为方便的一阶裁剪目标；这不意味着原信赖域保证自动保留。
原论文与图表入口。§3性能界、§4—5近似求解、§8图4与基线说明。

自测两题

第一题考查核心机制，第二题考查边界与辨析。建议先自行作答，再对照参考答案。以下数值小例子均为教学构造。

问题 1：为什么使用旧策略数据时，新策略不能变化过猛？

参考答案：旧轨迹主要覆盖旧策略常去的状态。新策略大幅变化后，可能进入旧数据几乎没覆盖的区域，旧优势估计就不能可靠预测新回报。TRPO 通过 KL 约束控制更新幅度，提高替代目标的局部可信度。

问题 2：论文中的单调改进思想，为什么不等于实际神经网络训练每步都进步？

参考答案：理论使用特定误差界、精确量或更强约束；实际采用有限样本、近似优势、平均 KL、近似二阶计算和线搜索。这些近似改变了保证成立的条件，因此仍可能出现性能下降。