015｜GAIL：匹配长期行为分布

系列首页 · 上一篇 · 下一篇

原论文：Generative Adversarial Imitation Learning，Jonathan Ho、Stefano Ermon，2016。原文。

先接住前作的问题

学徒学习用预先选定的特征比较长期行为；这些特征若漏掉关键状态，统计匹配仍可能不够。GAIL把比较器也学出来，判别实际访问的状态动作分布。它与特征匹配共享目标背景，但不要求先恢复可独立规划的奖励。

五个前置概念

占用测度描述策略折扣访问状态动作对的频率。行为克隆通过监督学习拟合专家动作。判别器区分两类样本来源。因果熵衡量策略在已知过去下的动作随机性。TRPO在策略变化约束下进行更新，是原论文采用的策略优化器。

一、问题设定：怎样比较执行出来的长期行为分布

行为克隆问：“看到这个状态，专家会输出什么动作？”GAIL 换了一个角度：“机器人实际走出来的状态和动作，能否让一个分类器分不清它与专家？”

训练输入是固定专家轨迹，以及可继续交互的环境。学习者没有使用真实任务奖励更新策略，也无需每一步向专家请求新标签。它属于在线交互的无模型模仿学习，不能因为专家数据固定就归类为纯离线学习。

状态和动作在论文实验中是控制任务的低维信息；任务奖励只用于生成专家和评价结果。对于机器人，这相当于用“像专家一样行动”作为学习依据，而把外部任务完成标准保留为验收尺度。示范质量因此决定了目标行为本身。

二、用占用测度理解判别器与策略交替

区别在“实际走出来”。一次动作错误会把机器人带到示范没有覆盖的状态，单步回归并不直接纠正这类分布变化。GAIL 让策略在环境中运行，再依据判别器反馈改进行为，试图匹配长期访问分布。

用折扣形式定义：

$$\rho_\pi(s,a)=\sum_{t=0}^{\infty}\gamma^t P_\pi(s_t=s,a_t=a).$$

这里未乘 $1-\gamma$，与概率分布只差固定归一化因子。若两种策略在每个状态动作对的占用都一致，那么任意基于这些变量的同尺度折扣即时成本期望也一致：

$$\mathbb E_\pi\sum_t\gamma^t c(s_t,a_t) =\sum_{s,a}\rho_\pi(s,a)c(s,a).$$

这解释了为什么不一定先恢复唯一奖励，再求一次策略。可以直接学习匹配占用。其成立条件是相同的环境、初始分布和观测定义；部分可观测情况下仅匹配短观测对未必足以描述历史依赖行为。

论文第3节通过凸对偶关系说明：某些正则化逆RL再接RL，相当于对占用测度差异施加某种惩罚。这个理论连接针对理想优化问题，不能直接变成有限样本神经网络训练的收敛承诺。

对抗目标与符号方向

遵循原文约定，$D_w(s,a)$ 越大表示越像学习者，而非专家：

$$\min_\pi\max_D \mathbb E_\pi[\log D(s,a)] +\mathbb E_{\pi_E}[\log(1-D(s,a))] -\lambda H(\pi).$$

判别器试图区分两类，策略试图降低自己的可识别性。固定判别器时，策略最小化代价 $c_D=\log D$；若使用奖励最大化实现，可取 $r_D=-\log D$。许多教程把标签反过来，公式也会随之变化。只背“用 log D 作奖励”很容易学反。

理想判别器满足：

$$D^\star(s,a)= \frac{\rho_\pi(s,a)} {\rho_\pi(s,a)+\rho_E(s,a)}.$$

带回目标与 Jensen–Shannon 散度有关。若两类占用一致且采样先验平衡，理想判别器为二分之一。这是分布匹配的解释，不代表一个没有训练好的判别器输出0.5就意味着模仿成功。

策略为什么不能像图像生成器那样直接反传

策略通过不可微或未知的环境产生未来状态。原论文用 TRPO 根据判别器给出的轨迹代价估计策略梯度，并非对模拟器端到端求导。一个用于降低方差的价值基线可以参与策略优化，但它不是奖励来源；奖励或代价信号来自判别器。

数学目标是占用分布匹配；机制是交替分类与策略优化；实验指标是任务原始成本归一化后的分数。判别器分类准确率下降只是中间现象，不是最终控制指标。

占用测度并不是任意一张二维频率表，它必须满足流守恒：$\sum_a\rho(s,a)=p_0(s)+\gamma\sum_{s',a'}P(s|s',a')\rho(s',a')$。这里沿用未归一化折扣占用，$p_0$ 是初态分布、$P$ 是环境转移概率、$0\le\gamma<1$ 是折扣。左边是到达本状态的质量，右边是初始质量加上折扣后的流入。GAIL用真实环境采样策略，隐式保证生成的占用遵守环境；判别器并不负责生成物理可达转移。

教学反例：专家总先开门再进入房间，若把已有状态动作片段任意洗牌，边缘计数可以不变，拼出的顺序却可能违反门的状态转移。占用匹配约束折扣即时成本，并不逐条保证人为拼接轨迹可执行；从环境中的策略采样才保证实际转移可达。若网络观察还漏掉门锁状态，又会产生信息混叠。因此实验的低维状态假设关系到理论能否准确落在模型输入上。原文§3—4

一个自构直觉例子

设专家小车总在道路中间行驶。BC学会大部分居中状态的转向，但一旦偏到路边，训练样本稀少，错误可能累积。GAIL把策略真正进入路边的状态动作交给判别器，后者提供“这与专家不同”的反馈，策略通过试验寻找回到中央的办法。

这个例子未运行，也不保证一定找回。若随机探索始终没有找到恢复动作，判别器只会反复告诉它“不像专家”，却不会直接给出正确转向。这正是它与 DAgger 可以现场问专家的差别。

三、交替训练分布判别器与环境中的策略

判别器可以对状态动作反传，真实环境却不能像图像生成网络一样直接穿过。策略需要实际rollout，再用判别分数形成学习信号，因此示范固定不代表训练全程离线。

输入固定专家轨迹，初始化策略和判别器
重复：
    用当前策略在环境采集轨迹
    取学习者与专家状态动作样本
    更新判别器：学习者标签1，专家标签0
    固定判别器，为新轨迹计算 log D 代价
    估计该代价下的回报、优势及策略梯度
    用 TRPO 限制策略变化，降低代价并加入可选熵项
评估：
    关闭训练更新，在任务原始指标上测试策略

四、把专家数据量与环境交互量分别计账

作者提出对抗模仿，并将它与逆强化学习联系起来。实验支持较少专家数据下的模拟控制模仿能力，同时作者明确承认环境交互需求很高。

原图怎么读： 图1，原论文图注与图像。纵轴把专家表现标成1、随机策略标成0；这是负成本的归一化值。右侧还改变熵系数，不能把它与左侧不同示范量的比较混成同一消融。

公平问题不只有“专家用了几条”。GAIL 获得在线探索，BC只有监督数据，它们解决问题所用资源不同。因此“示范效率更高”与“总学习成本更低”是两种判断。真机若每次试错都昂贵，这个差异会直接影响方法选择。

五处证据与重要反例

依据原文正文及附录入口。

原文对 Humanoid 报告：GAIL 在测试的示范规模下达到专家归一化表现，BC不超过约60%的相应归一化尺度。这是特定基准结果，不是“模仿所有人类动作达到100%”。归一化零点经过随机策略平移，百分比不能直接对应原始回报比例。

Reacher 的反例很有教学价值：当状态到动作映射较简单、示范覆盖足够时，行为克隆可以直接解决问题。对抗循环付出的交互成本未必必要。选择更复杂算法，应先明确它补救的是哪一种实际失败。

五、判别器信号不能弥补示范缺失的任务信息

GAIL 的贡献不是把 GAN 名称贴到机器人上，而是提出占用匹配视角与可运行的无模型算法，绕开恢复显式可解释奖励的中间目标。它与 GCL 都交替改进策略和评分，但采样估计、模型假设及推导不同。

局限包括判别器可能过拟合少量专家轨迹，策略可能利用判别器盲点，训练分布与真实任务目标也可能不一致。例如“看起来像正常走路”未必等于到达目的地。这里属于方法结构分析，不代表论文已验证这些具体情形。

还要区分学到行为与恢复真实偏好。判别器为区分当前策略而产生的分数可能随迭代改变，不能自动当成可迁移到新动力学的通用奖励。原文理论说明如何实现模仿，并未消除逆问题的不可辨识性。本文没有独立复现实验。

追问：专家与学习者的动作频率不同时，判别器会不会只学到采样差异？

参考答案：有这种机制风险。判别器比较的是输入样本分布，速度、动作保持时间或采样密度的差异都可能成为区分线索，而不等价于任务质量差。应先对齐状态动作语义与采样协议，再用改变频率但保持行为目标的对照检查信号。这个诊断基于占用分布定义，并非原文已经验证的跨频率结论。

六、沿机制关系继续读

本篇与学徒学习具有历史联系：从选定特征匹配转到可学习的占用区分；AMP把对抗式运动分布奖励组合进有任务奖励的角色控制，是模块组合，不能把风格匹配说成完整任务模仿。

七、自测三题与参考答案

问题1：判别器准确率50%是否足以证明学会了？

答案：不够。它可能能力不足、训练失败或输入缺乏信息。只有在判别器能够充分区分且两类样本先验平衡的理想条件下，不可区分才支持占用接近；仍应检查外部任务回报与行为。

问题2：为什么只有固定示范，GAIL却不是离线算法？

答案：固定的是专家数据。学习者每轮仍在环境生成新轨迹，以估计自己的占用和策略梯度。能否访问新的环境转移才是这里判断纯离线与否的关键。

问题3：不恢复奖励，如何保证行为对任务有用？

答案：理想占用匹配意味着同状态动作变量定义的成本期望一致，但实用算法只近似匹配有限数据。任务奖励被保留用于评估，示范也必须确实代表目标行为；对未示范目标或新环境，没有无条件保证。