Home / 强化学习 / ICM：好奇心奖励应该预测什么

第 24 天｜ICM：好奇心奖励应该预测什么

原论文与版本：Curiosity-driven Exploration by Self-supervised Prediction，2017。原论文。

先接住前作的问题

A3C组织并行策略学习，却没有解决稀疏奖励下何时能见到有用反馈。ICM作为奖励模块补上这个缺口：先学与动作有关的表示，再奖励尚未预测好的特征变化。

五个前置概念

内在奖励：由学习系统自身产生的反馈。
逆动力学：从前后状态预测动作。
前向动力学：从状态动作预测后继状态。
特征表示：从原始输入抽取可学习信息。
Noisy-TV：不可预测噪声诱发无用探索。

一、问题设定：没有任务奖励时，哪些预测错误值得拿来探索

预测下一张画面失败，可能因为智能体走进新区域，也可能因为角落里的白噪声永远不可预测。若把两者一概奖励，策略会追逐无用变化。ICM先用逆动作任务塑造特征，再在这个特征空间里衡量前向预测误差。

要素	本文设定
研究场景	在线、无模型策略学习加内在奖励
状态／观测	视觉观测
动作	游戏／导航动作
奖励或学习信号	外部奖励加特征预测误差
终止／边界	任务回合边界，内在信号处理按实现

二、用逆任务选择表示，再用前向误差给奖励

像素预测误差包含两部分：智能体还没学会的可控变化，以及无论怎样学习都难预测的随机噪声。ICM先用逆模型从相邻观测预测动作，迫使表示保留与行为有关的信息；前向模型再预测这个表示的下一步，误差成为内在奖励。

逆任务的作用不是告诉策略正确动作，而是塑造“哪些变化值得预测”的特征空间。前向误差随学习而变化，因此奖励非平稳；智能体和预测器也在互相改变训练分布。若表示仍编码不可控变化，或者模型容量不足，持久误差仍可能成为奖励漏洞。

因此ICM不是一个完整规划器，也不是对信息增益的精确贝叶斯计算。它用可实现的预测误差代理好奇心，目标是在稀疏外在反馈前先获得有用体验，而非保证新奇与任务价值一致。

区分奖励尺度与前向逆向损失权重

$r_t^i=\frac\eta2\|\hat\phi(s_{t+1})-\phi(s_{t+1})\|^2,\quad L_{ICM}=(1-\beta)L_{inverse}+\beta L_{forward}.$ η控制探索奖励尺度，β控制表示训练中两个任务的比例，二者不同。

把两种预测分开写， $\hat\phi(s_{t+1})=f(\phi(s_t),a_t)$ 并不是编码器直接看见下一帧后再猜一次。离散动作的逆模型从两帧特征输出动作概率，可用 $L_{\mathrm{inverse}}=-\log p_I(a_t\mid\phi(s_t),\phi(s_{t+1}))$ ；前向损失是 $L_{\mathrm{forward}}=\tfrac12\|f(\phi(s_t),a_t)-\phi(s_{t+1})\|^2$ 。因此同一预测误差乘 $\eta$ 给策略作奖励，却由前向模型最小化；策略探索与预测器学习的方向不同。二者通过环境采样耦合，不是让策略直接修改预测器来人为增大误差。核对原文式(3)—(7)。

平方误差对特征尺度并不不变

若把全部特征与相应预测都放大c，前向平方误差会乘 $c^2$ 。因此同一个η在不同特征尺度下代表不同探索强度；比较表示时，不能只固定η就假定内在奖励预算相同。

检查误差学会后奖励如何从0.1降到0.001

以下是可手算的教学构造，不是论文实验。

真实下一个特征为(1,2)，前向模型预测(1,1)，η=0.2，则内在奖励 $0.2/2\times[(1-1)^2+(2-1)^2]=0.1$ 。学会预测到(1,1.9)后奖励降为0.001。

若第二维其实是不可控噪声，误差可能一直很大。逆模型有机会丢掉这维，但没有数学保证所有与动作无关的随机因素都被完全过滤。

三、分别更新预测器与接受内在奖励的策略

收集当前策略轨迹
编码相邻观测 φ(s),φ(s_next)
逆模型预测 a 并最小化动作分类损失
前向模型从 φ(s),a 预测下一特征
内在奖励 ← 当前前向预测误差
用 r_external+r_intrinsic 计算策略优势
以A3C等更新策略，同时按原文权重训练ICM
输出：策略与探索表征

实现要点：预测误差不等于任务价值，也未完全消除不可控噪声。

四、读白噪声干扰和无外在奖励的设置

实验要素	原文设定与证据范围
环境与任务	VizDoom导航、Mario探索及迁移
数据来源与规模	在线视觉轨迹
对比基线	A3C、像素预测好奇心、ICM-A3C
训练预算与资源	任务难度按起点距目标等改变；总预算逐图
指标及其含义	外部得分、探索距离与迁移表现
随机性与不确定性	图5三独立运行，阴影为均值±标准误
实际验证的假设	控制相关表示是否比像素误差更适合探索

实验解读（本文分析）：图6将观测40%区域替换为白噪声，对比特征预测与像素预测，支持对这一类固定位置干扰的鲁棒性。它不是所有noisy-TV情形的通用证明。Mario实验只用好奇心奖励，VizDoom另比较稠密/稀疏外在奖励；两种结论不能合成“无奖励完成任意目标”。

此实验把40%的视觉观测替换成白噪声，橙线在所测任务中优于直接预测像素的绿线。纵轴是外在回报，说明任务完成能力的差异；不能把这一次噪声干扰实验扩成所有不可控变化下的鲁棒保证。

40%白噪声实验究竟验证了哪种干扰

ICM在密集、稀疏和极稀疏奖励三个条件下与像素好奇心及A3C比较 — 原论文图形摘引；Pathak等，2017，Figure 5；原HTML图形；从左至右为密集、稀疏、极稀疏奖励。核对原文。原版权保留。

三栏横轴都是百万训练步，纵轴是每回合外在奖励，越高越好，不是训练使用的好奇心误差。橙色ICM+A3C、绿色像素预测好奇心和蓝色A3C在同一奖励稀疏度下比较；右栏能检验外在反馈极稀少时，特征预测是否仍有助于找到目标。阴影为三次独立运行均值的标准误，不能将橙色高内在奖励本身当作本图的成功指标。

图2将逆动力学特征、前向预测误差和策略奖励接起来：实验要检验的是这种特征是否比像素误差更适合探索。图5用稠密、稀疏和极稀疏导航奖励分栏比较，不能跨不同难度面板直接减分。图6把40%视觉输入替换为不可控白噪声，支持该设置下相对像素预测的鲁棒性；它并没有覆盖全部随机动力学或证明彻底解决noisy-TV。查看原文。

左侧说明内外奖励共同训练策略；右侧把逆模型学习的特征与前向预测分开。奖励取特征预测误差，逆模型本身的动作分类误差不是直接加给策略的好奇心奖励。

五、新奇性代理仍可能被不可控变化利用

逆模型可能保留与动作相关、却与任务无用的变化，前向误差也可能持续来自随机性。评估应同时报告外部任务指标与探索范围；VizDoom、Mario及噪声迁移结果不能推出预测误差与任务价值普遍一致。

继续追问：误差下降、噪声与任务相关性

1. 如何分开模型未知与环境随机性？

单一前向预测误差无法唯一拆分认知不确定性与不可约随机性。可在固定状态动作下重复转移，估计条件噪声，再用独立训练的模型集成分歧或随数据增加的误差下降判断可学习部分。逆动力学特征有助于压低与动作无关的扰动，但不能保证去除全部随机性；应分别引入可控未知结构和不可控噪声做消融。

2. 探索更远是否等于任务更好？

不等于。覆盖更多房间可能带来有用信息，也可能只是反复访问不可控新奇画面。应把探索覆盖、真实任务成功率、外部回报及安全成本分开报告；再测试相同预训练预算下对新任务的学习加速。如果内在奖励升高而任务回报持续下降，说明新颖性代理与任务目标可能失配，不能只用远行距离宣布任务解决。

3. 更强前向模型会让内在奖励如何变化？

在已覆盖区域，更强且训练充分的模型往往更快降低预测误差，使内在奖励更快消退；但对噪声过拟合、特征共同漂移和不同泛化能力会改变这个关系。过弱模型可能让简单状态长期显得新奇，过强模型也可能在未访问区域泛化得太好，压低有效探索。应固定奖励尺度并测误差校准、访问分布和下游收益，而非按模型容量推断奖励质量。

六、换一种预测目标继续检验探索奖励

平行探索路线：RND。把下一状态预测改成固定随机特征拟合，会改变不可约误差的来源，但仍需检查新奇与任务价值是否一致。
策略优化模块：A3C。ICM提供额外奖励，不取代优势估计、终止处理与异步参数更新。
原论文与图表入口。ICM前向/逆向机制；§4.1图6；Mario设置。
教学阅读：Exploration Strategies in Deep Reinforcement Learning。仅借用本节的解释顺序与接口视角；具体算法、版本和实验以本篇原论文为准。

自测两题

第一题考查核心机制，第二题考查边界与辨析。建议先自行作答，再对照参考答案。以下数值小例子均为教学构造。

问题 1：为什么先学习特征，再计算预测误差作为好奇心奖励？

参考答案：直接预测像素容易被背景噪声干扰。ICM 用逆动力学任务约束特征，使其倾向保留与智能体动作相关的信息，再用前向模型预测下一特征。预测误差因此更接近“尚未掌握的可控变化”。

问题 2：这种设计是否彻底解决了“噪声电视”问题？

参考答案：没有。特征不一定完全忽略无关变化，而且可控的新奇行为也可能与任务无关。例如反复制造复杂但无意义的视觉变化，仍可能提供高内在奖励。需要检查探索是否最终帮助获得外部任务回报。