Home / 强化学习 / RND：预测一个冻结随机网络，也能产生探索奖励

第 36 天｜RND：预测一个冻结随机网络，也能产生探索奖励

原论文与版本：Exploration by Random Network Distillation，2018。原论文。

先接住前作的问题

ICM预测动作后的特征变化，仍可能被不可约随机变化吸引。RND沿平行探索路线，把监督目标改为冻结随机网络对当前观测的特征。问题从未来转移是否可预测，转为当前观测是否已经被预测器熟悉；两种误差不可直接等同。

五个前置概念

随机目标：初始化后不再学习的映射。
蒸馏：让可训练网络模仿目标输出。
新颖性：对学习系统而言的陌生程度。
内外价值流：分别预测探索与任务收益。
奖励非平稳：奖励函数随预测器学习改变。

一、问题设定：不预测随机下一帧，也能用误差判断新奇吗

新状态之所以有高误差，可以是预测器还没学过这个输入，而不必是未来动力学难以预测。RND固定每个观测对应的随机目标，让预测误差随熟悉程度下降。不过新随机像素仍会形成新输入，奖励尺度与跨回合边界也仍要设计。

要素	本文设定
研究场景	在线内在奖励探索，通常配PPO
状态／观测	图像观测
动作	游戏动作
奖励或学习信号	外部奖励与RND误差两个信号流
终止／边界	内在与外在回报可使用不同回合边界处理

二、冻结随机目标并让预测器学习熟悉状态

RND的目标网络随机初始化后永远冻结，预测器只学习已见观测到这个固定特征的映射。新奇性来自“当前尚不会拟合的输入”，而非预测下一状态。因此随机动力学结果不再作为不断变化的监督标签，减少了一类不可约预测误差。

但固定目标并不等于噪声免疫：持续产生新随机像素会产生新输入，有限容量、遗忘及不恰当泛化也会影响误差。观察和奖励归一化决定了不同维度与不同训练阶段的尺度，不能只写一行平方误差就当作全部实现。

原文还分离外在与内在价值头。任务回报在game over结束，探索回报可跨重置继续；若二者边界不同，单一done掩码就不够。纯好奇心可能得到一次钥匙后不再重复，外在奖励才帮助保持有用行为。

区分预测器减误差与策略寻找高误差

$r^i(s)=\|g_\theta(s)-f_{fixed}(s)\|^2.$ 预测器最小化该误差，策略最大化沿轨迹遇到的误差与任务收益。归一化与不同价值流影响实际权重。

同一个误差，两个相反的优化方向： $f_{fixed}$ 输出固定随机特征， $g_\theta$ 是可训练预测器， $\|\cdot\|^2$ 把各特征维度的平方误差相加。预测器对已访问状态降低这项损失；策略把更新前的误差当作奖励，转而寻找当前还不熟悉的状态。若目标网络也追着预测器变化，奖励就不再表示对同一固定函数的熟悉程度。因此训练预测器时更新 $\theta$ ，计算策略优势时则把已经算出的奖励当作观测量，不能让策略靠直接改预测器参数获得高分。定义与实现区别见原文§2.1—2.4。

冻结目标与预测器冻结有相反效果

目标固定而预测器学习，熟悉状态的误差才会下降；若连预测器也冻结，奖励就成了固定随机差异，不能表达熟悉度变化。若目标也不断更新，预测器又会持续追逐移动标签。

算清熟悉度下降及两种终止掩码

以下是可手算的教学构造，不是论文实验。

冻结特征f(s)=(1,−1)，预测器开始输出(0,0)，奖励为2；学成(0.9,−0.8)后变0.05。熟悉度改变的是预测器，不是目标。

在游戏结束时，外在目标可只等于当前奖励，内在目标却仍加γV_I(重置后状态)。若一律把两个头都清零，就改变了论文探索任务；若外在也不终止，还可能鼓励反复重开领取早期奖励。

三、分开内外价值边界并固定奖励的梯度角色

随机初始化并冻结目标f
初始化预测器g与策略／价值网络
循环：
  用策略采样观测轨迹
  在预测器更新前计算r_int=||g(s)-f(s)||²
  按选定规范化处理内外奖励
  分别计算需要的内外价值目标与优势
  用PPO更新策略
  用访问观测训练g拟合固定f
输出：带探索能力的策略

实现要点：观测噪声、泛化和遗忘仍会影响新颖性。

四、读房间覆盖与外在回报及双头消融

实验要素	原文设定与证据范围
环境与任务	MNIST新颖性诊断、Montezuma及Atari探索
数据来源与规模	在线访问观测
对比基线	纯探索、不同内外奖励流、不同策略网络等
训练预算与资源	并行采样与折扣配置需分开；完整总预算本文未完整核实
指标及其含义	房间数、游戏回报、预测误差
随机性与不确定性	部分曲线5种子；其他图单独核对
实际验证的假设	静态目标误差能否提供实用探索信号

实验解读（本文分析）：图3纯探索同时报告发现房间数和外在回报，二者不是策略直接优化的指标。图4显示非回合内在回报扩大覆盖，但相同回合设定下双价值头未显示预期收益。不能把“系统采用双头”自动写成“消融已证明双头总是更好”。

发现房间更多不一定保持任务收益

原引用定位：原文。

RND的不同内外奖励与价值估计组合对回报和探索房间数的影响 — 原论文图形摘引；Burda等，2018/2019，Figure 4；原HTML图形。核对原文。原版权保留。

图4四个面板横轴都是参数更新次数；每一对分别画平均回合外在回报和平均发现房间数，前者不是内在奖励，后者不是完成任务比例。对照橙色非回合内在价值与绿色回合内双价值曲线，可以看到探索覆盖的差距比任务分数的差距更直接；再对照蓝色单价值估计，才是在同一回合设定下检验“双头是否必要”。不要把不同策略网络的两组面板合并成同一个实验。

图2先用MNIST的类别样本数与保留集预测MSE验证熟悉度代理，横轴为对数样本数；这不是RL成功率。图3把纯探索的房间数与外部回报并列，图4再对照内外奖励是否跨回合延续，表明终止处理会改变探索覆盖而不一定同比改变任务分数。应分别读两个纵轴所代表的目标，不能把新颖性或房间增加直接解释为最优任务策略。查看原文。

原论文Figure 3：左图是平均外在回报，右图是平均发现房间数；两者都不是直接使用的内在奖励。非回合处理改善覆盖，不意味着两种评价指标同比提高。 — 完整原图摘引｜Burda等，2018/2019，Figure 3；1810.12894v1，HTML S3.F3.fig2。核对原文与图号。原版权保留。原引用定位：原文。

读图提示：左图是平均外在回报，右图是平均发现房间数；两者都不是直接使用的内在奖励。非回合处理改善覆盖，不意味着两种评价指标同比提高。

原论文Figure 2：横轴是目标数字类别的训练样本数，纵轴是保留样本预测MSE；不同颜色为不同目标类别。这是新颖性代理的诊断，不是控制任务成功率。 — 完整原图摘引｜Burda等，2018/2019，Figure 2；1810.12894v1，HTML S3.F3.fig1。核对原文与图号。原版权保留。原引用定位：原文。

读图提示：横轴是目标数字类别的训练样本数，纵轴是保留样本预测MSE；不同颜色为不同目标类别。这是新颖性代理的诊断，不是控制任务成功率。

五、固定目标并不等于噪声免疫

预测器遗忘会让旧状态重新显得新，随机输入、容量、归一化与训练频率也会改变奖励的非平稳性。Montezuma等任务的覆盖收益不能保证新奇总有任务价值。

继续追问：遗忘、随机输入与重置奖励

1. 预测器过强或过弱会怎样改变探索？

预测器过弱会让熟悉状态持续高误差，诱导无效重复；足够强且训练充分的预测器会让已访问状态奖励衰减，但过强泛化也可能压低未访问状态的新颖性。固定随机目标并不消除这些容量与优化效应。应比较访问次数-预测误差曲线、独立新状态误差和任务收益，同时锁定奖励归一化与预测更新比。

2. 遗忘会不会导致无用循环？

会。若预测器在新数据训练时忘记旧状态，旧区域重新获得内在奖励，策略可能循环“新奇-熟悉-遗忘”。可对固定探针状态长期记录误差，结合访问轨迹判断奖励回升是否来自真实新信息。回放、较稳定训练或记忆机制可能缓解，但也增加成本；不能只看探索奖励持续较高就认为不断发现新区域。

3. 房间数与任务分数矛盾时如何判断方法？

房间数测覆盖，任务分数测外部目标，二者可以冲突。若目标是无奖励探索，覆盖值得报告，但还应测访问深度、危险损失与后续任务适应；若目标是完成游戏，应以独立任务收益和成功率为主，房间数作为机制指标。不得从较多房间推出最优策略，也不应因短期分数不升就否认所有探索价值。

六、对照不同新奇性来源并保留策略接口

平行误差奖励：ICM。比较当前随机特征拟合与动作后特征预测，才能定位不可约误差来源，而不是只比较平方损失名称。
策略更新模块：PPO。RND提供奖励，裁剪目标负责使用由这些奖励得到的优势，二者不互相替代。
原论文与图表入口。§2.3—2.4终止与归一化；§3.1—3.2图3、图4。
教学阅读：Exploration Strategies in Deep Reinforcement Learning。仅借用本节的解释顺序与接口视角；具体算法、版本和实验以本篇原论文为准。

自测两题

第一题考查核心机制，第二题考查边界与辨析。建议先自行作答，再对照参考答案。以下数值小例子均为教学构造。

问题 1：随机目标网络为什么能产生有用的探索奖励？

参考答案：目标网络冻结，预测网络不断学习拟合它。对经常见到的输入，预测误差通常降低；对较少见的输入，误差往往较大。因此它提供一种与访问经验相关的新颖性信号，不需要人工定义探索目标。

问题 2：预测误差大的地方为什么未必值得去？

参考答案：误差可能来自噪声、表示泛化不足或遗忘，而非有价值的新区域。智能体也可能不断寻找变化丰富却无助于任务的观测。因此应区分“内在奖励上升”和“真正发现有用行为”。