Home / 强化学习 / PETS：用模型集成表示不确定性，再进行短期规划

第 35 天｜PETS：用模型集成表示不确定性，再进行短期规划

原论文与版本：Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models，2018。原论文。

先接住前作的问题

Dyna把模型经验写进价值，而模型错误仍会反复传播。PETS沿另一条模型控制路线：用概率集成表达不确定性，在行动时展开候选序列，然后只执行首动作。

五个前置概念

认知不确定性：因数据不足而不知道。
随机不确定性：环境本身的不可预测变化。
Bootstrap集成：在不同重采样数据上训练多个模型。
MPC：规划一段只执行一步后再规划。
CEM：用精英样本迭代优化采样分布。

一、问题设定：模型不确定时，怎样用有限搜索决定下一动作

一个平均动力学预测可能隐藏完全不同的未来路径。规划不仅要问候选动作序列的平均回报，还要把数据随机性和模型知识不足传播到未来。PETS用粒子与集成近似这件事，再通过反复重规划减少一次错误长预测支配执行的时间。

要素	本文设定
研究场景	在线模型驱动连续控制，MPC执行
状态／观测	低维连续状态
动作	连续控制序列，执行首个动作
奖励或学习信号	任务奖励／成本函数
终止／边界	规划长度H不等于环境终止

二、分别建模随机性与模型分歧，再传播粒子

PETS先分别处理两种不确定性：单个概率网络的输出方差描述数据随机性，bootstrap网络之间的分歧描述模型知识不足。两者都以样本粒子传播到未来；这是一种可计算近似，不能自动当作校准的贝叶斯后验。

给定候选动作序列，多个粒子在模型中展开，平均预测奖励用于CEM筛选精英序列并更新采样分布。只执行最优序列第一步，收到新观测后重新规划，所以是MPC而非训练一个固定Actor替代搜索。

TS1每步可重抽模型，TS∞让粒子在一段预测中保持同一个模型身份。后者保留“同一种动力学偏差会连续存在”的假设，不会把不同模型的系统误差随时间任意洗掉。比较规划器时还须计入候选数、粒子数和重规划频率。

用候选序列的粒子平均回报近似规划目标

$\max_{a_{t:t+H-1}}E_{\hat p}[\sum_{k=0}^{H-1}r(s_{t+k},a_{t+k})].$ 概率集成对状态差分预测均值和方差；样本有限时，集成分歧只是启发式不确定性估计。

从期望目标走到可算的分数： $H$ 是本次规划步数， $\hat p$ 是学得的转移分布，优化变量是一整段未来动作。给定同一候选序列，让 $P$ 个状态粒子分别在集成模型中前进，使用 $\hat J=\frac1P\sum_{p=1}^P\sum_{k=0}^{H-1}r(s_{t+k}^{(p)},a_{t+k})$ 近似上式期望。CEM保留高 $\hat J$ 的候选，再用它们更新动作采样分布，逐轮把搜索集中到较好区域；这不保证找到全局最优。执行首动作后用真实新状态重算，可缩短一次模型误差连续支配执行的时间，但不能消除模型偏差。见原文§3、§5及Algorithm 1。

增加粒子只减少哪一类误差

在同一学得模型和动作序列下，更多粒子可降低回报积分的Monte Carlo噪声，却不会自动修正所有模型共同的动力学偏差。候选数增加主要扩展动作搜索，和粒子数也不是同一预算。

比较保持模型身份与逐步换模型的两步分布

以下是可手算的教学构造，不是论文实验。

两个动力学模型预测同一动作每步位移分别1和2。两步TS∞产生位移2或4；每步独立换模型则还会产生3。两者单步均值相同，两步分布却不同。

若障碍恰在3附近，这种传播选择可能改变规划动作。把全部预测先平均成1.5再推进，只得到3，更丢掉了多模态结构。

三、用CEM筛选动作序列并只执行第一步

用初始随机经验训练多个bootstrap概率模型
每个真实环境步：
  初始化动作序列分布
  重复CEM迭代：
    采样候选动作序列
    经模型集成传播多条状态粒子
    估计每序列平均回报
    用高回报精英序列拟合新分布
  执行选定序列的第一个动作
  新转移加入真实数据，按计划重训模型
输出：滚动规划控制器

实现要点：规划计算昂贵，不确定性仍可能失准。

四、读轨迹采样配置与迄今最佳回报

实验要素	原文设定与证据范围
环境与任务	经典与机器人连续控制基准
数据来源与规模	少量真实交互拟合模型
对比基线	不同确定／概率、单模型／集成与传播方法
训练预算与资源	真实交互与每步候选／粒子数分别计量；完整数值本文未完整核实
指标及其含义	回报、所需真实样本
随机性与不确定性	图3为10次实验的迄今最佳回报均值，不是当前策略均值
实际验证的假设	同时表示两种不确定性是否提高规划可靠性

实验解读（本文分析）：§5.1明确使用5个模型、20个粒子，并讨论TS1/TS∞差别。图3展示10次实验的“迄今最大回报”均值，不是每次当前策略回报的无筛选平均；这个统计会掩盖回退。样本少是主要优势，不能从环境时间直接推出规划延迟也低。

迄今最大回报会隐藏当前性能回退

原引用定位：原文。

PETS与模型式和无模型基线在四项控制任务中的历史最高回报 — 原论文图形摘引；Chua等，2018，Figure 3；原HTML图形。核对原文。原版权保留。

四个面板分别是Cartpole、7-DOF Pusher、7-DOF Reacher和Half-cheetah；横轴都是已收集的真实时间步，纵轴是任务奖励，越高越好，即使刻度为负也如此。蓝色方块PE-TS1是图中PETS配置，黑色不同线型是无模型方法收敛后的参照水平，不是同样少量样本下的完整学习曲线。结合“历史最佳再跨实验平均”的统计口径，图主要支持所测任务的样本效率比较，不能据此推断每一步实际控制都稳定。

图1将成员分歧与成员内概率方差分开，再用粒子传播到MPC候选计划，说明概率集成如何影响决策，但没有自动给出校准证书。图3画十次实验中“截至当前最大回报”的平均，而不是当前检查点的平均回报；其样本效率结论要保留这个选择口径。图4再比较模型类型与传播策略，支持两者的作用，却不能从环境步少推出每次实时规划延迟低。查看原文。

原论文Figure 1：从左到右读概率动力学集成、粒子传播和MPC规划。成员间分歧与单成员概率方差是两类不确定性，不能把所有分散都当成同一种模型误差。 — 完整原图摘引｜Chua等，2018，Figure 1；1805.12114v2，HTML S1.F1。核对原文与图号。原版权保留。原引用定位：原文。

读图提示：从左到右读概率动力学集成、粒子传播和MPC规划。成员间分歧与单成员概率方差是两类不确定性，不能把所有分散都当成同一种模型误差。

原论文Figure 4：四个任务面板比较模型类别与传播方法的最终回报。模型和传播是两项选择，比较时先固定其中一项，避免将组合差异归因给单一模块。 — 完整原图摘引｜Chua等，2018，Figure 4；1805.12114v2，HTML S7.F4。核对原文与图号。原版权保留。原引用定位：原文。

读图提示：四个任务面板比较模型类别与传播方法的最终回报。模型和传播是两项选择，比较时先固定其中一项，避免将组合差异归因给单一模块。

五、省环境样本不代表规划延迟低

所有模型可能在同一分布外区域共同出错，此时分歧很小仍不可靠。概率集成与轨迹采样的高样本效率还需支付规划成本；已知奖励函数的规划权限，也应与只收到稀疏奖励的基线分开。

六、继续追问：模型身份、粒子数与校准

1. 模型分歧如何校准到真实误差？

用独立真实转移检验预测区间覆盖、误差对分歧的单调关系，并按离训练分布的距离和 rollout 长度分组。集成成员共享结构与数据时可能一致地犯错，低分歧不保证低误差；概率输出的偶然不确定性也应与成员间分歧分开。可在新状态区域补采后检查校准是否改善，再把分歧用于规划风险权重。

2. 规划预算增加是否会更容易利用模型漏洞？

可能。更广泛候选搜索会更容易找到模型的乐观漏洞，尤其长时滚动误差累积时，模型预测回报上升而真实回报下降。应固定真实数据比较不同规划预算，同时测候选计划的模型-真实回报差；可采用短视滚动、惩罚已验证的不确定性、限制离数据分布距离。更多优化仅保证更充分优化当前模型，不保证更好控制。

3. 每秒控制频率下实际可承受多少粒子？

没有跨硬件通用的粒子数。控制周期为 $1/f$ 秒，需扣除传感、通信和安全控制开销，再测候选数×粒子数×时域×模型集成查询在目标硬件上的尾延迟。并行批处理可提速但有显存和启动开销，应以99分位或硬截止时间而非平均延迟约束。报告超时回退和最坏情形，才能判断规划是否满足实际实时控制。

七、从行动时搜索转向生成训练经验

后续模型模块组合：MBPO。概率集成可以改为生成短训练轨迹，执行时由Actor直接行动，模型用途与成本分布随之改变。
模型利用对照：Dyna。Dyna积累模拟更新，PETS行动时搜索；比较时需分别计入训练与执行计算。
原论文与图表入口。§5.1轨迹采样、算法概要、图3统计口径。

自测两题

第一题考查核心机制，第二题考查边界与辨析。建议先自行作答，再对照参考答案。以下数值小例子均为教学构造。

问题 1：模型内部预测方差与模型之间的分歧有什么区别？

参考答案：前者主要表示环境结果本身的随机性，后者主要反映有限数据导致的模型不确定性。PETS 用概率模型集成与粒子传播，把这些不确定性带入候选动作序列的评价，而不是只沿一条平均预测规划。

问题 2：模型集成为什么仍可能自信地犯错？

参考答案：所有模型可能使用相同数据和相近结构，在分布外区域形成相同错误，因而分歧很小。集成分歧不是绝对可靠的误差检测器。还需要真实反馈、覆盖检查以及独立的控制表现评价。