Home / 机器人学习 / MBDPO：世界模型中的扩散策略优化

097｜MBDPO：世界模型中的扩散策略优化

原论文：Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization，Xiaoyuan Cheng、Wenxuan Yuan 等，2026。论文。

先接住前作的问题

TD-MPC2用潜模型和末端价值在线搜索，搜索策略却可能利用价值学习未充分覆盖的动作。MBDPO在模型中构造带行为支持约束的扩散目标，再摊销到策略，研究价值估计与实际选动作分布的关系。

五个前置概念

五个前置概念：

潜在世界模型：在压缩状态中学习转移与奖励。
行为分布：数据中动作在给定状态下的出现方式。
KL正则：惩罚新策略相对参考分布的变化。
分数函数：概率密度对输入的对数梯度。
摊销优化：把昂贵优化结果训练进网络，降低部署计算。

一、问题设定：模型内搜索怎样避免追逐支持外高估

世界模型能预测未来，不代表搜索一定找到真实好动作。假设价值函数主要熟悉回放数据中的行为，规划器却专门寻找其预测最高的动作，那么搜索可能不断找到估计错误的高峰。MBDPO 研究这种搜索策略与价值学习之间的不一致。

模型包含状态编码器 $z=E(s)$ 、潜在转移 $z'=F(z,a)$ 、奖励预测 $R(z,a)$ 、价值函数 $Q(z,a)$ ，并在多任务条件下使用任务嵌入。策略优化动作序列，以滚动时域方式执行。

论文把 $\beta$ 用作非搜索基准或回放行为分布，把 $\pi$ 用作搜索/改进策略。这里需要区分三件事：数据由谁收集、TD目标中的下一动作由谁产生、部署实际执行谁的动作。TD-MPC类方法可能用规划器收集数据，同时在价值自举中使用策略先验，因此不能把它笼统说成“所有数据都由无搜索策略采集”。

离线训练固定数据，在线训练持续加入新转移，离线到在线从预训练权重开始适配。三者共享模型与策略更新结构，但分布风险不同：离线无法用新经验纠正所有外推错误，在线则需要在改善与探索之间协调。

原文式4用KL距离上界描述不同策略对应Bellman算子的差异。这是上界，不是误差一定增大的下界。较大KL使保证变弱，却不能单凭该式证明搜索必然有害，更不能证明任何MPPI方法都不属于有效控制优化。

二、以模型回报和行为约束塑造扩散分数

它不在每次部署时运行昂贵的候选轨迹搜索，而是在训练中用世界模型评价候选动作序列，根据回报与行为约束估计扩散分数场，再把这个场学习成网络。部署时通过该网络逐步去噪生成动作，从而将搜索结果摊销进策略。

论文在在线、离线预训练和离线到在线适配三种设置中报告收益，但验证全部在仿真。理论针对模型内、受正则的目标分布；不能直接理解成真实机器人回报必然单调改善。（§3—4、§6）

1. 带行为先验的理想目标

固定潜在起点，设 $G(A)$ 为动作序列 $A$ 在模型内的累计预测奖励加末端价值。考虑

$\max_\pi\;\mathbb E_{\pi}[G(A)] -\lambda D_{\mathrm{KL}}(\pi(A\mid z)\|\beta(A\mid z)).$

若行为密度已知、回报固定且可精确求解，最优分布具有

$\pi^*(A\mid z)\propto\beta(A\mid z)\exp(G(A)/\lambda).$

它既偏好高回报，又保留数据先验。温度小会集中到高回报区域，正则过强则接近行为克隆。这个公式描述模型内的分布优化，不意味着真实动力学相同，也不意味着有限步扩散精确采样。

2. 用能量函数近似行为支持

因为行为密度未知，作者训练能量函数：真实状态—动作配对为正例，批内其他状态的动作为负例。低能量表示动作与当前状态更匹配。累计回报减去能量惩罚，使策略较少进入没有支持的动作区域。（式9）

这里有一个重要假设：作者把批内负动作近似为动作空间均匀样本，进而把负能量解释成行为对数密度。一般对比学习更自然恢复的是相对负采样分布的密度比。机器人数据中的动作常高度非均匀，因此这个近似是否合理，需要用真实负样本分布验证。

此外，能量可能只确定到依赖状态的常数。不同动作导致不同未来状态时，这个“常数”在轨迹比较中未必抵消。附录C.4用短时域下状态变化较小来近似它，这不是无条件的严格等价。

3. 从候选动作得到分数场

对一个带噪序列 $A^\tau$ ，采样多个相容的干净动作候选 $A_i$ ，在模型内滚动，得到能量正则后的回报 $\tilde G_i$ 。令

$w_i=\frac{\exp(\tilde G_i/\kappa)} {\sum_j\exp(\tilde G_j/\kappa)}.$

扩散分数估计由当前带噪动作和加权候选均值构成：

$\phi^\tau\approx-\frac{A^\tau}{1-\bar\alpha_\tau} +\frac{\sqrt{\bar\alpha_\tau}}{1-\bar\alpha_\tau} \sum_i w_i A_i.$

$\bar\alpha_\tau$ 描述该噪声级别的信号保留量。直觉是把动作分布朝模型认为更好的候选移动，而不是只重建数据动作。

最后用平方损失训练分数网络 $\hat\phi$ 逼近该估计。昂贵的候选滚动主要发生在训练；部署只用已学网络去噪。这个区别解释了为什么方法既与搜索相关，又不必承担相同的在线规划成本。（式15—16）

4. 理论与实用近似之间

精确分数场与理想目标采样的联系是理论核心，实际算法还有有限候选、能量拟合、模型误差、价值误差与有限去噪步。原文温度 $\kappa$ 与能量系数 $\eta$ 分开设置时， $\exp((G-\eta E)/\kappa)$ 对应的行为先验幂次一般为 $\eta/\kappa$ ，并非总是式13里的一次幂。读者复现时应按实际目标理解正则强度。

因此本文不会把“严格留在信任域内”“完全消除不一致”当作实际神经网络系统已获得的保证。合理结论是用结构和正则减轻问题，并用实验评估效果。

有限候选为何重要，可以看极端情况。教学设只采一个候选，归一化权重必为1，无论它的模型回报多高多低，式15中的加权候选项都不再受回报影响。多候选才提供相对优劣信息，但若一个权重接近1，其余近0，有效比较仍可能退化成单样本。

有限样本的“分子除以分母”一般有偏，增加样本是在改善估计，不会同时消除世界模型和价值函数的系统误差。原文将候选滚动放在分数网络训练中，因此部署便宜应与训练计算分开记账；这不是用零搜索成本获得了原本所有规划信息。原文式15—16与实践算法

教学例子与前置概念

以下是未运行的例子。数据多为缓慢推块，世界模型却误以为高速穿过物体能获得高奖励。无约束搜索可能选这条“捷径”；能量惩罚会降低这类少见动作的权重，使策略优先尝试有数据支持的推动。

如果任务确实需要高速击打，过强能量又会阻止正确动作。最好的策略不是永远保守，而是在模型和新数据支持增加后适度放宽约束。这说明正则系数本质上影响探索与利用的边界。

三、在模型中估计受约束分数场并摊销进策略

候选动作先由模型回报与行为支持共同评价，再用这些权重学习去噪方向。部署生成降低逐次搜索成本，却不能纠正训练评分器中的全部错误。

初始化回放数据或随机探索数据
重复：
    抽取真实转移，更新编码器、动力学、奖励与价值
    用真实配对和批内负动作训练能量函数
    采样潜在起点、噪声层与带噪动作序列
    生成多个干净候选，在世界模型中计算正则回报
    以回报softmax权重计算分数目标
    回归训练分数网络
    若为在线模式：
        用分数网络去噪生成动作，执行并加入回放
部署：
    编码当前观测，迭代去噪
    执行动作序列前段，再观测

四、同时比较候选样本、训练时间与回报

原图怎么读： 图9，原论文图注与图像。左侧改变蒙特卡洛样本数后的训练时间，右侧比较奖励随训练推进的变化。更多候选是否值得，需要把回报改善与计算开销一起读。

原文标注 CC BY 4.0。本页摘图仅保留图形区域并作栅格化；有面板重排的图另行注明，作者与原文入口见各图注。

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization，图9：左侧改变蒙特卡洛样本数后的训练时间，右侧比较奖励随训练推进的变化。更多候选是否值得，需要把回报改善与计算开销一起读。 — 实验图原图摘引：Xiaoyuan Cheng、Wenxuan Yuan 等，2026，HTML S4.F9，图9。核对原文。原版权保留。

方向	设置	指标/预算	验证目标
在线从头学习	DMControl、MetaWorld、ManiSkill2、MyoSuite	环境回报或成功率曲线	在线样本效率
视觉控制	10个图像控制任务	图5为每任务5种子	是否不限于低维状态
离线规模	30/80任务数据，1.7M至340M模型	归一化分数	模型容量收益
离线到在线	70任务预训练、10个未见任务适配	每任务40k交互	迁移与快速适应
正则消融	80任务、21M模型	改变能量系数	约束强度的作用
采样消融	候选数与去噪步数	图9、图10为3种子	精度与计算折中

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization，图5：读图对应本段的“10个图像控制任务”；图5为每任务5种子。 — 原图摘引：Xiaoyuan Cheng、Wenxuan Yuan 等，2026，HTML S4.F5，图5。核对原文。读图对应本段的“10个图像控制任务”；图5为每任务5种子。

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization，图10：读图对应本段的“候选数与去噪步数”；图9、图10为3种子。 — 原图摘引：Xiaoyuan Cheng、Wenxuan Yuan 等，2026，HTML S4.F10，图10。核对原文。读图对应本段的“候选数与去噪步数”；图9、图10为3种子。

附录D默认时域3、候选512、去噪5—20步、五个Q网络，并保留TD-MPC风格的表示与训练组件。这是短时域潜在控制研究，不能从名称推断其世界模型已具备长视频生成或语言推理能力。

表1在线计时在A800，离线计时在H200，硬件不同，不能直接横比绝对小时。离线表采用相同1000万训练步比较任务数，更多任务未必代表每个任务被同样充分训练。本文未逐项核对离线数据规模、所有任务训练终点和全部种子来源，不能把摘要的121任务与任一计时子表视为完全相同集合。

五组证据：哪些说法需要降一档

图3——漂移与交叉TD误差。 作者报告相对基线更低、更稳定的误差和动作漂移，支持正则化机制。但这些代理指标不是对真实 $Q^\beta$ 误差的直接测量，更不是证明估计偏差为零。

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization，图3：图3——漂移与交叉TD误差。作者报告相对基线更低、更稳定的误差和动作漂移，支持正则化机制。但这些代理指标不是对真实 $Q^\beta$误差的直接测量，更不是证明估计偏差为零。 — 原图摘引：Xiaoyuan Cheng、Wenxuan Yuan 等，2026，HTML S3.F3，图3。核对原文。图3——漂移与交叉TD误差。作者报告相对基线更低、更稳定的误差和动作漂移，支持正则化机制。但这些代理指标不是对真实 $Q^\beta$ 误差的直接测量，更不是证明估计偏差为零。

图4、图5——控制成绩。 多任务汇总与视觉控制显示较强表现，支持算法具有广泛仿真适用性。单任务曲线仍需看失败项，整体平均不能证明每个环境获胜，也不能替代真实机器人实验。

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization，图4：图4、图5——控制成绩。多任务汇总与视觉控制显示较强表现，支持算法具有广泛仿真适用性。单任务曲线仍需看失败项，整体平均不能证明每个环境获胜，也不能替代真实机器人实验。 — 原图摘引：Xiaoyuan Cheng、Wenxuan Yuan 等，2026，HTML S4.F4，图4。核对原文。图4、图5——控制成绩。多任务汇总与视觉控制显示较强表现，支持算法具有广泛仿真适用性。单任务曲线仍需看失败项，整体平均不能证明每个环境获胜，也不能替代真实机器人实验。

图6——规模趋势存在例外。 图6右侧30任务设置中，54M到340M时MBDPO由82.4升至83.7，TD-MPC2由59.4升至71.4；但原文§4文字却称两者在340M时下降。这里存在原文图表与文字的冲突，不能据该图断言最大模型退化，也不替作者解释差异原因。

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization，图6：右侧30任务图中，54M至340M的MBDPO分数为82.4至83.7，TD-MPC2为59.4至71.4；它与原文§4的下降描述存在冲突，不能把这张图解读成规模退化。 — 原图摘引：Xiaoyuan Cheng、Wenxuan Yuan 等，2026，HTML S4.F6，图6。核对原文。右侧30任务图中，54M至340M的MBDPO分数为82.4至83.7，TD-MPC2为59.4至71.4；它与原文§4的下降描述存在冲突，不能把这张图解读成规模退化。

图7、图8——迁移和能量强度。 预训练帮助少交互适配，但Hopper Hop表现不佳；潜在嵌入偏移是解释线索，不能仅靠图像判定唯一原因。能量系数为0时仍有75.29对基线57.1的优势，说明收益不全来自行为约束；过大系数则压制改善，体现保守性与优化的取舍。

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization，图7：图7、图8——迁移和能量强度。预训练帮助少交互适配，但Hopper Hop表现不佳；潜在嵌入偏移是解释线索，不能仅靠图像判定唯一原因。能量系数为0时仍有75.29对基线57.1的优势，说明收益不全来自行为约束；过大系数则压制改善，体现保守性与优化的取舍。 — 原图摘引：Xiaoyuan Cheng、Wenxuan Yuan 等，2026，HTML S4.F7，图7。核对原文。图7、图8——迁移和能量强度。预训练帮助少交互适配，但Hopper Hop表现不佳；潜在嵌入偏移是解释线索，不能仅靠图像判定唯一原因。能量系数为0时仍有75.29对基线57.1的优势，说明收益不全来自行为约束；过大系数则压制改善，体现保守性与优化的取舍。

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization，图8：图7、图8——迁移和能量强度。预训练帮助少交互适配，但Hopper Hop表现不佳；潜在嵌入偏移是解释线索，不能仅靠图像判定唯一原因。能量系数为0时仍有75.29对基线57.1的优势，说明收益不全来自行为约束；过大系数则压制改善，体现保守性与优化的取舍。 — 原图摘引：Xiaoyuan Cheng、Wenxuan Yuan 等，2026，HTML S4.F8，图8。核对原文。图7、图8——迁移和能量强度。预训练帮助少交互适配，但Hopper Hop表现不佳；潜在嵌入偏移是解释线索，不能仅靠图像判定唯一原因。能量系数为0时仍有75.29对基线57.1的优势，说明收益不全来自行为约束；过大系数则压制改善，体现保守性与优化的取舍。

表1与图11——效率与表示。 视觉任务每步时间3.55降至3.04毫秒，是该硬件和流程下的计时结果。二维潜在轨迹更平滑或呈闭环，可能与周期任务结构一致，但降维图不能证明学到了因果动力学，也不能据此宣称基线轨迹物理上无意义。

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization，图11：表1与图11——效率与表示。视觉任务每步时间3.55降至3.04毫秒，是该硬件和流程下的计时结果。二维潜在轨迹更平滑或呈闭环，可能与周期任务结构一致，但降维图不能证明学到了因果动力学，也不能据此宣称基线轨迹物理上无意义。 — 原图摘引：Xiaoyuan Cheng、Wenxuan Yuan 等，2026，HTML S5.F11，图11。核对原文。表1与图11——效率与表示。视觉任务每步时间3.55降至3.04毫秒，是该硬件和流程下的计时结果。二维潜在轨迹更平滑或呈闭环，可能与周期任务结构一致，但降维图不能证明学到了因果动力学，也不能据此宣称基线轨迹物理上无意义。

五、行为保守性不能修复所有模型误差

不过，靠近数据并不保证数据充分覆盖目标；偏离数据也不总是坏事，在线学习可能正需要探索。能量约束若学错，会排斥新技能或把常见但无效的动作保留下来。模型对数据内接触仍可能预测不准，行为正则不能修复全部动力学误差。

作者明确将真机部署和更大规模留作后续。对机器人学习而言，这篇更适合当作“如何审查世界模型策略优化”的方法论文，而非现成工业操作方案。理论、代理指标、仿真回报和真机可靠性之间仍有多个证据台阶。

追问：增加候选数量后模型内回报上升但真实回报下降，说明什么？

参考答案：这与搜索更容易发现估计漏洞相容，但也可能混入采样方差或执行差异，不能直接锁定单一原因。应在固定模型上记录候选支持距离、价值预测与真实执行差，并比较约束强度。更多搜索只提高在当前评分器中找高分的能力，不自动提高评分真实性。

六、沿机制关系继续读

MBDPO承接TD-MPC2相关潜模型与价值学习，改用摊销扩散策略；与DPPO是平行优化，模型内候选回报加权并不等同于真实环境去噪路径PPO。

七、自测三题与参考答案

问题1：世界模型预测更准确，为什么策略仍可能很差？

答案： 策略还依赖奖励、末端价值、搜索分布与目标设定。即便动力学不错，错误价值峰也会吸引搜索；模型在平均数据上的误差低，也不代表在搜索挑选的动作上可靠。应联合测量候选分布上的模型误差与真实回报。

问题2：能量函数从批内负例学到的就是行为密度吗？

答案： 一般更接近正配对相对负采样分布的密度比。只有负动作近似均匀等额外条件成立时，才可近似行为对数密度。机器人动作偏置明显时，这个假设可能不成立，需检查负样本分布或做校正。

问题3：模型内最优的扩散分布能保证真实机器人单调改善吗？

答案： 不能。真实模型误差、价值误差、能量近似和有限步采样都可能破坏理想条件；正则只降低某些风险。必须在真实环境或可信独立仿真中评估回报，并把理论条件与实现误差分开。