Home / 机器人学习 / TD-MPC：让短规划连接长期价值

049｜TD-MPC：让短规划连接长期价值

原论文：Temporal Difference Learning for Model Predictive Control，Nicklas Hansen、Xiaolong Wang、Hao Su，2022。论文。

先接住前作的问题

Dreamer在潜在想象中训练策略，部署通常直接执行策略。TD-MPC保留在线动作搜索，让短模型预测与末端价值分工；未解问题是哪些任务信息足以支撑规划，而不必重建完整像素。

五个前置概念

五个前置概念：MPC每次规划只执行第一步；TD学习用一步奖励和下一状态价值构造目标；潜在动力学在压缩表示中预测状态变化；目标网络缓慢更新以稳定监督；动作重复使一次策略决策对应多个环境推进步。

一、问题设定：怎样让短时模型规划连接长期价值

学一个能预测未来的模型，未必需要让它画出未来每个像素。对控制来说，更重要的问题是：执行这个动作会不会接近目标，接下来还有多少收益？

传统 MPC 每次向前搜索有限步。规划太短，可能只看到眼前利益；规划太长，需要评估更多动作组合，模型误差也会累积。另一方面，直接用策略网络输出动作很快，却可能不如在线搜索精细。

TD-MPC 的对象是在线、无示范、单智能体连续动作 RL。它既有环境模型，也有 actor–critic 成分，不能只贴上“基于模型”而忽略价值学习。数据来自策略与环境的新交互，并被回放重复使用。

低维实验输入模拟器提供的状态，视觉实验输入连续三帧图像；多模态实验结合本体感知与第一视角图像。动作与奖励随基准任务变化，包括关节控制和机械臂操作。DMControl看回合回报，Meta-World看任务成功率；两种指标不能互换。实验涉及模拟中的回合截断，并不为机器人跌倒或碰撞给出统一的真实安全定义。

两个假设尤其关键。第一，存在足够紧凑的任务相关表示，可以保留预测收益所需的信息。第二，有限数据得到的价值函数足以为短期规划补充远期影响。奖励错误、隐藏状态严重或稀疏反馈极少时，这些假设都可能失效。

二、联合训练任务潜模型、奖励和末端Q

TD-MPC 把短期模型规划与长期价值估计接在一起。模型在潜在空间中预测未来几步，规划器搜索动作序列；搜索范围之外的结果交给 TD 学习得到的价值函数。学习信号同时来自奖励、价值误差和潜在状态的一致性，不要求重建完整图像。

论文在连续控制模拟任务上支持这种组合的有效性，尤其是复杂动力学与高维动作任务。它没有证明学到的模型比真实物理更准确，也没有展示真实机器人部署。准确理解“学会哪些信息才够用”，比把它当成另一种更复杂的 SAC 更有收获。

1. 五个组件

编码器 $h$ 把观测变成潜在状态 $z$ ；动力学 $d$ 预测执行动作后的潜在状态； $R$ 预测一步奖励； $Q$ 估计长期回报；策略 $\pi$ 快速提出候选动作。它们合称 TOLD 模型。

真正执行时使用的控制器是规划过程 $\Pi$ ，不是单独的策略网络 $\pi$ 。策略有两项辅助职责：为规划提供不错的候选序列，以及为 TD 目标近似求最大价值动作。

原始版本采用确定性潜在动力学；它不是 PETS 那样显式维护模型集成的不确定性，也不是 Dreamer 的随机循环状态模型。视觉输入会使用编码器，但无需训练图像解码器。

2. 用长期价值封住短规划的末端

给一条动作序列评分：

$G=\sum_{i=0}^{H-1}\gamma^iR(z_i,a_i) +\gamma^H Q(z_H,a_H),\qquad z_{i+1}=d(z_i,a_i).$

$H$ 是显式向前模拟的长度。前一项算眼前奖励，后一项估计剩下的全部收益。最后使用的是动作价值，因此还需要末端动作 $a_H$ ；不能随手删掉它而保持符号不变。

规划器反复采样序列，选高分候选，用收益的指数权重更新高斯分布的均值和方差。它结合精英筛选与 MPPI 风格加权，不只是“取一个最高分动作”。上一时刻的均值向前平移作为热启动，同时保留较大的初始方差。每次只执行第一个动作，下一步读取新观测后重算。

3. 不重建图像，如何训练动力学

从回放取连续片段，只编码第一帧，然后按数据动作连续展开预测。教学形式为：

$L=\sum_i\lambda^i\left[ c_r(\hat r_i-r_i)^2+ c_q(Q(z_i,a_i)-y_i)^2+ c_z\|d(z_i,a_i)-\operatorname{sg}(h_{\bar\theta}(o_{i+1}))\|^2 \right].$

$\lambda$ 给远处训练误差较低权重， $\bar\theta$ 是慢更新目标参数， $\operatorname{sg}$ 表示停止梯度。价值目标采用真实奖励加折扣后的目标价值；策略通过最大化 $Q(z,\pi(z))$ 更新，更新策略时不把梯度继续用于改变表示和价值网络。

这里需要注意原文的两个描述层次：式9以预测潜在下一状态表述 TD 目标，附录F的实现伪代码则把真实下一观测传入计算 TD 目标的函数。理解算法思想时，两者都强调用真实转移的奖励监督价值；复现时必须固定具体代码版本和目标分支，不能把两种写法混为一份逐行实现。本文伪代码保留独立目标分支，不擅自补全这一差异。

一致性项提供额外约束，奖励与价值项阻止表示仅仅追求“所有状态都一样”。这种组合并没有一个自动保证不坍塌、全局最优或任意任务充分性的定理。它的有效性主要由实验支撑。

数学优化的是预测误差、TD误差与策略价值；机制创新是让这些信号共同塑造用于规划的表示；实验改善的是控制表现。三者之间没有“损失下降必然回报上升”的等价关系。

短规划末端价值的误差会被 $\gamma^H$ 缩放。若末端Q误差有界于 $\epsilon_Q$ 、前H步奖励模型每步误差有界于 $\epsilon_r$ ，取折扣 $0\le\gamma<1$ 、暂不计状态分布误差时，评分误差不超过 $\epsilon_r(1-\gamma^H)/(1-\gamma)+\gamma^H\epsilon_Q$ 。这里 $H$ 是规划长度，这个教学界只隔离两项误差，不是论文完整保证。

它解释为何加长规划既可能减少末端价值依赖，又可能增加模型误差。奖励稀疏时，表示只拟合即时奖励还可能把关键但尚未获奖状态混在一起，潜在一致性与TD监督提供额外区分。原文消融检验的是这些信号的组合效果，而非“不重建图像必然更好”。原文式8—10及一致性消融

一个例子和五个概念

自构例子，未运行。 机械臂需要先绕过障碍再碰目标。短视规划发现向障碍直接伸手能立即缩短距离，于是反复选择坏动作。若末端价值能识别“绕到旁边后更容易成功”，短期动作即使暂时远离目标也可能获得更高总评分。反过来，若价值头错把障碍后方判得极高，规划也会更执着地犯错。

进一步可检验三件事：固定推理时间比较候选数量和规划长度；保持模型误差相近而改变奖励监督；在同一环境改换依赖不同视觉细节的任务，测量表示究竟遗漏了什么。

三、短时搜索潜在轨迹并用终端Q补足未来

潜模型、奖励与价值共同决定候选序列评分，策略先验帮助搜索但不取代它。每次只执行当前动作并重规划，部署成本因此仍含在线搜索。

初始化编码器、潜在动力学、奖励头、双价值头、策略与目标网络
循环与环境交互：
    编码当前观测
    用上一时刻平移后的均值初始化动作分布
    重复若干轮规划：
        从高斯分布采样候选序列，并加入策略生成的序列
        在潜在模型中展开，计算短期奖励加末端价值
        对精英序列作指数加权，更新均值和方差
    执行第一个动作，将真实转移加入回放
    采样连续训练片段：
        从首帧编码开始，按记录动作递归预测潜在状态
        用真实奖励监督奖励头
        用目标网络构造停止梯度的 TD 与潜在一致性目标
        累积多步损失，反向传播穿过动力学展开
        单独更新策略以提高其动作价值
        慢更新目标网络
输出：可在线规划的模型与快速候选策略

四、核对规划预算与真实模型对照的含义

原图怎么读： 图6，原论文图注与图像。左右分别改变规划时域与优化迭代数，另一个参数保持默认。它展示固定已训练模型的推理预算折中，区别于重新训练更大模型。

原文标注 CC BY 4.0。本页摘图仅保留图形区域并作栅格化；有面板重排的图另行注明，作者与原文入口见各图注。

Temporal Difference Learning for Model Predictive Control，图6：左右分别改变规划时域与优化迭代数，另一个参数保持默认。它展示固定已训练模型的推理预算折中，区别于重新训练更大模型。 — 实验图原图摘引：Nicklas Hansen、Xiaolong Wang、Hao Su，2022，HTML S5.F6，图6。核对原文。原版权保留。

式9与附录目标计算分支如何对应到实现，仍需在选定代码版本中核验；本篇不据符号相近认定所有目标分支共享相同梯度路径。

项目	设置及解读
任务范围	92个任务设置，来自DMControl及Meta-World v2，含状态、视觉、多模态与多任务实验
数据	在线环境交互，无机器人示范预训练；视觉使用随机平移增强
默认规划	$H=5$ ；512条候选，另加约5%策略候选；精英64条
规划轮数	一般6轮，Dog及像素配置8轮、Humanoid12轮，详见附录表4
训练	优先回放；默认每决策步一次梯度更新；初始随机收集5000步；不同任务批量和学习率有差异
状态基线	SAC、LOOP、真实模拟器MPC及模型结构消融
视觉基线	DrQ系列、Dreamer系列、PlaNet、CURL及离散动作搜索方法
重复与误差	多数曲线5次运行、95%置信区间；100k视觉表格10次、标准差
输入预算口径	环境步是模拟推进步；决策步受action repeat影响，二者须区分
实时计算	附录H在RTX3090测得默认规划约20毫秒/步；未包含完整真机传感与通信链路

论文为了公平调整部分 SAC、LOOP 超参数，但三者初始随机数据量、模型结构、回放规则和规划开销仍不同。主曲线以交互步数比较，不是严格固定 GPU 时间的比较。

真实模拟器 MPC 使用长度10、200条候选和4轮搜索，而且没有学习得到的末端价值；TD-MPC使用不同候选数量、轮数和价值补偿。因此前者败北不能说明真实动力学不如学习模型，可能说明有限搜索和缺乏长远价值更限制控制。

视觉表1部分数值引自其他论文。EfficientZero把动作离散化，并在评测前额外做2万次梯度更新。这些注释对理解排名很重要：同为10万环境步，并不意味着所有资源相同。

五处关键证据

图1、图3：复杂状态控制。 作者在Humanoid、Dog及其他连续任务中比较学习曲线，观察到部分复杂任务优势明显。它支持该模型与规划组合能处理高维连续动作；不能据此断言所有38维控制问题都简单，任务仍有特定奖励与动力学。

Temporal Difference Learning for Model Predictive Control，图1：复杂状态控制。作者在Humanoid、Dog及其他连续任务中比较学习曲线，观察到部分复杂任务优势明显。它支持该模型与规划组合能处理高维连续动作；不能据此断言所有38维控制问题都简单，任务仍有特定奖励与动力学。 — 原图摘引：Nicklas Hansen、Xiaolong Wang、Hao Su，2022，HTML S1.F1，图1。原面板按源顺序重新排版，数据未改。核对原文。复杂状态控制。作者在Humanoid、Dog及其他连续任务中比较学习曲线，观察到部分复杂任务优势明显。它支持该模型与规划组合能处理高维连续动作；不能据此断言所有38维控制问题都简单，任务仍有特定奖励与动力学。

Temporal Difference Learning for Model Predictive Control，图3：复杂状态控制。作者在Humanoid、Dog及其他连续任务中比较学习曲线，观察到部分复杂任务优势明显。它支持该模型与规划组合能处理高维连续动作；不能据此断言所有38维控制问题都简单，任务仍有特定奖励与动力学。 — 原图摘引：Nicklas Hansen、Xiaolong Wang、Hao Su，2022，HTML S4.F3，图3。核对原文。复杂状态控制。作者在Humanoid、Dog及其他连续任务中比较学习曲线，观察到部分复杂任务优势明显。它支持该模型与规划组合能处理高维连续动作；不能据此断言所有38维控制问题都简单，任务仍有特定奖励与动力学。

表1：低数据视觉实验有明确反例。 10万环境步下，Finger Spin回报TD-MPC为943±59，DrQ为901±104；但Cheetah Run为222±88，低于DrQ的344±67。差值是122回报单位，不能叫122个百分点成功率。Walker Walk的577±208也低于DrQ的612±164。作者使用“有竞争力”比“全面领先”更准确。

图6、附录C和H：推理计算能换表现，但不是无限增益。 完整训练后改变规划长度或迭代轮数，复杂任务更能受益；简单任务变化较小。默认约20毫秒，而快速策略明显更快。该消融检验固定模型的推理预算，不等于训练更久必然更好。

图10、附录D：一致性约束的价值。 无正则、状态重建、对比式约束与潜在一致性有不同结果；后者整体更稳定。消融支持所测试实现中该训练项有帮助，不证明像素重建在所有数据规模或世界模型任务上都多余。

Temporal Difference Learning for Model Predictive Control，图10：一致性约束的价值。无正则、状态重建、对比式约束与潜在一致性有不同结果；后者整体更稳定。消融支持所测试实现中该训练项有帮助，不证明像素重建在所有数据规模或世界模型任务上都多余。 — 原图摘引：Nicklas Hansen、Xiaolong Wang、Hao Su，2022，HTML A0.F10，图10。核对原文。一致性约束的价值。无正则、状态重建、对比式约束与潜在一致性有不同结果；后者整体更稳定。消融支持所测试实现中该训练项有帮助，不证明像素重建在所有数据规模或世界模型任务上都多余。

图7、附录A：转移不是零样本。 Walk训练后的模型在Run任务中继续在线微调。冻结编码器仍可较快适应，进一步冻结动力学则收敛变慢。这支持表示与动力学可迁移程度不同；不能把结果写成无需新交互就学会跑步。

Temporal Difference Learning for Model Predictive Control，图7：转移不是零样本。 Walk训练后的模型在Run任务中继续在线微调。冻结编码器仍可较快适应，进一步冻结动力学则收敛变慢。这支持表示与动力学可迁移程度不同；不能把结果写成无需新交互就学会跑步。 — 原图摘引：Nicklas Hansen、Xiaolong Wang、Hao Su，2022，HTML A0.F7，图7。核对原文。转移不是零样本。 Walk训练后的模型在Run任务中继续在线微调。冻结编码器仍可较快适应，进一步冻结动力学则收敛变慢。这支持表示与动力学可迁移程度不同；不能把结果写成无需新交互就学会跑步。

另一个失败边界来自§5：Finger Turn Hard中的样本效率低于SAC和LOOP。规划随机性与方差下限并没有解决所有探索问题。

原机制图表补充定位：图2。

Temporal Difference Learning for Model Predictive Control，图2：首帧经在线编码器得到潜状态，再由动力学模型逐步预测后续潜状态及价值、奖励、动作；灰色目标编码器提供训练目标。要区分训练时的目标表征与执行时模型展开的输入。 — 原图摘引：Nicklas Hansen、Xiaolong Wang、Hao Su，2022，HTML S4.F2，首帧经在线编码器得到潜状态，再由动力学模型逐步预测后续潜状态及价值、奖励、动作；灰色目标编码器提供训练目标。要区分训练时的目标表征与执行时模型展开的输入。核对原文。首帧经在线编码器得到潜状态，再由动力学模型逐步预测后续潜状态及价值、奖励、动作；灰色目标编码器提供训练目标。要区分训练时的目标表征与执行时模型展开的输入。

五、任务导向表示未必支持新奖励

代价是任务相关压缩会丢弃一些当前奖励不需要、未来新任务却需要的信息。比如搬杯子时杯身文字可能无关，但按标签分类时它突然重要。文中相关行走任务的微调结果不能覆盖这种奖励语义大幅变化。

确定性模型与有限观测也限制了对多模态未来、隐藏接触状态的表达。高价值错误还可能被规划器主动利用：搜索越积极，越容易找到模型过度乐观的区域。因此更多推理算力的收益以模型可靠性为前提。

追问：奖励定义改变后，为什么不能只替换规划器中的一个函数？

参考答案：潜在表示原先受奖励与价值目标塑造，可能丢掉旧任务无关但新奖励需要的信息。仅替换外部评分不保证潜状态还能预测这些因素。应先冻结模型检查新奖励所需信息可否由表示恢复，再比较重新训练或适配后的控制表现；不重建像素的效率来自任务选择，也因此带来迁移边界。

六、沿机制关系继续读

与Dreamer是平行潜在模型路线：本篇保持在线规划、用奖励价值塑造表示；TD-MPC2直接承接并针对多任务、尺度和训练稳定性改进。

七、自测三题与参考答案

问题1：既然有策略网络，为什么执行时还规划？

策略是在给定模型与价值下学到的快速近似，容量、优化和数据都会限制它。规划可利用当前观测重新搜索候选，并借策略缩小搜索难度。若时延要求更紧，也可只用策略，但原论文显示复杂任务可能损失回报。

问题2：不重建像素是否等于模型只预测奖励？

不是。还有潜在状态转移、一致性监督和长期价值学习。去掉图像重建，是改变模型保留信息的标准；它仍需表达足以区分未来动作后果的状态，否则奖励和价值预测也会失败。

问题3：学习模型击败真实模拟器MPC，是否证明模型比物理更准确？

不能。被比较的是完整决策系统。真实模拟器基线没有末端价值，且候选数量和迭代预算不同。准确的局部预测配上短视搜索可能输给不完美模型加长期价值；要比较动力学精度，应另设相同输入动作的预测误差实验。