099｜WorldSample：世界模型合成经验的选择与使用

系列首页 · 上一篇 · 下一篇

原论文：WorldSample: Closed-loop Real-robot RL with World Modelling，Yuquan Xue 等，2026。论文。

先接住前作的问题

HIL-SERL用真实尝试与人类纠正进入恢复状态，但每次探索仍要支付物理执行、复位与看护成本。能否在一次真实经历之后再获得有用的训练经验？

五个前置概念

五个前置概念：

• 离策略学习：用历史经验训练当前策略，不要求数据都来自当前策略。
• 反事实动作：固定起点后，问另一个动作序列可能导致什么。
• 世界模型：预测动作后的环境变化，预测准确范围受数据限制。
• 策略熵：动作分布的分散程度，与模型知识的不确定性并不相同。
• 价值偏差：预测回报系统性偏高或偏低，会改变策略选择。

一、问题设定：怎样筛选并限制世界模型合成经验

机器人每做一次真实尝试，都要付出时间、复位和人工看护成本。如果视频世界模型能回答“刚才的动作稍微换一种，会发生什么”，一次真实经历就能生成多个学习样本。问题是：生成视频可能看起来合理，却把接触、成功条件或失败恢复预测错。把这些数据无限加入强化学习，可能把价值函数教坏。

这是带示范初始化和人工纠正的在线、模型辅助、单机器人强化学习。底层策略沿用 HIL-SERL 的 SAC/RLPD 风格 actor–critic；视频模型用于制造训练经验，不直接承担每一步真机的规划器。

附录A说明平台为六自由度 Galaxea A1X、二值夹爪和两个 D435i 相机，提供腕部与第三视角。动作是七维末端增量：位置三维、姿态三维、夹爪一维。任务包含按压、形状插入、干扰物中选取、拾放及环套柱组装。成功要求在回合时限内达成任务目标。各任务的完整奖励判别器阈值与精确终止时限没有在本文中逐项确认。

纯模仿的缺陷是只学到示范附近的成功行为；真实强化学习能产生失败与恢复经验，但采集慢；纯世界模型强化学习则容易利用模型误差。这里依赖的假设是：真实轨迹附近的小幅动作变化，比大范围开放式生成更容易被世界模型正确模拟，而且在线失败数据能够补足示范分布。

这个假设有合理性，但不自动成立。接触状态可能是非连续的：移动两毫米可能从“插入”变成“卡住”。局部动作扰动只是缩小外推距离，不是物理正确性的证书。

二、让真实校准、局部生成与策略学习异步协作

1. 三条异步数据流

真实机器人产生轨迹；策略训练器从真实、示范与合成缓存采样；视频模型流适配新轨迹并生成反事实视频。底层 actor、critic 和离策略更新机制大体保留，新增的是模型数据来源与 Policy-Paced Learning，简称 PPL。

世界模型初始化为动作条件 Cosmos-Predict2.5，先用任务示范适配，再加入在线轨迹。输入为真实图像起点和修改后的动作序列，输出为预测视频。独立奖励模型给生成轨迹标注成功或失败，critic 再参与控制样本的价值构成。生成器、奖励器与价值函数可能共享相似错误，因此三者一致仍不能替代真实验证。

2. 局部反事实扰动

附录B.2的动作扰动可以清楚写成：

$$a'_t=\Pi_{\mathcal A}(a_t\odot\xi+\epsilon_t),\qquad \xi_j\sim U(1-s,1+s),\quad \epsilon_{t,j}\sim N(0,\sigma^2).$$

$a_t$ 是真实动作，$\xi$ 是整段轨迹共用的逐维缩放，$\epsilon_t$ 是局部噪声，投影 $\Pi_{\mathcal A}$ 保证动作不越界。论文给出 $s=0.20,\sigma=0.05$，未激活动作维保持为零。保持时间结构，可以避免把连贯运动变成逐帧乱动；投影动作范围并不保证碰撞安全。

3. 不让合成数据控制全部训练

PPL 的第一部分把奖励模型判为成功与失败的轨迹分队列，利用 Q 值控制入库构成。只加入“看起来成功”的视频容易造成过度乐观；失败样本提供反证。

第二部分让策略在真实状态上的熵指导合成比例。正文以随熵降低而增加的函数说明机制；附录B.4说实际使用线性近似，并把比例上限设为0.30。因此实现教学时应保留“受限调度”这个原则，不把正文解析式当成已确认的逐行实现。

连续策略熵的数值尺度及归一化需要结合实现核实；受限调度改变的是回放来源和比例，底层仍优化最大熵回报与Bellman损失。

正文式5的成功与失败 Q 项以求和形式出现，而文字谈的是价值差异；附录描述了正负队列，但没有把完整入库规则展开到可以无歧义复现的程度。因此以下是明确标注的教学流程，不补造该阈值算法。

合成比例有上限，价值偏差也未必消失。教学设单状态、单动作持续任务，真实每步奖励1，模型错误标成2，折扣 $\gamma=0.9$；按30%合成、70%真实更新时，混合Bellman固定点满足 $Q=1.3+0.9Q$，故 $Q=13$，真实值却为10。这个简化例子不模拟论文任务，只显示固定偏差会沿备份累积。

即使策略已经完全确定，这种奖励或动力学偏差仍可存在。因此低熵只能作为调度信号，不能单独证明合成误差趋零。原文实际比例封顶0.30的线性调度是保守工程选择，表中真机成功、真实步数和墙钟时间才是三个应分别检验的结果。原文式7—9、表1与附录B.4

帮助建立理解

自构例子，未运行。 机器人把方块向孔推进失败，产生一条真实“卡住”轨迹。世界模型预测稍向左、稍向右两种局部动作。若只保留模型说“成功”的左移动，critic可能相信左侧总能插入。加入真实失败、预测失败，并限制合成比例，可降低单个错误预测的影响。但如果两种视频都把方块画成穿过实体，缓存比例再合理也无法修复模型物理错误。

三、按真实经历生成局部反事实并控制入库比例

异步生成的每条合成片段要保留起始真实轨迹、动作扰动、模型版本和奖励判定，才能追查旧模型样本何时进入当前策略的更新。

输入：20条任务示范、初始策略与critic、动作条件视频模型
以示范适配视频模型，初始化真实/示范/合成缓存
循环：
    真机执行策略；必要时由人类纠正，存入真实与纠正经验
    使用新增真实轨迹继续适配世界模型
    在真实动作片段周围生成有界反事实动作
    世界模型预测这些动作对应的视频，奖励模型标注结果
    按成功/失败及critic价值信号选择候选经验
    从真实状态估计策略不确定性，计算不超过0.30的合成比例
    从真实、示范、合成缓存组成训练批，更新actor与critic
    定期在真机上检验成功率，记录交互步数、时间与干预
输出：经真实反馈约束的操作策略

四、把成功率、接管率和训练时间一起对照

作者在五类单臂任务上报告比 HIL-SERL 更高的成功率和更少的真实训练步数。表1平均成功率从约56%到82%，是约26个百分点；这不等于提高26%的相对比例。复杂组装任务仍只有42%，说明模型辅助训练并没有解决所有接触问题。

原图怎么读： 图5，原论文图注与图像。同时比较成功率和接管率的消融，观察合成经验是否在减少人工纠正时仍保持效果。成功数增加若依赖更多接管，就不能归因为自主能力同等提高。

版本中的成本百分比与部分机制公式存在口径差异；节省量应分别按分钟、真实交互和人工接管计算，不使用一个百分比代替三者。

这里的 VLAW、WMPO 是为统一控制接口而改写的比较方案，不能直接当作原版完整系统的排名。统一20条示范也不代表所有总数据和总算力完全相同：模型预训练、在线适配及合成视频都要计算，人工干预还会提供额外专家信息。

评估的世界模型使用留出片段，是训练与测试分离的重要措施；但留出片段仍来自真实采集分布，对反事实动作特别是新接触状态的准确性证明较弱。PSNR、SSIM 与 LPIPS 检查视觉预测，不直接检查力、碰撞或成功标签真实性。

结果：证据到底有多强

证据1：表1的真机终局结果。 HIL-SERL 与 WorldSample 在插入上为63%与95%，拾放55%与84%，组装10%与42%。这些结果支持这套系统在该实验条件下有效，不能推出所有机器人或新场景均有效。组装仍有超过一半失败，是很重要的适用边界。

证据2：表1的交互与时间应分开算。 按表中四舍五入的均值，步数56K降到23K，减少约58.9%；时间83分钟降到64分钟，减少约22.9%。正文把这两个百分比对应的成本名称写反了。插入40K到10K为75%更少步数，60到30分钟才是50%更少时间；排序52K到20K约61.5%更少步数，75到50分钟才约33.3%更少时间。这里按表计算，保留原文口径疑点，不把文字误差扩大为算法无效。

证据3：表2a的预测质量。 仅示范适配的 PSNR 为10.27，在线轨迹适配为28.43，示范加在线为29.66；对应 SSIM 为0.428、0.906、0.910。支持在线数据对本分布预测很关键。双视角有最高 PSNR/SSIM，但 LPIPS 0.035略高于仅在线的0.034，不能说每个指标都最优，更不能把像素保真直接等同于可控制性。

证据4：表2b的 PPL 消融。 插入完整方法95%，去调度61%，去 Q 选择76%，去完整 PPL 86%。完整方法10K步30分钟，去完整 PPL 32K步69分钟。支持两类控制在这个任务上有用；不是对全部五任务的逐项因果证明。干预率完整24%，去完整 PPL 23%，所以“完整方法所有指标最好”也不成立。

证据5：图3与图5的学习过程。 图3比较任务曲线，图5比较消融曲线，应结合各自横轴理解何谓更快。真实步数优势与端到端训练时间优势不同，尤其视频生成开销可能使复杂任务墙钟收益变小。曲线支持训练轨迹上的观察，不能单凭形状证明价值过估计是唯一失败原因。

五、局部幻觉与错误自信仍会污染价值

作者明确把局限放在单任务、相对固定场景，实例、任务和场景泛化属于后续方向。另有两个接口风险：奖励模型误判可能把幻觉包装成正样本；局部扰动可能覆盖不到需要大幅撤回重试的恢复策略。这些是机制分析，不是论文已测得的失败率。

复现时需要确认合成数据完整入库公式、熵到比例的数值映射、奖励模型训练信息、墙钟是否覆盖全部后台计算。原文已给出的0.30上限不能代替这些细节。

追问：合成缓存越来越大时，保持固定采样比例是否就保持了相同信息质量？

参考答案：不一定。缓存可能逐渐包含过时策略或旧模型生成的转移，即使比例不变，误差和支持范围也在变化。应记录生成模型版本、起始真实轨迹与数据年龄，并比较按新鲜度筛选的效果。控制数量是一个环节，还需检查这些样本是否仍代表当前决策附近的后果。

六、沿机制关系继续读

WorldSample直接扩展HIL-SERL式真机回放训练，加入视频模型合成经验；与MBPO有模型数据混合的教学联系，但图像生成、奖励标注、采样时域与现实预算均不同。

七、自测三题与参考答案

问题1：如果只在真实轨迹附近生成视频，是否就不会出现模型利用？

答案：不会得到这种保证。附近动作也可能跨越接触边界，奖励模型还可能误判。局部生成减少外推距离，真实数据和比例限制减少错误影响，但都不是对反事实转移正确性的证明。

问题2：成功率从56%到82%，训练时间从83到64分钟，应怎样分别描述？

答案：成功率约增加26个百分点，相对提高约46.4%；训练时间减少19分钟，相对降低约22.9%。两个分母不同，不能将成功率的百分点提升写成相同比例，也不能把分钟降幅写成真机交互步数降幅。

问题3：为什么更低策略熵不一定意味着可以加入更多模型数据？

答案：策略可能非常确信一个错误动作，视频模型也可能恰好在这一区域预测错误。熵反映动作分布集中程度，不是对世界模型误差的独立测量。更强的方案应另外评估反事实转移或奖励可信度，并用真实闭环表现检验调度。