机器人学习发展时间线：从示范运动到通用动作模型
机器人学习并非一条不断用大模型替换小模型的直线。运动基元解决行为怎样表示，逆强化学习研究目标怎样获得，深度强化学习探索怎样改进动作，世界模型学习怎样预测后果，VLA 则把语言、视觉与控制连接起来。它们面对的瓶颈不同，也经常组合在同一系统中。
一、先看一张技术地图
这张图是问题分解，不是互斥分类。一个扩散策略可以通过示范训练，也可以通过强化学习微调；VLA 可以输出离散动作 token，也可以连接连续动作专家；世界模型既可以在线规划，也可以生成策略训练数据。
连线怎样读：年份顺序之外的四种关系
以下不是“后一篇证明前一篇过时”，而是说明读者应带着哪个未解问题继续读。方向始终从前作指向后作；平行方法用对照线，不冒充直接传承。
| 连接 | 关系类型 | 沿着哪一个瓶颈继续 |
|---|---|---|
| DMP → PoWER | 模块组合 | 保留结构化运动，用回报优化其参数；不是重新学习机械动力学 |
| DAgger ↔ DART | 平行方法 | 都补恢复覆盖，一个查询学习者到达状态，一个扰动专家采集 |
| PETS ↔ Dreamer | 平行方法 | 模型分别在部署规划与策略训练中承担主要计算 |
| Diffusion Policy → DP3 | 直接继承 | 保留动作扩散，重做空间观察表示 |
| MimicGen → DexMimicGen | 直接继承 | 单条对象中心序列扩为双手同步、并行与先后事件 |
| Open X → Octo / OpenVLA | 数据模块组合 | 共享部分数据来源，各自筛选、加权并定义动作接口 |
| OpenVLA → OFT | 直接继承 | 预训练权重可保留，微调输出不必继续逐维自回归 |
| SERL → HIL-SERL → WorldSample | 直接继承（系统扩展） | 先工程化真机RL，再利用人类纠正，最后约束合成经验占比 |
例如只按年代读到DP3，会看到“又一个三维模型”；先带着Diffusion Policy的观察瓶颈去读，才会问表示保留了什么几何、深度漏测怎样进入控制。沿MimicGen读到DexMimicGen，则应从“一个对象变换是否有效”进一步问“双手共同变换和同步为何缺一不可”。对应原文可核对DP3方法、DexMimicGen §IV及OFT §IV-B。
教学联系比上述关系更弱：两篇都使用“多模态”“世界模型”或“专家”一词，并不自动构成历史继承。各篇开头的短路线负责提出前后问题，具体关系与证据在正文展开。
二、2002—2013：先找到适合机器人的学习对象
| 阶段 | 代表论文 | 原来的瓶颈 | 关键改变 |
|---|---|---|---|
| 2002 | DMP | 回放轨迹难以适应速度、目标和扰动 | 用带吸引子结构的微分方程表示运动 |
| 2004—2008 | 学徒学习、最大熵逆强化学习 | 能演示行为，却难写出奖励权重 | 从特征统计或轨迹概率推断目标 |
| 2008—2010 | PoWER、PI² | 真机试错昂贵，逐时刻随机动作低效 | 在结构化运动参数上探索与重加权 |
| 2011 | DAgger | 训练看专家状态，执行进入自身错误状态 | 在学习者访问状态上请求专家纠正 |
| 2011 | PILCO | 少量交互不足以训练高维价值网络 | 用高斯过程传播模型不确定性 |
| 2013 | ProMP、GPS | 单条动作难组合，局部优化难变成快速策略 | 轨迹分布与引导式策略搜索 |
这个阶段的核心不是增加参数，而是选对学习空间。学习几十个运动参数，与从像素直接输出每个关节动作，面临的探索与稳定性问题完全不同。结构化先验降低学习难度，同时也规定了能够表达哪些行为。
三、2015—2018：视觉控制与深度强化学习结合
视觉运动策略展示了局部控制优化与视觉策略学习的连接。DDPG、SAC和TD3提供连续动作优化工具，但它们在物理机器人上的适用性，还取决于重置、奖励、动作限制和交互预算。
抓取提供了较清晰的成败信号，使手眼协调、Dex-Net 2.0和QT-Opt能够分别研究大规模真实尝试、合成几何标签和闭环 Q 学习。三者获得数据的方式不同，不能把性能差异全归给神经网络结构。
HER改变训练目标标签以复用失败经验；DAPG借助示范缩小探索范围；DART通过带噪示范覆盖恢复行为。它们共同说明：有用数据不只来自“更多成功样本”，还来自正确安排失败、偏差和纠正。
四、2016—2021：仿真为什么能够帮助真机，又为什么会失效
| 路线 | 代表论文 | 转移的主要对象 | 关键边界 |
|---|---|---|---|
| 视觉变化 | 域随机化 | 图像表征与定位 | 外观随机化不等于动力学覆盖 |
| 动力学变化 | 动力学随机化 | 控制策略 | 随机化范围必须包含有意义的真实变化 |
| 灵巧操作 | 灵巧手、机械手魔方 | 接触密集的手内控制 | 传感、物体跟踪与动作协议仍是系统条件 |
| 执行器建模 | ANYmal | 学习策略与真实电机响应 | 延迟和驱动器误差会改变闭环行为 |
| 快速适应 | RMA | 根据近期历史调整控制 | 适应潜变量不能自动识别所有未知因素 |
仿真迁移有两个不同问题：训练分布是否覆盖真实变化，以及执行时能否识别当前处于哪种变化。随机化主要扩展前者，在线适应主要处理后者。它们都不能替代对真实失败模式的观测。
五、2019—2022：从单任务成绩走向数据、模型和评价协议
Meta-World、RLBench与CALVIN将多任务、视觉操作和语言长任务的评价明确化。robomimic强调示范来源、数据质量、时序建模与观察方式本身就是研究变量。
离线强化学习中的CQL与IQL处理固定数据外的价值外推；AWAC研究如何从离线数据起步后继续在线改进。使用已有数据可以减少新交互，但无法让完全缺失的接触经验凭空出现。
模型路线则从PETS的概率动力学规划，走到Dreamer的潜在想象、TD-MPC的规划与长期价值结合，再到DayDreamer的真实机器人学习。应分别问清：模型预测什么、策略怎样用它、误差在多长时间内累积。
六、2021—2024：动作开始拥有生成模型与语言条件
Transporter和CLIPort利用空间结构；PerAct把语言目标与三维动作定位结合。SayCan则把语言模型的任务相关性与技能可执行性结合，语言计划不再仅靠文字上合理。
在动作表示上，IBC用能量表达多峰行为，Diffuser生成完整轨迹，Diffusion Policy生成短动作序列，ACT通过动作分块减少逐步预测误差。它们对执行频率与反馈时机作出了不同选择。
PaLM-E、RT-1与RT-2的联系，也需要拆开看：把感知输入语言模型、在机器人数据上学习动作序列、把视觉语言预训练知识转移到动作输出，是三个相关但不同的问题。
七、2023—2025：扩大的是机器人数据，也包括动作接口
Open X、BridgeData V2和DROID拓展跨场景与跨本体数据。数据量之外，还要关注操作员、相机、动作归一化和采样频率。不同机器人都叫“移动 1 个单位”，并不代表同样的物理动作。
Octo、OpenVLA、π0和GR00T N1代表不同通用策略设计。FAST关注动作序列的压缩表示；OpenVLA-OFT关注动作头、微调和速度；SmolVLA把模型规模与异步执行一起讨论。机器人基础模型的能力要通过闭环任务检验，语言能力或离线预测损失不能替代真实完成率。
数据扩展还可以来自MimicGen和DexMimicGen的示范重组，而HIL-SERL与VLA-RL重新强调交互反馈。示范学习和强化学习在这一阶段更像前后相接的训练环节，而非只能二选一的路线。
八、2026：实时、推理与模型使用方式成为新的研究对象
| 论文 | 研究切入点 | 阅读时要区分的问题 |
|---|---|---|
| Xiaomi-Robotics-0 | VLA 的实时执行 | 模型推理速度与整体闭环延迟 |
| MBDPO | 世界模型中的扩散策略优化 | 搜索分布、策略分布与价值估计是否一致 |
| 连续推理 | 连续潜在思想与分块动作接口 | 教师解码检验的可复用性、闭环任务成功与表示边界 |
| WorldSample | 用合成经验辅助真机 RL | 减少真机步数与减少总训练成本 |
| CoRE-VLA | 条件专家路由 | 增大容量与实际激活计算的关系 |
近期论文提供具体方法和实验样例，不代表机器人通用性、实时性或可靠性问题已经解决。完整书目和各项实验条件见对应精读。
九、贯穿阅读的五个问题
- 学习对象是什么？ 是动力学、奖励、价值、动作分布，还是数据表示？
- 信息从哪里来？ 示范、真实交互、仿真、视频和语言标签各承担什么角色？
- 动作何时执行？ 一步闭环、动作分块、滚动规划与异步推理如何安排？
- 错误怎样传播？ 观察误差、价值高估、模型偏差和动作延迟分别进入哪里？
- 泛化改变了什么？ 新物体、新布局、新任务、新本体与新动力学不能混称一个指标。
五个阅读问题的参考示例：以Diffusion Policy为例
- 学习对象： 学的是观测条件下的未来动作序列分布。去噪网络不是机器人动力学，也不预测动作后的状态转移；可回到动作扩散机制对照输入与输出。
- 信息来源： 训练监督来自示范中的观察和动作，扩散噪声是算法人为加入的训练变量，不是新增的环境交互。闭环评估回合也不能倒算成训练奖励。
- 执行时序： 观察历史长度、预测动作块长度与实际执行长度分别决定记忆、联合生成范围和多久重新反馈。应沿ACT的时间集成与SmolVLA的异步队列比较不同的过期动作处理办法。
- 错误传播： 观测偏差先影响整段动作采样；执行越久才重看一次，外部扰动越可能让后半段动作过时。参考检验是固定模型只改变执行块长，并记录受扰后的恢复时间与任务成功率。
- 泛化变量： 新摆放、新物体和新机器人必须分别留出；在同一机械臂上换积木位置，不等于跨本体泛化。应列出训练与测试各自变化的对象、场景、任务和控制接口，再解释成功率。
这是一篇论文的具体作答方式。换到HER时，学习信号和目标重标记会改变；换到PETS时，模型预测与在线搜索成为主要对象，不能套用同一答案。
建议先沿 DMP → DAgger → PILCO → 视觉运动策略 → DDPG／SAC → HER → QT-Opt → RMA → robomimic → Diffusion Policy／ACT → RT-1／RT-2 → Open X → OpenVLA／π0 → 实时与世界模型专题推进，再回到各专题补齐理论与实验背景。