Home / 机器人学习 / DeepMimic：让物理角色学习动作技能

028｜DeepMimic：让物理角色学习动作技能

原论文：DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills，Xue Bin Peng 等，2018。论文。

先接住前作的问题

DMP说明姿态轨迹可以写成可调整的运动生成器，但并不从姿态记录推出接触丰富动作所需的力矩和平衡反馈。DeepMimic把参考运动作为奖励与初始化依据，让物理角色学习执行；这是参考表示到动态控制的对照，不是DMP原式的直接扩展。

五个前置概念

五个前置概念：运动重定向把动作映射到另一骨架；PD 控制以位置误差和速度反馈产生驱动力；相位表示动作进度；奖励塑形增加指导学习的反馈；参考状态初始化从示范轨迹内部开始采样。

一、问题设定：只有姿态参考时怎样学会受物理约束的动作

一段后空翻动画只给出各时刻的身体姿态，不告诉机器人应该施加什么力矩。直接播放姿态可能穿地、失衡，或者在受推后完全无法恢复。DeepMimic 让物理仿真角色通过强化学习追踪参考动作，同时学习反馈控制。

场景是单智能体、仿真在线、无模型强化学习。参考数据来自运动捕捉或艺术家关键帧，经人工处理和重定向到角色骨架。没有专家电机动作标签，因此不能直接监督“状态到力矩”。

状态包括相对骨盆的位置、各身体部件姿态和速度，使用角色局部坐标。还输入相位 $\phi\in[0,1]$ ，说明当前处于参考动作哪个时刻。带任务的策略额外接收目标，例如行走方向或击打位置；地形任务还输入高度图。

动作是关节 PD 控制器的目标方向，策略频率 30 Hz，物理仿真 1.2 kHz。PD 层负责局部反馈和阻尼，学习器并不直接包办所有电机控制。表1 的人形角色有 34 自由度、197 状态特征和 36 个动作参数，动作参数数量与自由度不必相等，因为旋转表示需要不同维数。

参考动作既提供奖励模板，也提供初始化状态。这是两条独立信息通道。前者告诉策略“哪里好”，后者直接让它见到那些好状态；判断示范使用量时，两条都应算上。

二、联合模仿奖励、相位和参考状态初始化

核心不只是模仿奖励。训练还从参考动作的任意时刻初始化角色，让它尽早接触腾空、落地等关键状态；失败后尽早终止，避免大量数据都来自躺在地上的无效挣扎。PPO 学习从实际身体状态和动作相位到关节 PD 目标的策略。

1. 将运动风格与任务目标分开

总奖励为：

$r_t=\omega^I r_t^I+\omega^G r_t^G.$

$r^I$ 是模仿奖励， $r^G$ 是任务奖励。后者可以鼓励朝目标方向走、击中目标或投球。模仿奖励又由姿态、速度、末端位置和质心位置构成：

$r_t^I=0.65r_t^p+0.10r_t^v+0.15r_t^e+0.10r_t^c.$

例如姿态项：

$r_t^p=\exp\left(-2\sum_j \|\hat q_t^j\ominus q_t^j\|^2\right).$

$\hat q$ 为参考关节方向， $q$ 为模拟方向， $\ominus$ 是旋转差，范数取相应转角。指数把误差映射为正的相似度，误差小时接近一，误差大时接近零。速度项约束动态节奏，末端位置与质心项减少“局部关节看似接近但整体身体位置不对”的情况。

这不是单纯最小化整段动作的均方误差。策略最大化长期累计奖励，还必须通过物理动力学实现轨迹。力矩、接触与平衡的后果会影响后续状态与得分。

2. 相位提供时间参照，状态提供反馈

如果只有相位，控制器接近一段开环动作播放；如果只有姿态，在某些相似身体状态下可能不清楚应该接着起跳还是落地。两者结合，策略既知道参考时间进度，又根据真实状态修正。

策略是均值由网络给出、对角协方差固定的高斯分布。Actor 和价值网络分别采用 1024、512 两层隐藏单元。PPO 用 GAE 估计优势，通过概率比裁剪限制每批更新幅度；价值函数拟合多步回报。这里 PPO 是优化工具，DeepMimic 的主要设计还包括观测、动作接口和训练分布。

3. RSI 让困难动作的中段先被看见

参考状态初始化 RSI 从整段动作中采样姿态和速度作为回合起点。学后空翻时，不必先偶然完成一次完美起跳，才有机会学习空中姿态与落地。系统可以先从翻转中段开始学局部控制，再逐渐形成完整技能。

这是仿真提供的特权能力：可以把身体直接放在空中某个位置、姿态和速度。真实机器人不容易实现相同复位，因此不能将 RSI 的采样便利当作真机训练现成条件。

4. ET 改变失败后的回报与数据

提前终止 ET 在不允许的部件接触地面后结束回合，后续奖励视为零。它既惩罚失败，也减少失败状态占用采样预算。哪些部件允许接触要随技能设计；爬行和翻滚不能套用普通行走的所有规则。

5. 多技能并非只有一种拼接法

论文提出三条路线：对多个参考片段取最大模仿奖励；给策略输入指定技能的 one-hot 编码；分别训练技能，再根据其价值函数构成组合策略。第一种允许选择合适风格，第二种支持用户指定动作，第三种避免单网络同时学太多技能的干扰。这些机制不能笼统称为同一个“多任务模型”。

RSI改变的是训练起点分布，而不是把空翻所有阶段自动接起来。教学例：若每回合只能从站立开始，随机策略有1%概率到达空中阶段，学习100次落地大约需一万次尝试；可直接初始化到空中则能密集训练落地。这个假设算例解释采样优势，不是原文样本预算。

但中段会恢复，不代表完整动作能进入相同中段状态；相邻阶段误差仍需闭环协调。原文表5也并非所有技能都因RSI+ET同时提高，行走与spinkick的细小差异提醒读者：课程/终止机制的收益依赖技能，不能仅用后空翻结果证明普遍必要。原文图11、表5

用一次落地理解它

自构例子，未运行：参考空翻已到落地相位，但实际身体向左偏。开环播放仍输出参考双腿角度；DeepMimic 的策略看到真实横向偏移，可以调整腿部 PD 目标，在保留落地风格时重新获得支撑。参考给出偏好，状态反馈决定具体动作。

三、从参考中段初始化并在物理环境更新策略

参考状态初始化让落地等难阶段更早被采到，早期终止则同时改变数据与失败回报。执行仍由实际身体状态和相位驱动，不能把姿态序列直接当力矩标签。

准备参考姿态、速度、相位和角色重定向
初始化随机策略与价值函数
每轮：
    从参考动作随机选一帧及其速度作为初始状态
    在物理仿真中循环：
        输入身体状态、相位和可选任务目标
        采样 PD 关节目标，执行仿真
        计算姿态、速度、末端、质心及任务奖励
        若触发该技能的失败接触，终止并重采样
    用多步回报训练价值网络，以 GAE 和 PPO 更新策略
测试：
    明确采用参考初始化还是固定起点
    扰动后依靠状态反馈恢复，不再更新策略参数

四、把运动画面、任务回报与消融逐项对照

作者展示了后空翻、侧空翻、踢腿及多种移动技能。实验支持在物理仿真中学习复杂运动，而不是已经把这些动作迁移到了真实 Atlas。论文里的 Atlas 同样是仿真角色。

原图怎么读： 图11，原论文图注与图像。对照有无参考状态初始化RSI、提前终止ET的组合，才能分离两项训练设计。它们改变训练数据和失败反馈，不是在部署时直接播放参考轨迹。

DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills，图11：对照有无参考状态初始化RSI、提前终止ET的组合，才能分离两项训练设计。它们改变训练数据和失败反馈，不是在部署时直接播放参考轨迹。 — 实验图原图摘引：Xue Bin Peng 等，2018，HTML S10.F11，图11。原图面板重新排版，数据未改。核对原文。原版权保留。

项目	论文设置与含义
角色	Humanoid、模拟 Atlas、T-Rex、Dragon
示范	每技能约 0.5–5 秒参考动作；人类动作捕捉或人工关键帧
仿真	Bullet，物理 1.2 kHz，策略 30 Hz，稳定 PD
典型训练	人形单技能约六千万样本，八核 CPU 约两天，无 GPU
PPO	每批 4096，子批量 256，折扣与 GAE 参数均为 0.95，裁剪 0.2
指标	归一化平均回报，不是成功率，也不是主观自然度的直接测量
重复	多数技能一个训练运行；后空翻与跑步附录有三个种子
一般评估	采用 RSI 与 ET；消融评估另用固定起点并关闭 ET
鲁棒性	动作周期中点在骨盆施加持续 0.2 秒外力，逐次增加幅度

任务型训练还可能大得多：表3 的混合障碍跑步使用 4.66 亿样本，投球约 2.21 亿。因此“一段五秒示范就会后空翻”只有在说明大量仿真训练后才完整。

高度图任务先在平地学技能，再加入地形输入训练。这里的“视觉”主要是几何高度图，不能等同于直接处理真实 RGB 摄像头及感知噪声。

证据：回报相近，动作可能完全不同

原文位置	观察	支持与边界
表1、图3	多种形态和高维动作角色可训练	支持形态覆盖，不是真机迁移实验
表3	可加入方向、击打、投球与地形目标	支持模仿和任务结合，但更难任务需更多样本
图11、表5	RSI 与 ET 对高动态技能影响大	支持训练状态分布的重要性，普通走路收益很小
表6	跑步可承受 720 N、持续 0.2 秒的前向推力	支持指定时刻与方向的扰动恢复，不是任意时刻最大承载力
附录图12	多数技能仅一次训练统计	回合数多不等于独立训练种子多，稳定性证据有限

DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills，图3：读图对应本段的“多种形态和高维动作角色可训练”；支持形态覆盖，不是真机迁移实验。 — 原图摘引：Xue Bin Peng 等，2018，HTML S6.F3，图3。原面板按源顺序重新排版，数据未改。核对原文。读图对应本段的“多种形态和高维动作角色可训练”；支持形态覆盖，不是真机迁移实验。

DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills，图12：读图对应本段的“多数技能仅一次训练统计”；回合数多不等于独立训练种子多，稳定性证据有限。 — 原图摘引：Xue Bin Peng 等，2018，HTML A4.F12，图12。原面板按源顺序重新排版，数据未改。核对原文。读图对应本段的“多数技能仅一次训练统计”；回合数多不等于独立训练种子多，稳定性证据有限。

表5 中后空翻完整方法回报 0.791，仅 ET 为 0.730，仅 RSI 为 0.379。作者进一步指出，没有 RSI 的策略可能只做一个小幅后跳而没有完成整圈翻转。仅看归一化回报，两者似乎差距不大；看行为语义，却是“会不会空翻”的区别。

相反，普通走路三种配置分别为 0.980、0.981、0.974，旋转踢完整方法 0.848，仅 ET 为 0.858。这些数据不支持“两个机制在所有技能都提高分数”。更准确的结论是，它们对探索困难和失败状态多的技能尤其重要。

第 10.5 节将抗扰动部分归因于训练中的随机动作噪声，作者用了推测措辞。因为没有隔离所有因素，这仍是解释而不是已验证因果。表6 的力乘持续时间是冲量条件，不能只留下“抗 720 N”而省略施力时长。

五、相位跟踪不能替代真实身体可行性

作者承认某些地形动作仍显别扭，例如平地走路参考迁移到楼梯，可能缺少合适的参考风格。参考动作和角色形态差距越大，奖励中的目标越可能难以同时满足。月球重力实验是在新动力学下重新训练技能，不能读成地球策略零样本适应月球。

本文的分析是，相位跟踪限制了动作时间自由度，手工奖励权重也影响“像不像”与“完成任务”的取舍。ET 会抑制训练中的跌倒后恢复，如果要学起身或连续容错，需要重新定义任务与接触规则。仿真中的高分也尚未包含执行器延迟、真实足底接触和传感误差。

追问：早期终止改变后，怎样区分节省无效数据与改变优化目标？

参考答案：终止既减少倒地后的采样，也改变失败之后还能获得的回报。应在相同奖励、终止价值处理和交互预算下说明两种实现，并报告成功动作覆盖与失败恢复。若只比较训练墙钟，无法判断改进来自有效样本比例还是更强的失败惩罚；原消融结论也应按它实际采用的终止规则读取。

六、沿机制关系继续读

AMP沿物理角色模仿方向发展，但用运动片段分布奖励替代逐相位参考匹配，属于历史关联；Human2Humanoid还要处理身体重定向与真实部署，不能把本篇模拟角色成绩当真机控制证据。

七、自测三题与参考答案

问题1：只有姿态示范，为什么还需要强化学习？

答案：姿态没有告诉系统在当前偏差和接触下如何施力。物理仿真给出动作后果，长期奖励推动策略寻找既能追踪参考又可实现的反馈动作，解决从运动描述到控制行为的缺口。

问题2：RSI 会不会使测试看起来太容易？

答案：如果评估也随机从参考内部开始，它主要衡量局部保持技能的能力，确实不同于固定起点完整完成。论文一般指标与消融指标使用不同协议，因此必须说明。消融固定起点能进一步检验是否学到完整行为。

问题3：后空翻回报 0.730 为什么仍可能不会空翻？

答案：奖励是多个连续相似度的累计，小后跳可能在许多帧拿到部分分数，却错过完整旋转这一语义要求。回报并不自动等同于人类命名技能的成功判据，需要补充动作完成率或轨迹检查。