067｜Extreme Parkour：复杂地形中的运动课程

系列首页 · 上一篇 · 下一篇

原论文：Extreme Parkour with Legged Robots，Xuxin Cheng、Kexin Shi、Ananye Agarwal、Deepak Pathak，2023，本文对应 arXiv v1。论文。

先接住前作的问题

RMA处理脚下物理变化，但盲适应本身不能告诉四足怎样朝窄平台起跳。Extreme Parkour沿适应控制与教师学生路线加入地形视觉和方向蒸馏，追问机载感知怎样及时决定落脚及航向；并非原样运行RMA。

五个前置概念

五个前置概念：

1. 本体感觉：关节、机身姿态和速度等机器人自身状态信息。
2. 外感知：深度或视觉提供的外部环境信息。
3. 特权学习：训练使用部署不可得信息帮助学习。
4. DAgger：在学生访问状态上收集教师监督，缓解行为分布偏移。
5. 课程学习：按学习进展逐渐提高任务难度。

一、问题设定：窄平台前怎样同时选方向与落脚动作

四足机器人能在平地跑，并不意味着它会在窄平台边缘找准起跳姿态。跑酷要求视觉和动作紧密耦合：方向偏几度，前脚就可能落不到平台上。

普通行走任务经常给机器人一个期望速度和转向命令。跑酷时，正确方向与地形几何有关：跳缝隙需要近似垂直对准边缘，斜坡之间可能要求迅速调整航向。把方向交给人的摇杆，并不总能提供精确及时的命令。

论文属于仿真训练、真实部署的无模型强化学习与模仿蒸馏组合。教师拥有仿真地形采样点、环境信息和路点方向；学生使用前向深度图像及本体感觉。动作输出关节角命令，机器人仍依赖底层关节控制。

奖励衡量朝目标方向的运动、落脚位置以及运动风格，还保留正则项。任务不是单纯最大化移动速度：贴着边缘省力的动作可能在仿真中成功，却因现实误差摔落。

训练时路点、地形边缘和环境参数是有意提供的特权信息。部署时不再直接读取它们，不意味着训练过程没有人工结构。课程设置、奖励与机器人动力学模型都参与定义了学习问题。

二、用方向奖励和双重蒸馏训练视觉学生

Extreme Parkour 把问题拆成两步。先在仿真里用精确地形信息和路线方向训练运动策略，再把这些能力蒸馏给只依赖机载深度与本体感觉的学生。学生不仅学习怎样动腿，还要从地形判断应该朝哪走。

实验证据支持了真实 A1 机器人上的跳跃、斜坡和特定姿态能力。关键贡献不是给每个障碍写一套动作序列，而是奖励、课程与方向蒸馏共同塑造的闭环行为。

世界坐标中的前进奖励

设下一个路点为 $p$，机器人位置为 $x$，目标方向为：

$$\hat d=\frac{p-x}{\|p-x\|}.$$

原文式 2 的运动奖励为：

$$r_{\rm tracking} =\min(\langle v,\hat d\rangle,v_{\rm cmd}).$$

$v$ 是世界坐标中的平面速度，$v_{\rm cmd}$ 是期望速度。内积只奖励朝目标方向的速度分量，超过目标速度后不继续增加该项奖励。

这与“身体朝前就给分”不同。机器人转了身体朝向，不能仅靠在自己的坐标里前进来获得相同收益。公式的作用是对齐运动目标；它本身不保证不绕路、不碰撞或完成整条路线。

边缘落脚与姿态目标

教学形式的边缘惩罚可以写成：

$$r_{\rm edge} =-\sum_{i\in\{\text{四只脚}\}} c_i\,\mathbf 1\{p_i\text{靠近地形边缘}\}.$$

$c_i$ 表示脚是否接触地面，$p_i$ 是脚位置。这一项不直接提高仿真最快成绩，而是让落点留出容错距离。它把真实部署中的几何误差转化为训练偏好。

风格奖励则用机身方向与期望方向的内积来表达姿态，例如倒立。它指定姿态目标，没有给出每一条腿的参考运动。因此具体协调动作需要通过学习获得，但“没有逐帧示范”不等于“没有行为先验”。

既蒸馏地形，也蒸馏方向

第一阶段在逐渐变难的地形上训练教师，并学习从历史估计环境属性。第二阶段把地形采样输入替换为深度编码与循环网络。学生自己执行动作，教师为学生访问到的状态提供监督，这与只在教师成功轨迹上拟合不同。

方向预测刚开始很差。如果直接把错误方向输入运动策略，学生会进入教师训练分布之外。论文因此在训练中混合预测方向和真实方向：预测足够接近时才采用预测，否则仍使用教师方向。

用教学目标概括为：

$$L_{\rm distill} =\mathbb E\big[\|a^S-a^T\|^2 +\lambda_\theta\|\theta^S-\theta^T\|^2\big].$$

这是解释动作与方向监督的简化表达，具体损失权重未在本文重构。$a^S,a^T$ 是学生和教师动作，$\theta$ 是航向目标。方向监督帮助把“怎么走”和“往哪走”连接起来，而不让初期方向噪声毁掉整个动作学习。

边缘惩罚可以看成给感知与落脚误差留余量。教学设定：脚中心距台阶边缘 $m$，横向总误差界为 $\epsilon$，脚接触半宽为 $r$，要保证整块足底不越界至少需 $m>r+\epsilon$。真实误差没有已知硬界时，这只是一条设计直觉；论文惩罚并未给出该安全保证。

它解释了为什么模拟最快路线未必最适合真机。原文去掉边缘惩罚会更靠边落脚并更易失稳；视觉学生还要同时估计地形和航向，任何一个出错都能改变落脚分布。教师状态上低动作误差不能代替学生自执行中的通过率。原文NoClear消融与蒸馏设计

自构例子与前置概念

以下例子未运行。想象缝隙边缘位置误差服从厘米级偏移。策略 A 每次把脚放在名义边缘内一厘米，策略 B 放在边缘内六厘米。无误差仿真中 A 可能跳得更远，但位置偏差向外时 A 更容易踩空。

如果只优化最远跳跃，A 可能胜出；如果优化现实成功率，B 可能更好。这不是证明某个具体间距最佳，而是说明奖励需要表达对误差的敏感性。理想实验应扫描边缘惩罚权重，并分别报告跳跃距离和失败概率。

三、先训练特权越障教师，再蒸馏地形和方向

教师知道精确地形和路线，学生只能使用机载深度与本体感觉；蒸馏必须把航向选择也传过去。深度10 Hz和控制50 Hz意味着多次关节更新共享同一帧地形。

第一阶段：
    生成含路点与边缘信息的仿真地形
    给教师本体感觉、地形采样、方向与速度命令
    用前进、落脚和姿态等奖励训练策略
    根据通过距离调整地形难度
第二阶段：
    学生读取深度历史与本体感觉
    预测地形表征、方向并产生关节命令
    预测方向误差过大时，训练输入回退到真实方向
    学生执行；教师在当前状态给出动作监督
    更新视觉与学生模块
部署：
    深度模块较慢更新，本体运动策略较快更新
    不读取仿真路点和地形采样点

四、把仿真进度与真实边缘落脚分开判断

原图怎么读： 图7，原论文图注与图像。每种地形只做五次试验，比较完整系统、人工方向输入和去掉边缘惩罚的版本。一次成败会明显改变百分比，不能据此给出高精度可靠性估计。

同一网络框架能够覆盖多种动作，与所有视频都由完全相同观察接口的同一检查点产生，是两个不同强度的命题。原文对倒立不使用外感知的说明应保留。

模拟地图噪声基线不是所有显式建图系统的代表。它比较的是指定噪声模型与训练流程，不足以推出端到端方法在所有机器人和场景上优于建图规划。

五处证据与解释

结果定位见原文 v1 方法与实验。

图4 与图5：具体运动能力。 论文展示约 0.5 米高台和 0.8 米缝隙。身体尺寸的倍率比较便于直观理解，但不同机器人关节长度、质量和驱动能力不同，不能把比例直接当作严格算法排行榜。

表2：边缘惩罚的取舍。 不使用边缘惩罚的变体，其归一化进度可略高，而边缘接触更多。完整方法在总进度上不是所有行的绝对第一。这正好说明优化目标不应只选仿真通过距离；减少脆弱落脚可以服务真实迁移。

表3：方向蒸馏。 完整方法的进度指标接近真实方向输入的 oracle，而直接使用未经稳定的预测方向或屏蔽方向表现较弱。它支持训练中控制方向误差传播的重要性；oracle 仍使用额外信息，不是可部署基线。

图7：真实验证。 每个条件五次意味着成功率以 20 个百分点为一个回合单位。它能展示大幅差异，但不足以精确估计小幅优势。论文中的成功示例与这些重复测试应分开阅读。

§4.1：部署延迟。 作者通过固定处理延迟减少时序抖动，说明真实控制质量不仅由网络精度决定。主动等待在这里用于保持一致的延迟模型；不能据此得出任何系统越慢越稳定。

表2 的表头使用位移名称，而图注还说明了归一化路点进度口径。本文将这些数值称为原表的归一化进度指标，不换算为米；未经原始记录核对，也不把其中的 ± 解释成训练种子置信区间。

五、深度频率和教师权限限制视觉闭环

论文值得保留的思想是：教师可以用便宜而精确的仿真信息学动作，学生再学习从现实传感器恢复决策所需信息；但必须同时处理学生会访问的新状态。

边缘奖励体现了另一种经验：训练目标应考虑现实误差容忍度，而不只是名义模型中的最优路径。方向蒸馏则让视觉直接参与短时运动决策，减少人工航向命令的滞后。

限制也清楚。特权教师未必能在所有环境找到好策略；深度视野无法覆盖身后或被遮挡的地形；新的摩擦、结构变形和执行器特性可能超出训练范围。本文将这些作为分析边界，不声称论文已经测遍全部故障情况。

追问：同样的落脚误差，为什么发生在平台中央与边缘应分开统计？

参考答案：边缘附近的容错空间更小，相同厘米误差可能从无害变成跌落。应按距边缘的余量分层记录落脚、身体姿态和成功率，再比较边缘惩罚或方向蒸馏。只报全程平均位置误差会掩盖关键时刻，仿真进度略降也不必等于真实可执行性下降。

六、沿机制关系继续读

本篇承接RMA相关适应和教师学生路线，组合地形视觉蒸馏与航向预测；与DeepMimic是平行技能生成，统一任务奖励并不等于逐帧参考动作模仿。

七、自测三题与参考答案

问题1：为什么教师能越障，学生仍可能在蒸馏时失败？

答案：学生的视觉误差和方向误差会改变动作，让它访问教师示范之外的状态。单纯回放教师数据无法纠正这些状态上的决策；让学生执行并查询教师能够缓解，但教师本身也必须能合理处理这些状态。

问题2：边缘惩罚让仿真进度略降，是否说明它没用？

答案：不一定。目标可能是降低对位置误差的敏感性。应在真实系统或有现实误差的模拟中检查成功率，同时报告代价；仅用无误差仿真最大距离会忽略鲁棒性收益。

问题3：基础策略 50 Hz、深度 10 Hz，是否意味着每次关节命令都看到了新地形？

答案：不是。多个运动更新共享同一较旧的视觉表征，依靠更快的本体反馈保持控制。推断鲁棒性时必须考虑视觉延迟、缓存和循环记忆，而不能把最快模块频率当成完整感知闭环频率。