005｜PI²：从轨迹代价到策略参数更新

系列首页 · 上一篇 · 下一篇

原论文：A Generalized Path Integral Control Approach to Reinforcement Learning，Theodorou、Buchli、Schaal，JMLR 2010。原文。

先接住前作的问题

PoWER已经说明整段动作的探索可以按表现加权，但其典型回报权重不能直接当成任意成本的指数权重。PI²从随机最优控制进入同一类运动参数搜索，问题是成本、噪声与控制结构怎样共同决定更新。

五个前置概念

五个前置概念是随机最优控制、代价到达函数、softmax 权重、投影和运动基元。前两者定义优化问题，权重把轨迹质量转成贡献，投影连接参数与动作，运动基元提供低维搜索结构。

一、问题设定：无法对物理轨迹求导时怎样使用成本

机器人动作优化经常面临这样的条件：能运行一段轨迹并得到代价，却无法对碰撞、摩擦和整段物理过程直接求导。PI² 将低代价轨迹转化为较大概率权重，用这些权重平均探索扰动，从而调整参数化策略。

设总成本包括状态成本 $q$、控制成本和终端成本 $\phi$。状态成本表达“当前位置好不好”，控制成本限制动作强度，终端成本表达“结束时有没有达到任务要求”。这些项的权重仍由任务设计决定。

因此，论文讨论的“少调学习率”不能扩展成“不需要任何设计”。若奖励只鼓励机器人鼻尖越过沟壑，它可能采取对继续行走不利的姿态；还需要姿态和运动成本约束，才能让指标对应真实任务。

二、把剩余成本转成投影扰动的概率权重

这不是凭空发明一个 softmax。论文从具有特定结构的随机最优控制推导路径积分，再得到适用于运动基元的参数更新。原文 §2–3、表 2 理论推导的系统条件与工程算法的简洁形式，需要一起理解。

1. 每个时间点都评价剩余轨迹

对第 $k$ 条轨迹、时间 $i$，计算余下成本 $S_{i,k}$。不是所有时刻都用同一个终局标量：后续成本让早期动作看到长远影响，也避免把过去已经发生的成本错分给后来动作。

2. 把成本变成概率权重

$$P_{i,k}= \frac{\exp(-S_{i,k}/\lambda)} {\sum_j\exp(-S_{i,j}/\lambda)}.$$

成本越低，权重越大；$\lambda$ 控制挑选好轨迹的激进程度。很小的温度接近只相信少数最优样本，很大的温度使平均更接近原探索分布。实际算法对采样成本进行平移缩放，降低数值范围影响。

3. 用投影扰动更新参数

$$\Delta\theta_i=\sum_kP_{i,k}M_{i,k}\epsilon_{i,k}.$$

$M$ 表达当前基函数与控制代价度量下的投影关系，不应把完整算法误写成任意参数扰动直接平均。随后按时间剩余长度与基函数激活程度合并各时刻更新，得到单个参数向量。

优化目标是轨迹成本，机制是指数权重和投影扰动平均，实验指标则可能是达到目标的误差或跳跃距离。这几个层次必须分开。

指数权重背后的条件，不是一个可以随意省掉的常数

路径积分线性化要求控制成本矩阵与噪声协方差满足特定耦合，原文讨论为 $\Sigma_\epsilon=\lambda R^{-1}$，其中 $R$ 是正定控制成本矩阵、$\Sigma_\epsilon$ 是对应控制通道噪声协方差、$\lambda>0$ 是耦合尺度。因此“更便宜的控制方向允许更多探索”是推导结构的一部分；若随意独立调整两者，得到的加权优化器或许仍能工作，却不能直接继承同一个最优控制解释。原文 §6.1

教学例：取 $R=\operatorname{diag}(1,4)$、$\lambda=1$，则所需协方差为 $\operatorname{diag}(1,1/4)$。第二维的噪声标准差是第一维的一半，而不是四分之一。这个单位检查避免把方差当标准差，也解释了投影矩阵为什么需要控制代价度量。高自由度实验的收益同时依赖这种结构化探索与运动表示，不能仅归因于softmax挑选“最幸运”的轨迹。

一个算得出来的例子

教学构造：两条探索轨迹的后续成本为 2 和 4，设 $\lambda=1$，它们的概率约为 0.881 与 0.119。若投影扰动分别为 $+0.1$ 与 $-0.1$，这一时间点的更新约为 $0.0762$，朝低成本轨迹的方向移动。

把两条成本都加 100，不改变精确归一化后的概率，因为分子分母同时乘上 $e^{-100}$。但直接在浮点数里计算可能下溢，所以应先减去共同的最小值再指数化。

把两条成本都乘 100、温度却保持不变，会极大增强选择性；这与平移不同。该例说明奖励／代价的数值操作不是一概无关，必须看它如何进入指数与温度。

三、从剩余成本计算每个时刻的参数改变量

指数权重只解决怎样比较已采到的轨迹，参数更新还要投影每一时刻的扰动并跨时间合并。成本平移的手算也提示实现应先处理指数运算的数值范围。

输入：初始参数 theta、探索协方差、成本函数、基函数
循环：
    产生 K 条带参数扰动的完整轨迹
    对每条轨迹从后往前计算剩余成本
    对每个时间点：
        将成本平移并按温度缩放
        softmax 得到跨轨迹权重 P
        根据基函数与控制度量计算投影 M
        汇总 P * M * 探索扰动
    按基函数激活及剩余时域汇总时间更新
    theta = theta + 汇总更新
    另外执行平均策略，检查无探索成本
输出：优化后的运动参数

若所有轨迹成本相同，最大最小成本归一化的分母会变为零，实现必须处理这个边界。等权扰动的平均并不一定严格为零，有限样本仍有随机漂移；不应把没有信息的 batch 当作可靠改进方向。

四、对照成本曲线与经由点的实际路径

原图怎么读： 图3，PDF第27页。左列比较不同自由度下的学习曲线，右列画末端路径和经由点G。成本降低与实际路径通过G必须一起看，不能把机器人臂的示意轨迹当成真机数据。

四足例子使用 12 个自由度，每自由度 50 个基函数。每次运行共 100 条试验、10 次运行汇总；原文描述跳跃前进距离约增加 15 厘米。特别要保留“模拟器”这一条件：图中展示真实机器人外形，不意味着该论文实验在真实机器上完成。

原文也明确成本各组成部分经过设计与平衡。故其证据更准确地支持“给定策略表示与成本后，优化器较易使用”，而不是“自动理解任务且无需人工调节”。计算资源、每次物理重置等不适用于这个纯模拟实验的现实成本推断。

五、局部采样仍受动作族和成本约束

两者都以带噪轨迹为基础，把表现好的探索方向保留下来，但权重构造不同。PoWER 的典型推导直接使用满足要求的回报权重，PI² 则由成本指数化获得非负归一化权重。后者允许把一般实值成本通过相对指数权重进入更新，但不是所有原始随机控制假设都因此消失。

它们也都从结构化运动附近搜索。若必须先明显降低短期表现才能进入更好的动作族，局部采样可能始终找不到合适路径。扩大探索会增加发现机会，也会增加失败与高方差。

理论上的路径积分与有限样本优化还应区分。精确分布积分有其数学条件，少数轨迹的近似更新只是一种估计。一次 batch 成本下降并不能保证下一次真实执行也更好，特别是在接触噪声大或初始状态变化明显时。

追问：只降低指数温度，能否保证更快找到低成本动作？

参考答案：温度降低会让权重集中于当前采到的低成本轨迹，却不会生成原采样分布没有覆盖的动作。若最好样本只是噪声幸运，集中权重还可能放大偶然性。应固定采样预算，分别改变探索尺度与温度，并独立评估更新后的平均策略。这个设计区分发现好方向和选择已见方向，不应把两者当作同一收益。

六、沿机制关系继续读

与PoWER是平行方法关系；两者可以优化类似DMP参数，但PI²的噪声—控制成本关系来自不同推导。阅读时把共享表示、不同优化准则分开，才能看懂为何相同示范初始化不意味着相同搜索行为。

七、自测题与参考答案

问题 1：为什么给所有轨迹加相同成本，不改变指数归一化权重？

参考答案：每个分子都乘上相同指数因子，分母也乘上该因子，最终相消。实际实现仍应先平移再计算，避免数值下溢。乘法缩放则会改变相对差距，除非同步调整温度。

问题 2：没有显式梯度和学习率，为什么依然可能更新得过于激进？

参考答案：温度、探索方差以及少数样本的异常低成本会让权重高度集中。更新大小来自被保留的扰动，而非消失了。应检查有效样本量与平均策略评估，而不能只因没有学习率就忽略步幅。

问题 3：四足跳跃改善 15 厘米，能否作为真机迁移证据？

参考答案：不能，该论文对应实验仅在模拟器进行。它说明模拟设定中有改进，并展示策略搜索处理该任务的潜力。真机还要验证动力学误差、执行器、触地与重置条件。