Home / 机器人学习 / VLA-RL：用强化学习改进动作基础模型

094｜VLA-RL：用强化学习改进动作基础模型

原论文：VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning，Guanxing Lu 等，2025。论文。

先接住前作的问题

OpenVLA通过示范监督获得动作先验，但自己的执行偏差会产生新状态。VLA-RL在这一基础上在线收集回合，以PPO及过程奖励改进；核心问题是动作token概率、价值和真实环境步怎样一致对齐。

五个前置概念

五个前置概念：

PPO：通过裁剪概率比控制策略更新的代理优化方法。
GAE：组合多步价值误差，权衡优势估计偏差和方差。
过程奖励：在最终成功之前给出中间进度信号。
Critic预热：先校准价值估计，再让它指导策略。
在线数据分布：当前策略执行产生的状态，随学习不断改变。

一、问题设定：VLA怎样用自身执行结果继续学习

行为克隆教机器人模仿专家，但部署时机器人会遇见自己造成的偏差：夹爪早闭合、末端停在错误位置、物体被碰偏。VLA-RL 的思路是保留预训练 OpenVLA 的视觉与动作先验，再让它在线收集轨迹，用 PPO 调整动作概率。

OpenVLA 每次看到外部相机图像与指令，生成表示七维动作的离散 token，再转换成末端控制量和夹爪命令。这里有两种顺序：同一动作内部的 token 自回归顺序，以及执行该动作后环境推进到下一时刻的顺序。

论文把轨迹类比成多轮对话，是为了复用语言模型的概率训练与系统工具。但机器人动作会改变物理环境，不能把一整回合简单当作没有环境反馈的一次文字生成。训练要保存执行后的新观测、终止标记、环境奖励，以及当时采样策略的概率。

初始模型已经在每个 LIBERO 任务套件进行监督微调。随后强化学习仍在这些下游任务环境中进行。因此这里主要研究对现有任务的在线改善，而不是把新的训练回合伪装成完全不接触测试分布的零样本评估。训练种子、初始化分布与最终评估回合之间的关系，在复现时应明确记录。

任务成功提供稀疏奖励；学习的过程奖励提供额外指导。只有前者可以直接反映基准成功，后者是代理信号。将两者相加改变了优化目标，不能自动获得保持最优策略不变的奖励塑形保证。

二、对齐动作token概率、价值预热和过程奖励

真正的难点不是把 PPO 公式放到大模型上，而是让奖励、价值估计、动作概率和并行环境一致工作。论文加入过程奖励模型、价值网络预热、任务采样与批量解码。它属于在线、无环境模型、Actor–Critic式强化学习微调；过程奖励模型不是预测环境未来的世界模型。

表1中 OpenVLA 从76.5%升到81.0%，增加4.5个百分点。本文把它理解为在已适配 LIBERO 的模型上继续优化的收益，不能说从零获得全部能力，也不能说已证明真机开放世界泛化。（§4.1）

1. 从 token 概率计算动作概率

若一个环境动作由 token 序列 $z_1,\ldots,z_d$ 表示，正确的自回归分解为

$\log\pi_\theta(a_t\mid o_t,l) =\sum_{j=1}^{d}\log p_\theta(z_j\mid z_{<j},o_t,l).$

前缀 $z_{<j}$ 很重要，它表示各维动作不必独立。原文式1的简写没有显式写出该前缀，教学时应补上。PPO 使用整个环境动作的概率比，而不是分别给每个 token 一次独立环境奖励。

令 $\rho_t=\exp(\log\pi_\theta-\log\pi_{\mathrm{old}})$ ，优势为 $\hat A_t$ ，最大化

$L_{\mathrm{PPO}} =\mathbb E\min\left(\rho_t\hat A_t, \operatorname{clip}(\rho_t,1-\epsilon,1+\epsilon)\hat A_t\right).$

裁剪限制代理目标继续奖励过大的概率变化，并不是硬性保证所有概率比都落在区间内。动作 token 越多，联合概率变化越容易累积，这也是高维离散动作需要审查的稳定性来源。

2. 价值网络预热

价值网络估计后续回报，GAE 将多步奖励与价值误差组合为优势。如果 critic 刚初始化，错误价值就可能使一个不错的模仿策略被错误梯度破坏。论文先固定策略采集数据，只训练 critic，然后再联合更新。这主要改善优化启动阶段，而不是增加策略的表达能力。

3. 过程奖励来自启发式标签

奖励模型利用成功轨迹：根据夹爪开合变化分段，在末端速度接近零的关键帧附近给动作序列正向伪标签，再用视觉语言模型学习进度信号。训练时冻结这个模型，将其输出与稀疏成功奖励相加。（§3.4）

其直觉是抓住稳定接触、抓取或放置节点，缓解长轨迹中稀疏奖励难以分配信用的问题。但“速度接近零”也可能表示卡住；夹爪开合也可能是错误操作。因此标签机制是领域启发式，不是自动发现真实任务进度的证明。

原文式3写成 token 似然，但从奖励 token 如何转为标量、如何标定量纲等细节，单凭该式还不完整。复现不能自行填一个概率或对数概率就声称与作者一致。

4. 课程公式存在可检验的口径问题

原文式4为

$P(j)\propto\exp((0.5-s_j)/\tau),$

其中 $s_j$ 是任务成功率。对正温度 $\tau$ ，这个概率随成功率单调下降；归一化后常数0.5会抵消。因此公式优先低成功率任务，并不会在50%处达到峰值。正文关于“学习前沿”的解释与写出的公式不一致，应保留为实现待核对项。

并行环境、批量解码与训练分片改变墙钟效率，不改变理论任务目标。效率收益必须用相同交互量和硬件条件比较，不能从更快曲线推断更高样本效率。

可以用三个任务直接测试课程公式。教学取成功率 $s=(0,0.5,1)$ 、温度 $\tau=0.5$ ，式4的权重为 $(e,1,e^{-1})$ ，归一化约为 $(0.665,0.245,0.090)$ 。最难任务获得最多采样，50%任务并非峰值；若意图优先中等难度，还需别的公式或实现逻辑，不能从现式推出。

消融措辞也应对照表：去过程奖励后仍为85.8%，去课程为88.0%，而学习率增大十倍降到0.2%。它们都差于完整配置90.2%，却不都属于“迅速崩溃”。这组结果更支持启动、奖励和优化尺度共同影响稳定性，不能仅用一个组件解释全部增益。原文§3.5与表2

一个小例子：奖励有帮助，也可能指错方向

下面是未运行的教学例子。机器人向杯子移动，夹爪闭合后停住。奖励模型若把“闭合且静止”当进度，会给这一步高分；但夹爪可能根本没有抓住杯子。真正成功奖励直到杯子放进容器才出现。

如果稠密奖励足够大，策略可能偏好反复闭合停住。若稀疏成功率也随训练提高，说明这种失败没有完全主导当前实验，却不能保证别的场景不会出现。最直接的检查是构造同样闭合和静止、但对象未被抓住的反例。

三、在环境步上对齐token概率、价值与奖励

一个物理动作包含多个条件token，log概率需按相应联合分布计算。价值预热、过程奖励与课程采样共同影响PPO，符号正确还需与环境执行单位一致。

载入已经监督微调的 VLA、价值模型与冻结过程奖励模型
固定策略，先用初始轨迹预热价值网络

重复：
    根据经核实的任务采样规则创建并行环境
    同步当前策略权重到采样引擎
    每个环境步：
        生成动作 token，保存完整动作的旧 log 概率
        解码并执行，得到新观测、成功奖励与终止标记
        用冻结奖励模型给出额外进度信号
        保存转移和价值估计
    根据终止掩码计算 GAE 和回报目标
    用 PPO 更新策略，用回归目标更新价值模型
    在独立评估回合记录真实成功率

四、核对课程公式、训练预算与真实评价单位

原图怎么读： 图4，原论文图注与图像。虽然图标题写Test-time Scaling，图注实际每隔2500个训练步评估一次微调模型；横向变化含参数更新，因此不能称为固定模型的推理预算扩展。

VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning，图4：虽然图标题写Test-time Scaling，图注实际每隔2500个训练步评估一次微调模型；横向变化含参数更新，因此不能称为固定模型的推理预算扩展。 — 实验图原图摘引：Guanxing Lu 等，2025，HTML S4.F4，图4。核对原文。原版权保留。

课程采样公式、奖励标量化和完整训练预算仍需与实现对应；式4的数学性质应按实际写出的公式检验，不能用文字意图补写新算法。

项目	原文设置	解释
环境	LIBERO四套件、共40任务	全部为仿真操作
初始化	每套件已有的 OpenVLA SFT 权重	不是统一从随机参数学起
基线	SFT、GRAPE/DPO、Octo、DP，并列 π0-FAST	模型与预训练数据不同
评价	每套件500回合，成功率与排名	排名不反映差距大小
奖励	环境成功奖励加冻结过程奖励	需要防止代理奖励被利用
计算	正文报告48 GPU小时	GPU型号、完整交互预算等未逐项核实
消融	LIBERO-Spatial	局部结论不能直接推广全部任务
不确定性	表格未展示完整种子置信区间	本文不能据此声称小差距显著

这里有额外专家轨迹用于初始SFT或奖励建模，因此“摆脱离线数据”只能理解成在线阶段不必重复依赖全部预训练数据，不能理解成系统没有专家知识。

奖励曲线上升和任务成功同时上升是有价值的证据，但还不是奖励投机已经排除。更强测试应固定成功率观察奖励是否还能被提高，或加入静止、反复开合、错误物体等对抗轨迹检查奖励模型。

五处结果与严格解读

表1：平均提升存在，最强参考仍更高。 76.5%到81.0%是增加4.5个百分点，相对为 $4.5/76.5\approx5.9\%$ 。GRAPE为79.2%，差1.8个百分点。表中 π0-FAST 为85.5%，因此正文“匹配”说法不能用于平均成绩；Long套件的接近也不能代表全部套件相同。

图4：更多在线训练带来改善。 横轴对应继续优化，模型参数发生更新，也消耗环境交互。它支持在线训练可扩展性的一段经验趋势，不能直接证明固定权重、仅增加推理搜索即可改善，更不足以建立普遍的幂律或无限增长结论。

表2：有些组件帮助，有些配置导致崩溃。 移除奖励模型为85.8%，移除课程为88.0%，取消 critic 预热为80.0%；完整方法90.2%。这些是程度不同的下降。把学习率从 $2\times10^{-5}$ 提到 $2\times10^{-4}$ 后为0.2%，才是明显崩溃。表注称移除任一组件都会迅速崩溃，超出了表中数值所能支持的范围。

图5：训练动态具有诊断价值。 回合变短可能说明更快成功，也可能来自更早终止，必须与成功率一起看。熵下降可能代表技能收敛，也可能代表探索坍缩；只读一个曲线无法区分。系统耗时分解能定位瓶颈，却不能替代硬件一致的基线实验。

VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning，图5：训练动态具有诊断价值。回合变短可能说明更快成功，也可能来自更早终止，必须与成功率一起看。熵下降可能代表技能收敛，也可能代表探索坍缩；只读一个曲线无法区分。系统耗时分解能定位瓶颈，却不能替代硬件一致的基线实验。 — 原图摘引：Guanxing Lu 等，2025，HTML S4.F5，图5。核对原文。训练动态具有诊断价值。回合变短可能说明更快成功，也可能来自更早终止，必须与成功率一起看。熵下降可能代表技能收敛，也可能代表探索坍缩；只读一个曲线无法区分。系统耗时分解能定位瓶颈，却不能替代硬件一致的基线实验。

图6、图7：行为覆盖与案例。 二维动作投影更分散，说明采样动作分布改变，不直接证明高维状态空间覆盖更完整或分布外鲁棒性更强。成功抓取案例解释了潜在收益，但不能把一个任务的改进提升为接触操作的普遍规律。

VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning，图6：行为覆盖与案例。二维动作投影更分散，说明采样动作分布改变，不直接证明高维状态空间覆盖更完整或分布外鲁棒性更强。成功抓取案例解释了潜在收益，但不能把一个任务的改进提升为接触操作的普遍规律。 — 原图摘引：Guanxing Lu 等，2025，HTML S4.F6，图6。核对原文。行为覆盖与案例。二维动作投影更分散，说明采样动作分布改变，不直接证明高维状态空间覆盖更完整或分布外鲁棒性更强。成功抓取案例解释了潜在收益，但不能把一个任务的改进提升为接触操作的普遍规律。

VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning，图7：行为覆盖与案例。二维动作投影更分散，说明采样动作分布改变，不直接证明高维状态空间覆盖更完整或分布外鲁棒性更强。成功抓取案例解释了潜在收益，但不能把一个任务的改进提升为接触操作的普遍规律。 — 原图摘引：Guanxing Lu 等，2025，HTML S4.F7，图7。核对原文。行为覆盖与案例。二维动作投影更分散，说明采样动作分布改变，不直接证明高维状态空间覆盖更完整或分布外鲁棒性更强。成功抓取案例解释了潜在收益，但不能把一个任务的改进提升为接触操作的普遍规律。

五、启发式奖励可能引导错误过程

作者承认伪标签启发式可能无法描述更细腻的操作，并把真实世界在线经验与扩散策略留作后续。我的分析是，奖励尺度、动作 token 的联合概率、错误 critic 与探索温度形成相互作用；单独移除一个组件只能说明当前配置的依赖，不能证明该组件对所有VLA都是必要条件。

另一个边界是仿真可廉价重置，而真机存在复位、失败回收和硬件磨损成本。48 GPU小时既不是48小时机器人占用，也不是完整系统研发成本。将这项研究迁移到真机，需要同时优化环境交互效率和失败处理，而不仅是提升模型训练吞吐。

追问：过程奖励模型若偏爱接近目标，怎样检查策略是否拖延真正完成？

参考答案：应把中间得分与终局完成分别统计，观察是否反复停留在高分却未完成的状态。可固定奖励模型，检查这些轨迹的判定，并用独立成功条件评价。过程反馈有助于稀疏学习，但若和任务目标不一致，PPO会有效优化错误信号。

六、沿机制关系继续读

VLA-RL直接微调OpenVLA式动作模型，组合PPO与过程奖励；与DPPO是平行后训练，前者计算离散动作序列似然，后者计算内部去噪路径似然。

七、自测三题与参考答案

问题1：为什么动作的 log 概率要把七个 token 的条件概率相加？

答案： 七个 token 共同构成一次环境动作。联合概率由自回归条件概率相乘，取对数后成为求和。若把各 token 当成独立环境动作更新，就改变了信用分配和 PPO 比率的含义，还可能忽略各动作维度之间的依赖。

问题2：成功率曲线随训练上升，为何还不能称为推理 scaling law？

答案： 因为曲线增加了参数更新与交互经验。固定权重的推理扩展应改变搜索、采样或推理时长，并保持训练数据不变。两者都可能有价值，但实验变量不同，不能互相替代。

问题3：式4真的优先50%成功率的任务吗？

答案： 不。正温度下它对成功率单调递减，且0.5在归一化时抵消。若想围绕50%取峰，需另一个随距离变化的函数，但不能擅自把那种设计当成作者实现。正确做法是指出数学与文字不一致，再核对代码和实验设置。