091｜OpenVLA-OFT：高效微调与动作分块

系列首页 · 上一篇 · 下一篇

原论文：Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success，Moo Jin Kim、Chelsea Finn、Percy Liang，2025。论文。

先接住前作的问题

OpenVLA已有视觉语言表示，却按离散自回归方式生成动作。OFT保留这些权重，在微调时改变注意力与连续动作头，追问瓶颈究竟来自表示还是下游解码；预训练目标不必原样成为部署接口。

五个前置概念

五个前置概念：LoRA以低秩参数更新适配大模型；双向注意力让输出槽位在共同条件下交流；L1回归惩罚绝对偏差；FiLM用条件信号缩放和平移特征通道；动作吞吐计量单位时间生成多少动作步，不等于反馈率。

一、问题设定：已有VLA权重怎样适配并行动作块

预训练时怎样输出动作，微调时不一定还要照搬。OpenVLA最初像写句子一样逐个生成动作数字，这使双臂高频控制很慢。OFT保留已经学到的表示，却把输出改成一次并行预测整段连续动作，用简单L1损失微调。

任务属于离线模仿学习。LIBERO是单臂视觉操作，真实ALOHA则有两个机械臂、三个相机和14维关节状态。后者动作是绝对关节角，和原OpenVLA的相对末端动作不同。

这意味着研究不是只在原网络上调学习率：输入从单视角到多视角，增加本体状态；输出维度、频率和坐标含义都发生变化。已有语义与视觉表示是否还能利用，是论文的重要问题。

训练没有环境奖励或critic，评分标准只用于评估。动作回归损失更低不保证任务成功，尤其当示范含不同路线或输入不足以确定下一步时。作者因此同时测量真实完成进度、语言选物和推理性能。

需要区分OFT与OFT+：后者额外加入FiLM，主要用于ALOHA实验；LIBERO主结果没有使用FiLM。不能把真机语言收益反过来当作LIBERO97.1%的解释。研究设计§III–IV

二、以空动作槽位、连续回归和FiLM微调

1. 空动作槽位替换真实动作前缀

原模型训练时输入右移的真实动作token，自回归推理时一步一步填入预测。OFT输入空动作嵌入，仅通过位置编码区分未来时间与动作维度，并采用双向注意力，单次前向填满整块。

这种双向注意力并没有偷看未来真实动作，因为输入槽位是空的。它允许不同输出位置在共同观测条件下交流，从而联合组织运动；但L1头本身仍是确定性映射，不会因此自动成为完整的多模态概率生成器。

设动作块长度 $K$、动作维度 $D$，网络生成 $\hat A\in\mathbb R^{K\times D}$，教学形式的损失为：

$$L_{\rm L1}=\mathbb E_{(o,A)\sim D} \frac1{KD}\sum_{k=1}^{K}\sum_{d=1}^{D} |\hat A_{k,d}(o)-A_{k,d}|.$$

数学上标量L1的最优估计对应条件中位数，不是条件均值。多维动作逐坐标回归也可能拼出不对应任何有效整条路线的结果，所以不能把“取中位数”误当成自动选择最佳动作模式。

2. 新输入投影到预训练模型可处理的空间

每个相机都通过共享SigLIP与DINOv2视觉骨干，形成patch表示，投影到语言模型空间；本体状态由独立MLP编码成一个额外嵌入。输出侧使用四层MLP，把最终隐藏特征映射为连续动作。

参数适配采用rank32 LoRA，但总训练参数不只有LoRA：LIBERO还训练动作头、本体投影，合计279M；ALOHA加入较大的动作头与FiLM投影后合计853M。因此称“只训练一个极小适配器”会漏掉主要成本。

3. FiLM让语言影响视觉通道

用语言嵌入均值生成每层的缩放与平移：

$$\hat F_{p,c}=(1+\gamma_c(\ell))F_{p,c}+\beta_c(\ell).$$

$p$ 是patch位置，$c$ 是特征通道。相同通道的调制作用于全部patch，不是每个patch单独一组缩放。调制插在视觉Transformer块的注意力之后、前馈之前，两个视觉骨干都使用。初始接近恒等，尽量少扰动预训练表示。

这给“选择红椒还是玉米”增加更直接的视觉条件路径。它不能保证完全理解所有语言，也不能单凭消融确定原失败一定由某一种视觉捷径造成；具体成因作者仍列为未解决问题。

这是方法流程的教学版本。全块开环执行提高连贯性和吞吐，也拉长了新反馈影响动作的间隔。

逐坐标中位数仍可能拼出未出现过的动作。教学设同一观察下，三种等概率可行二维动作是 $(0,1)$、$(1,0)$、$(-1,-1)$；每维的唯一中位数均为0，L1回归会偏好 $(0,0)$，它不属于任何示范模式。若这些模式分别绕开中央障碍，拼出的动作可能正好无效。

这说明OFT的成功不应解释为L1在数学上解决了所有多模态问题。丰富视觉、本体状态和窄任务微调可能已消除大量条件歧义，确定性头于是足够有效。原文对L1与扩散头的比较支持所测适配条件下的效率折中，而非否定生成策略在其他数据分布中的价值。原文§IV-B及学习目标比较

用一个例子建立理解

以下是未运行的教学例子。三种食材一直固定摆放，人说“舀葡萄干”，训练中却恰好多数动作都朝左边。模型可能直接学“拿勺后向左”，忽略指令。把语言用于调制视觉通道，能鼓励网络根据指定对象提取不同特征；还应改变食材位置，构造相同场景不同命令的测试，才能更清楚区分语义和位置捷径。

并行输出则像一次写好一秒的动作计划，而非每生成一个关节数字都再跑模型。但计划写好之后，真实碗若被移走，尚未重新读取图像的策略仍不知道，这与语言是否正确是两个独立问题。

三、以空槽并行输出连续动作并微调语言调制

双向交流的槽位不含未来真实标签，监督来自L1动作目标。新增相机、本体与FiLM还会改变可见信息，不能只把全配方收益归给并行解码。

载入预训练OpenVLA
加入多视角处理、本体投影、空动作槽位与连续动作头
将解码注意力改为双向；配置LoRA
若使用OFT+：在视觉骨干加入语言FiLM

对目标任务数据循环：
    编码当前图像、指令与本体状态
    单次前向预测K步连续动作
    最小化动作L1损失，更新允许训练的参数
    按约定检查点评估并选模

部署：
    获取当前观测，预测完整动作块
    按底层频率执行K步，不在块中重新规划
    再次读取观测，重复

四、分开吞吐、闭环频率与数据一致性

这项工作的核心是适配方法研究，而非从头预训练一个新基础模型。作者比较解码方式、动作表示与损失，并在真机加入FiLM，让语言更早影响视觉特征。

实验支持复杂预训练表示可以服务于简单输出头，但不支持“L1在所有多模态动作分布中都优于扩散”。它的目标资料较集中、示范策略较一致，这恰好是直接回归较有利的条件。

原图怎么读： 图5，原论文图注与图像。指标是靠近语言指定目标的成功率，聚焦语言接地而非完整任务所有阶段。去掉FiLM后的变化应在同一目标选择协议下解释。

原文标注 CC BY 4.0。本页摘图仅保留图形区域并作栅格化；有面板重排的图另行注明，作者与原文入口见各图注。

ALOHA每个任务单独微调，不是一个模型联合掌握四任务。数据有训练验证划分；OFT+最终各任务更新数见表V，为100k、70k、50k、100k。未逐项确认独立训练种子间置信区间。

其他真机基线使用各自配方，算力和更新数不同：例如DP、RDT有两步历史，OFT+没有；RDT预测64步但只执行25步，DP块长24，π0块长25。比较具有实际参考价值，却不能解释为只改一个损失的严格公平实验。

入锅任务的OOD主要添加未见干扰碗，锅位置固定；不是全新物体类别、全新厨房或全新动作技能。短裤初始变化也较小，说明四任务难度和泛化强度不相同。

结果：证据到底有多强

表I：性能提升的分解。 原OpenVLA平均76.5%，并行加分块90.2%，再加连续L1为95.3%，连续扩散95.4%；增加腕部和状态输入后OFT为97.1%。总差20.6个百分点，不能全部记到L1头上。并行与分块同时加入，也没有单靠这一表完全隔离两者贡献。

表II：速度必须匹配输入。 单图像连续L1吞吐109.7动作步/秒、块延迟0.073秒，对原4.2约26.1倍；完整额外输入版本是71.4与0.112秒。不能将97.1%的丰富输入模型和单相机26倍速度合并成同一配置。v1相关工作误把约0.07、0.321写成ms，主表单位明确为秒。

表III：快于原OpenVLA，不是所有模型里最快。 ALOHA的OFT+为77.9动作步/秒、0.321秒每块，比原1.8吞吐约43倍；ACT为432.8、π0为291.6，均更快。25步块在25 Hz执行一秒，加上实际调度延迟，其视觉反馈频率远非77.9 Hz。吞吐充足只说明一块能较快算完。

图5和表XII：语言调制的作用。 舀料任务去FiLM的语言选物接近三选一随机水平，整体分数35；完整OFT+为100。这个消融支持FiLM在该设置有效。入锅也改善，但完整OFT+仍只得51.25分，不能因语言选择更好就称任务已可靠解决。

表X–XIV：证据的上下界。 短裤所有方法100分，衬衫DP、π0和OFT+均100，优势并非每任务独占。真机采用累计阶段评分，51.25分不等于51.25%的完整成功回合。去除机器人预训练、直接从Prismatic VLM适配的LIBERO平均91.9对97.1，下降5.2个百分点；这不是随机初始化，图文预训练仍在。结果与附录表格

五、L1在窄模式数据上的有效性不能普遍外推

它没有证明预训练时也该全面采用L1。作者明确承认目标资料策略较一致，对真正多峰动作分布仍需进一步研究。若同一场景有左右两条绕行路线，逐坐标中位数可能落在障碍物上；网络容量大并不能从数学上消除这种问题。

我的分析是，输入设计与训练配方可能比“模型新旧”更影响某些下游结果，但这种判断应限于所测条件。跨模型资料、规模、实现和调参差异很大，不能据一次适配对照宣布基础模型预训练无关紧要。

开环块的可靠性也是限制。系统每秒更新一次策略条件适合部分稳定桌面操作，但在快速移动目标或突发接触中需要专门测试。少量真机试验、最佳检查点选模及窄初始条件，也限制了对长期部署稳定性的推断。

追问：FiLM收益应怎样与额外参数和新增相机信息分开？

参考答案：在相同输入与可训练参数预算下比较有无语言调制，再改变命令与物体位置的对应关系。若同时新增本体和多相机，整体提升不能唯一归于FiLM。需记录目标选择与动作精度，判断它究竟改善语言条件使用，还是只是增加了可见状态信息。

六、沿机制关系继续读

OFT直接承接OpenVLA权重，重设并行连续动作头；与FAST是平行提速路线，前者改变输出与目标，后者保留自回归并压缩动作编码。

七、自测三题与参考答案

问题1：双向注意力是否泄漏了未来真实动作？

答案：在正确实现中没有。输入的是空动作嵌入和位置编码，真实动作只用于损失监督。输出位置可以交流隐藏特征，但看不到标签。若误保留teacher forcing的真实动作输入，再开双向注意力，才会造成严重泄漏。

问题2：为什么95.3%的L1结果不能证明扩散没有意义？

答案：该数据集中每任务示范策略较一致，确定性回归可以很好拟合；相邻扩散结果95.4也接近。真正多模态、需要多种可行路线时，L1的条件中位数未必有效。结论应限于下游适配配方，而非所有生成策略。

问题3：OFT+吞吐77.9 Hz为什么不是每秒77.9次闭环决策？

答案：每次计算输出25步，吞吐等于25除以约0.321秒。这些步按25 Hz执行，整块结束才更新观测；吞吐衡量生成能力，闭环频率还由执行块长和调度决定。混用两者会高估应对突然变化的能力。