068｜Open X：跨机器人数据与共享策略

系列首页 · 上一篇 · 下一篇

原论文：Open X-Embodiment: Robotic Learning Datasets and RT-X Models，Open X-Embodiment Collaboration，首次公开于 2023，本文对应 2025 年 arXiv v9。论文。

先接住前作的问题

BridgeData V2扩展同一机器人上的场景与任务，但跨实验室还会遇到不同动作单位、身体和传感器。Open X把这些数据装进共同格式，再用共享策略检验迁移；格式可读与动作语义一致是两道独立问题。

五个前置概念

五个前置概念：

1. 具身形态：机器人机构、传感器和动作接口构成的物理条件。
2. 多任务学习：共享模型同时拟合不同条件下的任务。
3. 正迁移：额外任务数据提高目标任务表现。
4. 负迁移：共享学习使目标任务表现下降。
5. 数据混合权重：决定每个来源在训练中被采样的频率。

一、问题设定：不同机器人的经验怎样共享而不混淆动作

每个实验室都让自己的机械臂收集数据，却各自训练一个模型，会浪费多少可以共享的经验？Open X-Embodiment 把这个问题推向实际验证：不同机器人的轨迹能否放在一起，帮助每一种机器人学得更好？

第一种是已见机器人上的已见任务：训练集包含该机器人，混入别的平台数据后是否更好？

第二种是已见机器人上的新任务组合：它自身的数据没有某种任务，但其他机器人做过，能否迁移过来？

第三种是全新机器人：训练完全没见过这种机构、传感器或动作接口，能否直接控制？

论文主要验证前两种，结论部分明确没有系统研究第三种。读到“generalist”时，不能跳过这个边界。

数据仓库规模、训练混合规模与真实评估规模也不同。完整仓库包含更多机器人和数据；RT-X 实验使用其中可整理成共同操作接口的子集；评估又发生在选定平台和任务上。把仓库里的全部机器人数量写成“一个策略已经控制了这么多机器人”，会夸大证据。

二、统一数据容器并明确每个身体的动作接口

论文有两个成果：标准化数据集合，以及在其子集上训练的 RT-X 策略。它没有提出全新强化学习目标，而是研究已有 Transformer 策略能否吸收异构机器人示范。

答案带有限定：若干小数据域出现正迁移，较大模型能利用更多跨机器人经验，但小模型在大数据域也出现性能下降。跨机器人训练因此是一种机会，不是自动有效的数据拼接。

数据格式先解决读取问题

不同数据集对回合、图像、动作和终止有不同存储方式。统一格式让训练程序能够按轨迹读取样本，并保留各数据集的传感器字段。这是工程上的必要步骤。

但相同长度的向量不一定有相同意义。七维动作可能表示末端位置、位置增量或速度；旋转坐标系和夹爪方向也可能不同。论文采用粗粒度对齐，没有把所有坐标系和控制语义完全变成同一个物理接口。

因此模型需要从观测上下文中适应差异，部署端还需按对应机器人解释输出。它不是获得了一个与任何机器人无关的绝对动作语言。

共享策略仍然做行为克隆

用 $D_k$ 表示第 $k$ 个数据源，$w_k$ 是其采样权重，$u$ 是离散动作编码，教学目标是：

$$L(\theta)= \sum_k w_k\, \mathbb E_{(o,\ell,u)\sim D_k} [-\log p_\theta(u\mid o,\ell)].$$

$w_k$ 非负且总和为一。它决定一个大数据源会不会淹没小数据源，也影响模型怎样分配容量。总数据量增长与每个域的训练曝光量增长不是同一件事。

RT-1-X 使用机器人策略架构；RT-2-X 在视觉语言模型基础上训练并混合互联网任务。两者共享多域数据，但预训练和容量不同，所以性能差距不能只归因于“更大的机器人网络”。

动作归一化只是接口的一部分

若一个数据源使用归一化动作 $z$，部署时需要用对应转换 $a=f_k(z)$ 恢复实际命令。重要的是 $f_k$ 与训练约定一致。

例如两个机器人都输出 $z_x=0.5$，一个可能移动几厘米，另一个可能表示某个绝对位置。若错误套用转换，模型即使预测对了编码，也会执行错动作。归一化并没有消除底层控制器的差别。 若输入不能辨认本体，同一编码还会形成语义混叠；视觉背景可能帮助辨域，也可能成为脆弱捷径。

正迁移与负迁移

正迁移可能来自共享的视觉特征、目标语义和运动结构；负迁移可能来自数据冲突、容量不足或训练权重不当。这些是可能机制，不是本文逐一证明的因果分解。

最简单的检验不是只比较一个共享模型和不同论文的专家模型，而是用同架构、相近训练条件比较单域与多域训练。论文同时保留原方法和单域 RT-1 对照，正是为了帮助区分这两个问题。

因此跨本体正迁移的证据必须落到具体训练混合与部署接口。原文明确没有统一所有控制坐标系，并区分整个数据集合与实际RT-X训练子集。发布规模更大不等于每个结果已使用全部数据，新增机构也不自动意味着新机器人零样本可用。原文§IV-A—C

一个自构例子

下面的例子未运行。机器人 A 会把苹果放入碗，机器人 B 会把勺子放到盘子上。共享模型在 A 上第一次尝试“勺子放盘子”成功，说明存在跨数据源任务迁移的可能。

但如果把模型装到从没见过的机器人 C 上，并不知道 C 的动作单位与夹爪控制方式，前述成功没有提供直接保证。A 已经出现在训练里，模型知道它的视觉和动作关系；C 是额外的形态与接口问题。

三、对齐数据读取与动作语义后选择训练混合

按作者项目页与跨本体研究说明的组织方式，先列“发布集合”，再列“本次训练混合”，最后列“逐域测试”。三张清单不可互相代替：加入数据源改变训练分布，支持新身体还需要对应动作接口，而测试到的任务迁移也只覆盖声明的留出因素。这里的核查单位是数据源—训练模型—部署域这条链，不是一个总轨迹数。

准备数据：
    将各数据源转换为统一的回合格式
    为每个源记录视角、动作单位、坐标系与控制语义
    选取论文训练子集并固定采样权重
    按各源约定归一化动作，再编码离散目标
共享训练：
    从多源混合中采样图像、语言和动作
    更新同一个条件策略
    RT-2-X 另按混合规则加入视觉语言任务
部署和评估：
    选择机器人对应的动作反变换与控制接口
    读取观测，预测动作并执行
    分开统计本域任务、跨域技能迁移和新场景表现

四、逐域检查正迁移和负迁移

原图怎么读： 图3，原论文图注与图像。每组标出真实评估地点与机器人形态，RT-1与RT-1-X共享架构。应在对应本体内看混合数据收益，而不是假定完全未见的机器人也能直接执行。

原文标注 CC BY 4.0。本页摘图仅保留图形区域并作栅格化；有面板重排的图另行注明，作者与原文入口见各图注。

本文对应较后版本原文；其中仓库统计已经扩展，而核心模型实验仍使用早期训练子集。引用规模时应同时说明版本与对象，避免把更新后的资源总数倒灌成原实验训练量。

每个平台沿用自己的任务成功定义也是现实限制。跨域平均可以概括趋势，但一项简单搬运与一项复杂布线不能仅凭同一个百分比视为等难度。

五组证据分别证明什么

定位依据原论文实验部分。

图3：小数据域的正迁移。 共享 RT-1-X 在五个小数据域中的四个优于对应原方法。这支持其他平台经验能够帮助数据较少的任务，同时已经包含一个不领先的例外，不能写成所有域一致提升。

表I：共享训练也可能退步。 Google Robot 的单域 RT-1 为 92%，RT-1-X 为 73%。这表明把更多数据交给同类小模型并不保证改善。作者将其解释为欠拟合；容量、采样与训练条件仍可能共同参与。

表II，第 1、2 行：迁移收益有明确维度。 跨域技能评估由 27.3% 到 75.8%，增加 48.5 个百分点，结果约为 2.78 倍；原 RT-2 泛化评估则接近不变。这说明收益更突出地来自特定新技能使用，而不是所有泛化指标同时倍增。

表II，第 2、3 行：移除 Bridge 数据。 移除后跨域技能表现下降，支持该来源对迁移有贡献。但删数据同时改变总数据量和组成，因此它不是对“机器人形态”这一因素的纯净因果实验。

表II，其余行：历史、预训练与联合微调。 短图像历史和预训练有帮助；联合微调与仅机器人微调在不同指标上各有取舍。不能把 RT-2 上的结论机械推广为任何多机器人数据条件下都必须同样混入网页数据。

表I 的文字概括比数值更乐观：RT-2-X 在部分大数据域达到或接近单域基线，并非每个格子严格更高。判断应以具体任务和表格为准。

五、模型容量与混合权重影响谁受益

主要代价是异构性不会因为格式统一而消失。动作坐标、时间采样、示范质量和目标标注都可能不同。数据混合的数量优势必须由模型容量、采样规则和稳定训练来兑现。

作者指出尚未验证全新机器人的泛化，也没有给出何时正迁移的普遍判据。本文进一步分析：如果机器人外观与任务高度绑定，模型仍可能学成若干隐式专用子策略。要证明深层共享，应设计跨平台相同任务、相同对象以及留出组合的控制实验。

追问：怎样避免一个大数据来源支配共享策略的训练目标？

参考答案：应报告实际采样权重而不只报原始轨迹数量，并在固定总更新预算下改变混合比例，逐域评价结果。按来源等权也未必公平，因为轨迹长度、任务难度和质量不同。共享总体平均提高时，仍需检查小域、长任务与大域各自是否被牺牲。

六、沿机制关系继续读

OXE组合RT-1、RT-2与多机构数据，后续Octo、OpenVLA使用其中选定混合，属于数据模块组合。共享来源不代表样本权重、预训练与评估预算相同。

七、自测三题与参考答案

问题1：RLDS 格式统一后，为什么仍需要逐机器人解释动作？

答案：格式统一保证字段可读，不保证单位、坐标系和控制语义一致。相同七维向量可能分别表示位置、增量或速度，必须使用与训练一致的反变换和控制器。

问题2：怎样区别跨机器人技能迁移与新机器人泛化？

答案：前者可在训练见过的机器人上测试其他机器人提供的任务；后者必须把目标机器人本身从训练中留出。两者的信息条件不同，应分别建立数据划分和评估。

问题3：共享模型在一个大数据域退步，优先检查什么？

答案：检查该域采样曝光量、模型容量、训练是否收敛，以及动作或语言标签是否冲突。用同架构单域对照和改变混合权重的实验定位原因，而不是直接判定多机器人学习无效。