066｜BridgeData V2：跨场景操作数据

系列首页 · 上一篇 · 下一篇

原论文：BridgeData V2: A Dataset for Robot Learning at Scale，Homer Walke 等，首次公开于 2023，本文对应 2024 年 arXiv v3。论文。

先接住前作的问题

robomimic揭示人类示范来源和覆盖会改变学习结果，单一桌面的高分还不能说明数据能被别的场景复用。BridgeData V2通过同场景多任务与多环境采集，研究目标条件和技能覆盖；它贡献数据协议而非新策略损失。

五个前置概念

五个前置概念：

1. 目标条件策略：动作不仅依赖当前状态，还依赖想达到的结果。
2. 事后目标重标记：把实际达到的后续状态作为训练目标。
3. 多峰动作分布：同一目标可能存在多条不同但有效的动作路线。
4. 数据捷径：模型利用与标签相关但非任务本质的线索。
5. 跨域评估：在采集分布之外测试，并明确究竟改变了哪些因素。

一、问题设定：怎样采集别人能在新场景使用的操作数据

如果一个机器人只在某张桌子上学会搬杯子，换实验室就失效，那么它学到的可能既包含技能，也包含大量偶然的视觉规律。BridgeData V2 的问题是：怎样采集一份数据，使别人能在自己的机器人场景里真正使用？

论文中的“技能”按运动类型分组，例如搬运和擦拭；“任务”还取决于对象和目标，例如把胡萝卜放盘子与把茄子放锅里。不同论文对这两个词的计数并不统一，不能直接拿标题里的任务数量排列通用程度。

数据平台是 WidowX 机械臂，动作包含六维末端相对运动和夹爪开合。论文学习实验主要使用肩后方单个 RGB 视角。数据保存了更多传感信息，但不是每条轨迹都有完整多相机观测，也不是实验策略使用了全部传感器。

目标有两类：

• 图像目标 $g$：用期望最终画面告诉机器人要达到哪里。
• 语言目标 $\ell$：用自然语言指定行为与对象。

前者通常更直接表达空间布局，但需要准备目标图像，且可能包含无关背景差异；后者方便交互，却需要把语言对象名称与视觉接地。两者的信息量不同，因此表格中的成功率不是完全同输入条件的架构竞赛。

这是离线学习设定。部分数据来自脚本策略，包含不成功或次优尝试；它们是否有用取决于学习目标，不能把所有轨迹都叫专家成功示范。

二、交叉安排场景、任务和目标表达

这是一篇数据与实证研究论文。它提供多环境、多任务、可用图像或语言指定目标的机器人轨迹，并比较不同离线学习方法。重点不在发明某个新损失，而在设计数据支持的泛化问题。

一个重要设计是：同一场景里同时存在多种任务。这样模型不能只看背景就猜到动作，必须注意目标条件。另一个设计是让技能、对象和相机配置具有变化，而不只是重复同一条成功轨迹。

为什么同场景多任务重要

设场景为 $s$，语言为 $\ell$，动作为 $a$。理想策略需要学习 $p(a\mid s,\ell)$。如果每个场景只有一种任务，那么训练中 $s$ 几乎唯一决定 $\ell$，模型可以用 $p(a\mid s)$ 取得很低损失，却完全忽略语言。

这是自构的统计解释，不是论文给出的定理。它说明数据集设计怎样决定“跟随指令”是否可辨识：同样的场景应出现不同指令与相应不同动作，才能让语言成为必要信息。

目标图像重标记

目标条件行为克隆可写成：

$$L_{\rm GCBC} =-\mathbb E_{\tau,t,k>t} \log\pi_\theta(a_t\mid o_t,g=o_k).$$

$\tau$ 是轨迹，$o_t$ 是当前图像，$o_k$ 是轨迹后续图像。原文训练从未来时间步抽取目标。这样一个行为片段不仅服务于最终目标，也能用于学习途中不同可达结果。

这与“失败轨迹自动变成高质量示范”不同：重标记只说明数据实际到达过某个结果，不保证动作高效，也不保证该结果满足原语言指令。

语言条件版本则拟合：

$$L_{\rm LCBC} =-\mathbb E_D\log\pi_\theta(a\mid o,\ell).$$

扩散版本用去噪过程建模动作多峰性；ACT 预测动作段；对比 RL 使用目标条件价值学习并保留行为正则。这些是不同已有方法的适配，不是 BridgeData V2 自创的一种统一算法。

采集与训练流程

论文的采集过程不要求每条轨迹之后把场景恢复到原样。这节省复位成本，也让状态分布更丰富；与此同时，连续采集的相邻轨迹可能高度相关。建立训练测试划分时，以帧随机划分容易低估这种关联。

动作段长度必须与时间对齐

原始 ACT 的动作段长度不能原封不动搬到较慢控制平台。动作段覆盖的真实时间为：

$$T_{\rm chunk}=\frac{H}{f},$$

$H$ 是动作步数，$f$ 是控制频率。相同的 $H$ 在不同机器人上代表不同时间跨度。本文对 ACT 做了长度适配，因此比较时应报告秒数、观测历史和重新预测频率，而不只报告 token 个数。

不复位采集节省时间，却使轨迹不一定是独立样本。教学例：连续100次把杯子从A搬到B、再从B搬回A，比100个房间各采一次有更多轨迹、却少得多的背景与几何变化。随机按帧拆分会让相邻过程共享几乎同一观测；按场景或采集时段留出更能检验泛化。

未来目标图像还包含额外答案信息：它显示具体摆放位置，而一句“放到桌上”可能没有。因此图像目标优于语言目标时，应先控制目标精确度与标注覆盖，不能直接得出语言编码器更弱。原文不强制复位的采集协议与事后语言标注，需要连着理解。原文数据收集

一个小例子与前置知识

以下是自构例子，未运行。训练集中蓝桌子总是要求抓杯子，红桌子总是要求开抽屉。一个完全不读取语言的网络也能得到很高训练分数。测试时在蓝桌子要求开抽屉，它就暴露出缺陷。

修正不只是多采一千条蓝桌抓杯子，而是让蓝桌也包含开抽屉、移动勺子等行为，并让红桌包含对应变化。这样背景无法唯一决定任务，语言或目标图像必须参与动作选择。

三、按场景与目标交叉采集并固定下游学习器

同一背景中需要出现不同任务，目标输入才不容易被背景捷径替代。数据发布还要保留语言和图像目标接口，后续对照才能改变条件而保持轨迹来源可查。

采集：
    准备同时允许多种操作的场景
    遥操作完成不同可行任务，保留图像、动作与轨迹边界
    周期性改变对象、相机与工作空间相对位置
    用随机化脚本补充对象搬运数据，保留其来源标识
    事后标注任务语言，检查描述与实际结果一致
训练：
    固定数据版本和允许使用的传感器
    图像目标：从同一轨迹未来时刻采样目标
    语言目标：读取与轨迹对应的语言标注
    用选定离线学习目标更新策略
评估：
    分开测试已见任务、新对象、新环境、另一机构
    每回合记录目标条件、动作执行结果与失败类型

四、固定学习器检查覆盖带来的泛化

原图怎么读： 图5，原论文图注与图像。原有局部摘图展示左侧的容量与数据规模曲线；下方完整图补上右侧在近似等量数据下改变技能多样性的表格。后者更直接检验多技能共训的收益，仍须注意物体与场景可能同时改变。

所有数据都在一个机构采集，跨机构评估是后续迁移测试，不是多机构数据采集。这个区分对判断数据多样性来源尤其重要。

脚本数据的存在也不意味着论文已严格隔离了它对每个算法的贡献。要回答“失败数据是否改善恢复”，需要在相同总条数下比较保留、删除和替换脚本数据，并区分成功与失败子集。

五处关键证据

以下结果定位依据原文 v3 正文与附录。

第一处：表2，已见任务仍不容易。 GCBC、扩散 GCBC 与 RT-1 的平均成功率均为 0.49，但分任务表现不同。相同平均数不代表相同行为分布，也不代表复杂模型无价值；它说明需要看具体任务瓶颈。

第二处：表3，泛化并非越复杂越强。 未见任务平均中 GCBC 为 0.60，ACT 为 0.28；这不能用来否定 ACT 原论文，因为控制频率、目标条件、任务类型与训练配置都改变了。它证明算法效果必须放在具体数据和部署条件下解释。

第三处：表4，跨机构可用但有落差。 RT-1 的三任务平均由 0.47 到 0.40。它支持零样本跨实验室存在实际能力，不支持所有单任务都保持性能；数据还显示不同算法的变化方向并不完全一致。

第四处：图5，技能多样性对照。 接近等规模的数据中，更多技能使一个未见搬运任务的成功率由 0.30 到 0.65。差值为 35 个百分点，结果约为原来的 2.17 倍。这比同时增加数量与技能更能说明多样性的作用，但只有指定任务上的证据，尚不是普适缩放定律。

第五处：附录 D，旧数据与新数据。 新数据组合提高未见任务表现，但样本数、环境数和技能数同时变化。它说明新版本作为整体资源更有用，不能独立估计每个因素贡献。

模型更会拟合数据还可能更忠实地复制暂停。§5.1 提到不同方法的停顿与动作模式切换，这是很有价值的观察：示范似然更高，不总是执行更流畅。

五、单本体和采集来源限制可迁移范围

作者承认任务偏低精度、缺少复杂力控制，且机器人形态单一。它不能代表高速抛掷、重物搬运或低公差工业插入。环境数量也不是覆盖质量的充分统计量：多个相似玩具厨房和同数量真实家庭的分布并不相同。

本文的进一步分析是，语言标注应该描述实际完成的行为，而非只记录操作者原本想做什么。意图标签与结果标签混在一起，会使失败轨迹上的监督自相矛盾。对于离线 RL，这种区分还有助于构造目标达成信号。

追问：如果每个目标只在一个场景出现，为什么语言接口可能形同虚设？

参考答案：模型可以利用背景预测动作，即使忽略语言也取得较低训练损失。应在同一场景交替多个任务，并在留出测试中交换目标与背景组合。语言输入存在不等于语言被使用，数据中的交叉对照才减少这条捷径；同时还要保持动作难度和样本量可比。

六、沿机制关系继续读

BridgeData V2是Open X-Embodiment等多源训练的数据组成之一，属于模块组合；与DROID是平行数据路线，机器人、场景范围与采集协议不同，轨迹总量不能单独比较价值。

七、自测三题与参考答案

问题1：为什么“同一场景能做多个任务”比“场景数量多”更直接检验语言条件学习？

答案：如果每个场景只有一个标签，背景可以替代语言。让同样的视觉布局对应多种指令和动作，才能迫使策略区分目标；场景多样性主要处理视觉分布覆盖，二者解决不同问题。

问题2：图像目标模型比语言模型更好，能否说明语言不适合机器人？

答案：不能。目标图像直接提供空间结果，而语言可能省略位置细节；两者预训练、分辨率、历史长度也可能不同。应先匹配目标信息与模型资源，再检验语言接地或控制能力究竟是瓶颈。

问题3：数据量相同、技能更多时表现提高，下一步最值得做什么对照？

答案：检查新增技能是否只是提供了更多目标物体、相机或抓取姿态。可以匹配对象和场景覆盖，只改变动作技能类别，并在多个未见任务与训练种子上重复。这样才能进一步判断正迁移来自运动知识还是共享视觉信息。