063｜FurnitureBench：真实装配的长期误差

系列首页 · 上一篇 · 下一篇

原论文：FurnitureBench: Reproducible Real-World Benchmark for Long-Horizon Complex Manipulation，Minho Heo、Youngwoon Lee、Doohyun Lee、Joseph J. Lim，2023，本文对应 arXiv v1。论文。

先接住前作的问题

RLBench明确了任务、变体与成功谓词，但模拟器能复位不表示真实装配能重复到同一接触状态。FurnitureBench把可打印零件、初始化工具和阶段判定一起规范，追问实验室之间怎样真正比较同一道装配题。

五个前置概念

五个前置概念：

1. 离线学习：训练时不能通过新交互即时补充数据。
2. 分布偏移：执行时进入了示范很少覆盖的观测区域。
3. 操作空间控制：在末端位姿层表达动作，由底层控制器落实。
4. 接触丰富任务：运动取决于碰撞、摩擦、装配间隙等相互作用。
5. 实验混杂变量：算法之外同时变化、也会影响成绩的因素。

一、问题设定：真实装配怎样获得可重复的起点与评分

把桌腿拿到桌面附近，与真正把螺纹对准并拧紧，是两种难度。前者容忍厘米级误差，后者可能被一次接触改变后续全部状态。FurnitureBench 把这种差别变成了可以重复测量的机器人学习问题。

这是以真实机器人为主要对象的离线模仿学习与离线强化学习基准。平台使用 Franka Panda，策略读取前方与腕部图像以及末端位姿、速度和夹爪宽度，输出末端增量动作。论文的控制接口为 10 Hz；底层控制器负责将动作转成机器人运动。AprilTag 估计的物体位姿用于环境配置等流程，不作为这些视觉策略的输入。具体接口见原文 §IV-A、附录 B。

研究要区分三个概念：

• 动作：当前控制周期移动、转动或开合夹爪。
• 阶段：例如抓起桌腿、把它移到孔附近。
• 装配成功：零件确实连接，并达到规定的任务终点。

阶段完成分数能够区分“毫无进展”和“卡在最后一步”，但它不能替代成品成功率。如果策略越来越擅长搬运，却永远不会插入，平均阶段数仍可能变高。

终止也有具体操作规则：完成、停止运动过久、危险动作或超出步数都会结束试验。危险终止属于评估流程，并不是策略已经学会风险约束。完整任务和单技能实验使用不同初始条件，因此二者的成功率不能直接互换。

二、把硬件、复位与阶段协议作为测量流程

实验证据也相当直接：所测方法在完整装配上推进有限，简化到一条桌腿并增加示范后才出现可观成功率。本文最值得学的思想是：设计能暴露失败结构的测量方法，也是算法研究的基础。

原图怎么读： 图9，原论文图注与图像。纵轴是完成的阶段数，误差条是十次回合中的最小/最大值；背景颜色标记部件装配阶段。只有达到图中最高阶段才对应全任务完成。

论文新增的是基准，不是 IQL

BC 拟合示范动作；IQL 使用示范数据中的回报信息，对行为进行优势加权。这些都是已有方法。本论文改变的是它们被训练和衡量的场景，并提供不同视觉编码器的组合。

下面用教学记号解释两类目标，而不是声称这是 FurnitureBench 发明的公式：

$$L_{\rm BC}(\theta) =\mathbb E_{(o,a)\sim D}\big[-\log\pi_\theta(a\mid o)\big].$$

$o$ 是视觉与机器人观测，$a$ 是示范动作，$D$ 是离线数据。若策略输出固定方差的高斯分布，这个目标与平方误差只差比例和常数。它关心“像不像示范”，不会直接知道某次对齐偏差会导致随后拧入失败。

IQL 的教学核心可以写成：

$$L_V=\mathbb E_D\!\left[ |\tau-\mathbf 1_{\delta<0}|\delta^2 \right],\qquad \delta=Q(o,a)-V(o),$$

$$L_\pi=-\mathbb E_D\!\left[ \exp\{\beta[Q(o,a)-V(o)]\} \log\pi_\theta(a\mid o) \right].$$

$Q$ 评价数据动作，$V$ 用非对称回归估计较好的数据行为水平，$\tau$ 控制这种倾向，$\beta$ 控制优势加权强度。真实实现还需要 TD 更新、数值限制和目标网络等细节；完整推导见本系列 IQL 篇。这些目标不会凭空补充数据中缺失的纠错动作。

环境标准化为何与学习有关

初始分布可以记为 $p_0(s)$。某方法的测试成功率实际是：

$$J_{\rm success}(\pi,p_0) =\mathbb E_{s_0\sim p_0,\;\pi} [\mathbf 1\{\text{完整任务成功}\}].$$

即使策略 $\pi$ 完全不变，只把零件放得更方便，分数也可能提高。于是“固定并记录如何重置”不是行政细节，而是在控制公式里的一个自变量。

同理，图像到真实空间的对应关系受到相机外参影响。两台相机型号相同，不意味着两幅图像代表相同的动作条件。对视觉策略而言，桌面颜色、镜头位置和裁剪方法都属于输入分布。

其中人工复位不能在计时中悄悄消失。若比较“每小时成功装配次数”，必须把复位、异常处理和推理延迟一起纳入。

阶段分数可帮助定位瓶颈，但不宜替代整件家具装好。教学设定：10回合全都稳定完成前4个阶段、最后插装全失败，平均阶段数很好，完整成功却为0。增加容易阶段的重复数据可能提高均方误差，却不产生最后接触所需恢复动作。

原文低随机性桌腿实验中，抓腿与插入表现差异很大；这比只看总成功更有诊断力。高随机性评估还使用规定的初始姿态集合，不能把名称解读成测试时任意均匀采样所有物理配置。比较方法应复用同一复位协议并报告失败所在阶段。原文阶段分析及初始化附录

一个小例子与前置知识

以下是自构例子，未运行。设装一条桌腿有五阶段，策略 A 每次完成前三阶段就卡住，策略 B 一半回合完全成功、另一半连第一阶段都未完成。A 的平均阶段数为 3，B 为 2.5；但完整成功率分别是 0 和 50%。如果只看平均进度，结论恰好反过来。

这不是说阶段指标错误，而是指标服务于不同问题。A 的进度稳定，适合研究插入模块；B 已展示贯通能力，适合研究前端抓取鲁棒性。把回合级分布保留下来，才不会用单一平均掩盖两种失败结构。

三、固定真实零件、初始化与评估记录

这套流程的输入是硬件和实验配置，输出是可比较的装配记录，策略可以使用既有学习器。真实复位与相机标定必须随实验版本记录，不能只保存一个模型文件。

输入：指定家具、初始随机性等级、离线示范、固定训练配置
训练：
    选择 BC 或 IQL，并声明视觉编码器是否使用外部预训练
    只用指定的数据分区训练，保存策略与动作归一化参数
评估每个回合：
    由初始化工具给出目标零件位姿
    人工按工具提示复位，记录实际配置
    读取策略允许使用的相机和机器人观测
    循环：
        策略输出末端增量与夹爪命令
        底层控制器执行；重新读取观测
        记录已完成阶段、连接零件数和终止原因
        达到协议终止条件时结束
输出：
    完整成功率、阶段进度分布、每个失败位置与环境配置

四、将阶段推进与完整装配成功分开

它的主要贡献不是新的策略梯度，而是一套真实装配基准：可打印零件、相机与机械臂配置、初始状态工具、示范数据和对应仿真环境。作者希望实验室之间比较同一道题，而不是各自在不同桌面上挑一段成功视频。

需要额外留意基线公平性。BC-ResNet18 与 IQL-R3M 同时改变了学习算法和视觉预训练，不能仅凭两者差距归因于“离线 RL 更好”。仿真中的编码器比较补充了证据，但真实场景仍需同编码器、同预算的对照来隔离原因。

“高随机性”也有训练和评估两种口径：附录 C-C 指出，其训练数据来自随机初始配置，但一致性评估使用三个预定义配置。因此它没有直接测量所有可能零件摆放上的期望表现。

五组证据该怎样读

下列定位依据原论文正文与附录。

第一组：图4 与附录 C-A，环境能否重建。 新环境平均达到原环境阶段表现的 84%。这不是 84% 的完整装配成功率。它支持搭建协议具有一定可重复性，同时保留了环境变化带来的性能损失；预装软件和现成零件也意味着“三小时搭建”不能当成从采购到部署的总成本。

第二组：表III，单技能在哪里失败。 表格把抓取、放置、插入、拧紧分开。最有用的阅读方式是按同一技能比较，而不是只算一列总平均。技能从人工设置的中间状态开始，结果说明局部能力；它不能证明策略能从完整任务起点稳定到达这些状态。

第三组：图9，完整任务为什么要保留进度指标。 完整装配表现远弱于看起来熟练的单个动作。图中的纵轴是完成阶段数，背景分区表示零件连接。一个达到第三阶段的回合与组装好三个零件有根本差别。

第四组：表IV，简化任务上的数据与传感器。 one_leg 的低随机性阶段均值在混合数据条件下由 3.8 增至 4.6；但混合条件同时增加样本数量和分布覆盖，不能据此独立估计“多样性”的因果贡献。腕部视角的实验则提醒我们：信息缺失可能先于算法瓶颈。

第五组：图7、图10，仿真是否可作筛选。 作者观察到部分算法和数据规模趋势相关。这支持把仿真作为早期筛选工具，不证明两个环境的数值可互换，更不证明从仿真直接部署。局部排序一致也不保证新算法的排序仍一致。

论文对移除或更换 AprilTag 的实验说明策略并非完全依赖原标记图案。但性能下降仍值得保留：更严谨的结论是“去掉标记后仍有能力”，而不是已经证明视觉特征完全不利用标记。

五、接触误差和跨环境差异仍需记录

作者在结论中承认模型尺寸、单臂操作和仿真现实差距。这里还有三点分析：

一是成功示范提供了“正确道路”，但很少描述碰撞后的恢复。如果失败主要发生在训练支持集之外，继续增加同一条成功路径上的近重复帧，收益可能有限。

二是阶段数天然偏向既定分解。一个采用不同顺序、但最终组装成功的策略，可能不适合用同一套线性阶段标注评价。成功终点和阶段诊断最好同时保存。

三是最小最大误差条只描述十次回合的极值；它不代表不同训练随机种子下的稳定性。想判断小幅提升是否可信，应同时增加训练重复与评估回合，而不是只展示更平滑的曲线。

追问：成功阶段数增加时，怎样判断最后一个困难阶段是否仍完全没进步？

参考答案：应给出逐阶段条件成功率和完整任务完成率，而非只报平均推进阶段。更多容易前缀完成会抬高均值，却可能不改变螺纹对齐等末端瓶颈。还需固定初始难度与失败后的重试规则，使阶段统计与实际装配目标保持对应。

六、沿机制关系继续读

FurnitureBench与RLBench是平行基准，但本篇直接承担真机复位与接触误差；它组合IQL等既有学习器，不发明其价值更新。后续数据生成方法还需另验装配物理条件。

七、自测三题与参考答案

问题1：两个实验室使用同一个模型文件、同一个随机种子，为什么还不一定得到可比成绩？

答案：随机种子控制软件随机性，不能控制相机实际外参、照明、打印公差、摩擦和人工初始摆放。成功率是策略与初始分布、观测过程和动力学的共同结果。应使用统一复位协议，记录硬件配置，并在相同测试配置上比较。

问题2：单技能插入成功率很高，为什么完整装配仍可能失败？

答案：单技能测试通常从规定的接近成功区域开始。完整任务的上游抓取会改变握持位置、倾角和物体位置，使插入面对不同状态；局部策略可能从未学过这些情况。需要评估技能交接状态，而不是直接把孤立成功率相乘。

问题3：混合数据提高阶段数，怎样验证究竟来自更多数据还是更广覆盖？

答案：做数量与覆盖的二因素对照：固定总条数比较单一和混合分布，再固定分布增加条数。所有组保持编码器、训练更新和评估初始配置一致，同时报告完整成功率与各阶段失败。这样才能把数据量收益与多样性收益分开。