077｜DexCap：便携式灵巧操作数据采集

系列首页 · 上一篇 · 下一篇

原论文：DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation，2024，arXiv v1。论文。

先接住前作的问题

DP3用三维观察减少几何学习负担，但它仍需要机器人动作标签。DexCap把人类动捕、定位和深度组合成可重定向的数据，DexIL再学习机器人策略；新的问题是观察与动作如何一起跨过身体差异。

五个前置概念

五个前置概念：

• 动捕：测量身体或手部的运动轨迹。
• 手眼/多传感器标定：建立不同传感器坐标之间的转换。
• 逆运动学：从目标指尖或末端位置求关节配置。
• 形体鸿沟：人体与机器人几何、接触和动力学的差异。
• 残差纠正：在当前策略输出上叠加小修改，而非完全替代。

一、问题设定：人类手部采集怎样形成机器人可用的监督

遥操作灵巧手很慢，纯视频估计人手又常被物体遮挡。DexCap 把手指动捕、手腕定位和胸前深度相机组合起来，让人在没有机器人的地方也能采集三维操作数据。

学习器需要两种东西：当时看到什么，以及应发给机器人什么命令。人手在图像里的位置并不直接等于机械臂末端在世界中的六维位姿；手指被遮挡时，指尖接触点还可能估错。

DexCap分别解决手指相对手背的位置、手腕的全局位姿、胸部移动时相机的世界位姿。所有流对齐到共同坐标，才能把环境观察与手部运动绑定。

部署机器人是双 Franka 加四指 LEAP 手。人有五指，LEAP有四指，尺度也不同，因此“动作捕捉准确”并不意味着“机器人动作正确”。丢弃小指、匹配其余指尖是一种具体对应假设。

学习阶段是离线行为克隆，不使用奖励或critic。之后人的纠正属于数据增补与监督微调，也不是让策略自行根据回报优化。任务成功率是外部评价指标。系统与算法：§III–IV。

二、同步坐标、重定向观察与动作并加入纠正

与硬件配套的 DexIL 将人手数据重定向到机器人，使用点云扩散策略学习；困难接触任务再加入人在机器人执行中的纠正。

1. 同步采集与坐标系

手套记录指尖运动，腕部 T265 通过视觉惯性定位记录手腕位姿，胸前深度相机记录环境，另一台胸部跟踪相机估计相机运动。启动时用固定卡槽建立相对变换，再把跟踪相机装到手上。

教学上，若手腕坐标为$T_{WH}$，指尖在腕部坐标为$p_H$，则：

$$p_W=T_{WH}[p_H^\top,1]^\top.$$

环境点云同样转换到$W$。两者必须使用一致时刻和标定；否则即使每个传感器单独准确，也可能得到“手指穿过物体”的错误训练样本。

论文的便携设备造价是历史硬件口径，不含用于执行与评估的整套双臂机器人。便携采集并不等于低成本完成整个机器人实验。

2. 重定向不只改动作，也改观察

机器人手通过指尖IK匹配人类接触位置，腕姿提供初始化。末端位姿与手指关节组成状态$s_t$，初始人手数据动作标签取下一目标状态$a_t=s_{t+1}$。

环境RGB-D转点云并稳定到世界坐标；还可以将场景与手轨迹一起调整到机器人可达区域，删除无关表面，加入重定向后的机器人手点。这样减少训练看到人手、部署看到机器人手的外观差异。

不能把加入机器人手点描述成渲染出了真实机器人接触结果。它主要修正可见形体表示，并没有改变原来人手与物体的动力学。

3. 点云扩散行为克隆

Perceiver压缩点集合，结合本体历史作为动作扩散条件。教学损失写为：

$$\mathcal L_{\rm diff} =\mathbb E\|\epsilon-\epsilon_\theta(A_k,k,P_{t-h:t},s_{t-h:t})\|^2,$$

其中$P$是点云，$A_k$是加噪动作序列。它学习多种可行运动的分布，而非直接平均不同抓取模式。

4. 纠正分两种模式

小误差用残差修改策略动作，大误差可用脚踏切换到遥操作接管。收集到的纠正数据与初始数据按来源对半采样微调。

关键细节是记录发送给控制器的命令，不是只记录机器人实际到达位置。接触时命令与实际位置的偏差可能产生夹持力；如果把实际位置作为目标回写，会丢掉施力意图。

统一坐标还需要统一时间。教学设手腕速度为0.5米/秒，深度帧与手腕位姿错开40毫秒，即使两者单独没有测量误差，位置错配也约为2厘米。这已经足以把指尖从物体表面移到内部，产生互相矛盾的观察—动作监督。

因此外参、时间戳、重采样和遮挡处理应一起审核。给点云添加机器人手外观只能补形体表示，不能修复错误时刻的接触几何，更不能恢复人手施加而机器人无法复现的力。原文便携跟踪与点云重定向系统的价值，建立在这些采集接口可靠的前提上。原文数据采集与重定向

自构例子与前置概念

教学例子，未运行。 人拿剪刀时，拇指深入一个环孔，另一指顶住另一个环孔。机器人手较大，即使两个指尖落在对应位置，手指中节也可能挡在环外。IK误差很小，工具依旧无法稳定受力，这不是视觉定位精度能单独解决的。

人类纠正让目标关节继续闭合，而接触中的实际关节只移动少许。记录“命令更闭合”能保留施力偏差；只记录实际关节位置，下一次控制器可能不再产生足够握力。

再看视角：人弯腰时胸部相机变低，未经稳定的图像变化很大；转换到世界坐标后，桌上同一物体位置较稳定。但若SLAM漂移，两只手与点云可能逐渐错位，所以统一坐标仍需要质量验证。

三、同步采集人手运动并重定向到机器人反馈

动作标签要保持坐标和时间一致，观察中的人体与机器人差异也需处理。困难接触再加入实际机器人纠正，不能把全部效果归因于无机器人采集。

采集人手数据：
    标定手套、腕部定位和胸部相机
    同步记录手指、手腕、胸部位姿与RGB-D
    标注任务起止，剔除复位片段

转换与学习：
    把点云和手轨迹转到统一机器人工作区
    指尖IK得到机器人腕部与手指目标
    用点云历史训练扩散动作策略

可选纠正：
    策略执行时，人提供残差或切换接管
    保存实际观察与发出的纠正命令
    初始数据和纠正数据等概率混合，微调策略

自主评估：
    固定模型，用机器人点云和本体状态闭环执行

四、区分人类数据收益与机器人纠正收益

作者证明一些任务可只用人手数据训练机器人策略。它没有证明所有灵巧任务都能免除机器人数据：剪纸与准备茶的完整成功，依赖额外纠正数据且成功率仍有限。

原图怎么读： 图8，原论文图注与图像。本图比较遮挡下动捕数据与视觉姿态估计的质量，检验的是采集接口。数据更准能帮助学习，但并不直接给出剪纸等下游任务的完整成功率。

依据 §V 与附录 A-C/A-E。机器人控制并非严格每个策略查询都固定间隔：到目标误差足够小才查询下一动作，超过最多10步也会继续。因此记录的20Hz接口与有效策略更新节奏不能简单等同。

包装的“野外数据”是实验室之外采集的人手示范，再转到机器人工作空间学习，并不是机器人在任意野外场景自主工作。实验中复用了同一胸前观察相机，也降低了部分传感器差异。

五处证据：跨形体学习在哪里成功，在哪里仍缺数据

证据1：图8/9的采集质量与吞吐。 论文展示遮挡时动捕优于视觉估计的例子，收球数据采集约比遥操作快三倍。它支持便携系统对这一采集任务的价值；不能把定性画面转成毫米精度证明，也不能把一项吞吐比当所有任务的固定倍数。

证据2：表I 的纯动捕学习。 默认方法三任务平均约72%，但收球60%低于原始点云扩散的70%。Perceiver整体更好，仍不意味着每项都优于PointNet。图像方法失败也发生在明显人—机器人外观差异下，不能理解成RGB普遍不适合灵巧控制。

证据3：表II 的包装泛化。 初始数据完整任务47%，未见物体40%；加30次纠正后分别57%、42%。提升主要在已训练物体，未见实例增益很小。不能把“纠正有效”扩大为自动提高全部分布外泛化。

证据4：表III/IV 的困难任务。 剪纸与准备茶在纯动捕数据下完整成功均为0，纠正后分别20%与25%。这些结果最能说明接触和工具使用的形体鸿沟仍在。剪纸成功标准是切开纸带超过3毫米，不能写成已验证完整精密裁剪作业。

证据5：附录 A-G 的标签选择。 纠正记录控制命令，结合作者对剪刀握持、箱体稳定的失败解释，支持几何轨迹不足以表达全部施力需求。现有实验没有直接测量并匹配人体与机器人接触力，因此“已解决动力学对应”过强。实验与实现附录。

这些对照主要固定初始数据比较架构，纠正阶段则新增机器人分布数据。性能提高不能只归到微调算法；新增状态覆盖、机器人观察与命令标签同时产生作用。

原机制图表补充定位：图9。

五、手部接触差异不能只靠几何映射消除

作者直接观察到缺乏力信息、盖子离开相机视野以及精细工具抓取失败。本文的分析是：指尖位置匹配只约束接触几何，不约束手掌接触、摩擦、闭合力和工具柄内部接触。越是依赖这些变量，纯位置重定向越难。

“无需机器人采集初始数据”减少了机器人占用，但并不删除预处理成本。人工标注任务边界、点云工作区调整、重定向质量检查与后续纠正都需要资源。论文展示便携潜力，尚未形成互联网规模的实际数据验证。

动作纠正也受人反应延迟影响。错误开始到人接管之间的标签如何处理，会影响模型究竟学习恢复还是继续错误；把整段纠正轨迹视为同质专家数据，需要谨慎设计。

追问：人手和机器人动作坐标对齐了，为什么视觉输入也可能需要处理？

参考答案：同一位置的人手与机器人有不同外形和遮挡，策略可能把身体外观当作动作线索。只改标签会留下观察分布差异。应分开检查场景点云、身体区域和重定向动作，在相同任务与纠正预算下比较；坐标一致只是跨形体监督的一层条件。

六、沿机制关系继续读

与DP3是平行的点云条件扩散路线，DexCap重点解决人类灵巧示范怎样转成机器人数据；后作DexMimicGen扩充机器人示范，不能把人手采集和模拟生成的成本混算。

七、自测三题与参考答案

问题1：DexCap与DexIL分别是什么？

答案：DexCap是采集三维手部和环境数据的设备系统；DexIL是把数据重定向并训练机器人策略的算法流程。设备记录准确与策略任务成功是两个独立层面的评价，不能互相替代。

问题2：为什么要记录纠正命令，而不是只记录机器人实际到达的位置？

答案：位置控制中目标与实际位置的偏差可以产生接触力。实际位置不包含完整施力意图；把它直接当目标，可能使下一次执行失去夹持或推压需要的力。

问题3：这篇证明了仅靠人类视频就能学会剪纸吗？

答案：没有。初始数据不是普通视频，而是动捕、定位和深度同步数据；剪纸纯初始数据完整成功为0，加入在机人类纠正后为20%。准确理解需要同时保留数据类型、纠正条件和具体成功标准。