Home / 机器人学习 / 手眼协调：从大规模抓取中学习闭环视觉控制

014｜手眼协调：从大规模抓取中学习闭环视觉控制

原论文：Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection，Sergey Levine 等，2016。原文。

先接住前作的问题

视觉运动策略提供一个阅读起点。视觉运动GPS用受控局部教师训练力矩策略，但收集方式仍依赖训练时的额外信息。Hand-Eye从抓取终局结果构造成功预测器，再反复看图搜索动作；它转向大规模自监督闭环，未沿用同一教师和优化目标。

五个前置概念

五个前置概念是：视觉伺服用新图像不断修正运动；自监督通过任务结果自动产生标签；动作条件预测器对给定动作估计结果；CEM反复采样并保留高分候选来优化动作；闭环评估让每一步观测影响后续行动。

一、问题设定：物体被碰动后怎样重新选择抓取动作

看一眼物体，计算一个抓取点，再闭眼执行，在真实环境里经常不够。物体可能被夹爪碰动，执行器存在误差，相机与机械臂的相对位置也可能略有变化。这篇论文把抓取分成两个部分：神经网络判断“这样移动以后能不能抓住”，控制器不断选择动作，并在收到新图像后重新判断。

任务是垂直夹取，动作描述末端执行器的三维平移及绕竖直轴的转角。网络接收当前图像、抓取开始前的场景图像和候选动作。开始前图像不被夹爪遮挡，帮助模型理解被遮挡的区域。

控制器不需要显式手眼标定矩阵，但需要机器人能够执行任务空间运动。因而“无需标定”不等于完全没有几何、坐标系或底层控制。网络学习的是视觉与机器人动作接口的对应关系，底层仍负责执行命令。

这篇工作与强化学习有关，但不应简单叫作标准 DQN。其训练主要是抓取结果的监督分类；第4.3节另外讨论在什么任务假设下可以赋予 Q 函数解释。

二、把终局抓取结果变成动作条件监督

研究的另一个重点是数据。多个相似机械臂共同尝试抓取，自动记录成功与失败，共享一个预测器。它展示了机器人学习的一种规模化路径：让任务结果自身产生训练信号，再把经验用于闭环控制。

对第 $i$ 次尝试，记录图像 $I_t^i$ 、末端位姿 $p_t^i$ 和最终抓取标签 $\ell_i$ 。训练样本为：

$(I_t^i,\;p_T^i-p_t^i,\;\ell_i).$

关键在第二项：它表示当前到最终抓取位姿的相对运动，不是下一步瞬时动作 $p_{t+1}-p_t$ 。这是原文图3特别强调的设计。整次尝试的结果为中间观测提供监督，扩大可用样本数量。

设成功预测器为 $g_\theta(I_0,I_t,v)\in(0,1)$ ，训练使用二元交叉熵：

$L(\theta)=- \mathbb E[\ell\log g_\theta+(1-\ell)\log(1-g_\theta)].$

$g$ 不输出未来图像，也没有显式预测物体动力学。其分数回答一个受数据生成过程限定的问题：在这种视觉情境和相对位移下，抓取最终成功的可能性如何。

从理论上把多步终点位移当作一次动作，需要对中间路径影响作出限制。若路径中会推动物体、碰到障碍或改变接触，仅有最终位移未必充分决定结果。因此第4.3节的解释有条件，不能把上述标签构造推广为任意长程任务的正确 Bellman 目标。

控制时为什么使用 CEM

每次观察后，控制器寻找：

$v^\star=\arg\max_{v\in\mathcal V}g_\theta(I_0,I_t,v),$

$\mathcal V$ 是允许的动作集合。原文用 CEM 近似搜索：采样候选、按分数选精英、拟合分布，再次采样。这与训练交叉熵只是名称相似，前者是动作优化算法，后者是分类损失。

控制器比较“现在闭合”与“先移动”的分数比值：

$\rho=\frac{g_\theta(I_0,I_t,0)} {g_\theta(I_0,I_t,v^\star)}.$

接近1表示移动获益有限，可以直接抓；比值低则先抬高并重新定位，减少横向碰撞。原文的停止与抬升阈值是人为启发式，不能写成网络自主学出的所有控制逻辑。若实现遇到分母接近零，需要数值保护；这属于工程补充，不是论文消融结论。

模型优化的是成功标签似然，机制改善的是视觉反馈与动作选择，最终评价的是物理抓取失败率。这三层之间需要实验连接，分类准确率本身不能替代抓取成功率。

终点标签的重复使用会带来统计依赖。教学设定：一次失败抓取有20帧，把每帧都配上最终失败标签，得到20个训练对，但仍只有一次物理失败事件。如果按帧随机切分，同次尝试的相邻画面可能同时进入训练和测试，测试误差会过于乐观。合理的核查单位至少应是完整抓取尝试，跨物体测试还要再按物体身份隔离。

动作条件也必须对齐：当前坐标 $p_t=0.2$ 、最终位置 $p_T=0.5$ 时标签位移为0.3；它不是下一控制周期就应走0.3。搜索器评分的终点意图与闭环执行的短移动之间，仍有控制规则负责连接。原文图3的标签定义因此是理解整套系统的入口。原文数据构造

一个具体小例子

自构例子，未运行：夹爪第一次接近海绵时，把海绵推偏。开环方案继续沿原计划下降，可能扑空；闭环方案从新图像重新定位，再选择适合当前场景的动作。

假设立即闭合得分0.30，最佳移动得分0.75，比例为0.4，控制器选择重新抬升定位。移动后两者分别为0.72与0.76，比例约0.95，则直接闭合。这个计算解释启发式，不保证网络分数经过完美概率校准。

三、用成功标签训练评分器并反复搜索动作

一段抓取被拆成多个监督样本，终局标签用于拟合动作条件成功率；执行时则在新图像上重新搜索。训练标签来自完整尝试，闭环修正来自重复观察，两者缺一不可。

采集阶段：
    多台相似机器人执行抓取尝试
    保存各时刻图像、位姿和最终自动成功标签
    将每个中间时刻与最终位姿组成相对动作训练样本
    周期性用全部累计样本训练成功预测器
执行阶段：
    保存抓取前图像
    重复：
        读取当前图像
        用 CEM 在动作约束内搜索高成功概率动作
        比较立即闭合与移动后抓取的分数
        若移动收益很小：闭合夹爪并结束
        否则按启发式决定抬升，执行移动
        等待新的图像，重新规划

四、核对机械臂数量、物体划分与闭环对照

多个机械臂共享数据提高覆盖，也改变了采集来源。实验中的物体划分、尝试次数和闭环对照需要一起核对，不能只把图像切片数量当成独立试验数。

作者声称系统能学习手眼协调并容忍一定硬件变化。实验支持的是特定抓取平台、未见物体和受控桌面环境下的表现。

原图怎么读： 图3，原论文图注与图像。每帧配的是“当前位姿到最终位姿”的位移及整个抓取的终局标签。沿图中一条抓取序列看标签如何复用，就能区分帧样本数与独立抓取次数。

Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection，图3：读图对应本段的“从轨迹生成终点相对动作标签”；说明数据构造，不是通用多步RL目标。 — 原图摘引：Sergey Levine 等，2016，PDF第4页，图3。核对原文。读图对应本段的“从轨迹生成终点相对动作标签”；说明数据构造，不是通用多步RL目标。原引用入口

结果图怎么读： 内嵌表1直接比较抓取失败率，越低越好。上半部不放回实验分别统计前10、20、30次抓取，后段剩下的物体更难；下半部是放回条件的100次尝试。不同分母与物体分布必须分开，不能把表中10%误读成抓取成功率。

原引用入口

Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection，表1：内嵌表1直接比较抓取失败率，越低越好。上半部不放回实验分别统计前10、20、30次抓取，后段剩下的物体更难；下半部是放回条件的100次尝试。不同分母与物体分布必须分开，不能把表中10%误读成抓取成功率。 — 实验图原图摘引：Sergey Levine 等，2016，PDF第8页，表1。核对原文。原版权保留。

项目	原文设置与解释
平台	相似的七自由度机械臂、双指夹爪、肩后相机
数据	约80万次真实抓取，约两个月，运行时使用6–14台机器人
输入	抓取预测使用单目 RGB；平台有深度记录不等于网络用了深度
自动标签	夹爪开度与拿起后投放图像差异相结合
对照	相同数据和网络的开环变体、手工深度抓取、随机动作
测试对象	未出现在训练中的物体，仍在相似容器和平台设置中
评估协议	放回物体的100次尝试，以及不放回条件下4轮清空测试
计算	第4.2节给出约2–5 Hz 的伺服运行频率；不等同底层关节控制频率
不确定性	报告具体尝试数与重复轮次，不能视为多个独立网络随机种子实验

数据规模还要区分“抓取次数”和“图像训练样本”。一条轨迹提供多个图像样本，且后期轨迹变长，所以图像数不能直接当成独立物理尝试次数。

模型训练4次是采集期间的策略刷新次数，也不是神经网络只做4次梯度更新。机器人论文里“迭代”经常同时指系统迭代、训练更新和动作优化迭代，阅读时需要分别标清。

四组证据如何解释

以下定位基于原论文全文。

位置	比较与观察	支持和限制
图3、第4.1节	从轨迹生成终点相对动作标签	说明数据构造，不是通用多步RL目标
表1	放回条件闭环失败率20%，开环43%，手工35%	支持该硬件与测试对象下闭环优势
表2	数据累计后失败率降低	支持数据价值，但数据数量与采样策略、轨迹长度共同变化
图9、第6.4节	软硬物体出现不同抓法	提供有趣定性行为，不证明学到了可解释材料物理模型
第7节	作者明确指出新平台、货架等场景的泛化限制	不应把一定变化鲁棒写成任意跨机器人泛化

Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection，图9：读图对应本段的“软硬物体出现不同抓法”；提供有趣定性行为，不证明学到了可解释材料物理模型。 — 原图摘引：Sergey Levine 等，2016，HTML S6.F9，图9。核对原文。读图对应本段的“软硬物体出现不同抓法”；提供有趣定性行为，不证明学到了可解释材料物理模型。

表1列的是失败率，越低越好。闭环相对开环减少23个百分点，若计算相对失败减少则为 $(43-20)/43\approx53.5\%$ 。这两个数含义不同，而且都不能解释成物体泛化范围扩大了相同比例。

不放回条件更能揭露“反复抓容易物体”的问题：随着易抓物体被拿走，余下物体更难。但清空过程改变场景分布，因此不能把后30次统计和放回条件当成同一分布下的独立试验。

五、成功预测仍受采集分布和专用接口限制

其成本是真机经验昂贵。自监督省去了逐条人工标注，却没有消除物体补充、设备维护和失败磨损。自动标签也可能偏向容易被检测的抓取结果，检查标签误差应成为复现的一部分；这里是分析，不是本文已报告的标签错误率。

另外，物体新颖不等于场景新颖。平面容器上的垂直夹取与货架侧向取物拥有不同几何约束。作者已承认这种范围。准确理解这点，才能看清后续通用机器人模型在数据、动作表达与长程任务上需要新增什么能力。

追问：同一次抓取拆成许多训练样本，能否把样本数当成独立试验数？

参考答案：不能。同一回合中的图像和动作共享终局标签，样本之间相关，也可能共同依赖某个物体与初始位置。比较数据规模时应分别记录抓取尝试数和切片数，并按回合或物体划分留出数据。否则相邻帧跨集合会把记住一次尝试误当成跨物体泛化。

六、沿机制关系继续读

与Dex-Net 2.0是平行抓取路线：本篇从真实抓取结果学成功预测，Dex-Net把解析接触模型转成合成监督；QT-Opt进一步引入多步Bellman学习，属于这条视觉抓取线的历史发展。

七、自测三题与参考答案

问题1：无需手眼标定是不是说明系统不依赖坐标系？

答案：不是。动作仍定义在机器人任务空间，底层要执行对应运动。省去的是显式相机到机器人的精确变换，视觉与动作的对应关系由数据和反馈承担。

问题2：为什么不能拿表2严格拟合纯数据量 scaling law？

答案：后期数据不仅更多，轨迹更长、采样策略更强、成功比例也改变了。要分离数量效应，应固定数据分布和训练预算，并随机抽取不同规模子集作重复实验。

问题3：成功预测分数很高，闭环为什么仍然有价值？

答案：分数基于当前图像与训练经验，执行会改变场景，也有误差。新图像能够纠正过期预测。模型的信心不消除环境变化，更不等于动作执行一定准确。