Home / 机器人学习 / QT-Opt：大规模视觉抓取的 Q 学习

030｜QT-Opt：大规模视觉抓取的 Q 学习

系列首页 · 上一篇 · 下一篇

原论文：QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation，Dmitry Kalashnikov 等，2018。论文。

先接住前作的问题

手眼协调提供一个阅读起点。Hand-Eye用抓取结果评价动作，但抓前推倒物体、失败后重抓需要把当前动作与更晚成功连接起来。QT-Opt转向多步Bellman价值并以CEM搜索连续动作；新增的是时间信用与数据系统，不只是更大抓取分类器。

五个前置概念

五个前置概念：Q 函数评价动作及后续结果；软 TD 标签可为连续估计值；CEM搜索高分候选；离策略学习复用旧策略数据；闭环控制每步用新观测调整动作。

一、问题设定：怎样学到现在不抓却让以后更好抓的动作

看到瓶子直立时，最好的动作可能先把它推倒；物体滑出夹爪时，最好的动作可能重新张开并调整。单次抓点评分很难表示这些“现在不抓，之后更好抓”的选择。QT-Opt 将移动、开合与结束都纳入连续决策，用最终抓取结果训练视觉 Q 函数。

七台 KUKA LBR IIWA 各配两指夹爪和肩后 RGB 相机。输入是 472×472 图像，还包括夹爪开闭状态与相对箱底高度。论文部分图片出现腕部相机，但实验没有使用它。说“只用 RGB”指主要视觉模态，并不意味着网络完全没有本体状态。

动作包括三维位置变化、用正余弦表示的偏航角变化、开夹爪、闭夹爪与结束命令。动作向量含连续和离散成分，不能直接等同于七维关节力矩。最多执行 20 步，或策略主动结束。最终夹爪在要求高度上持有物体记成功，自动标签通过放下物体后的背景差分等流程判定。

论文将当前观测近似作为 Markov 状态，但也承认 POMDP 更一般。单帧不能完整确定被遮挡物体、摩擦或物体是否稳定夹住；闭环图像可以帮助修正，仍不等于所有隐变量都已观测。

这是无模型、离策略强化学习，可先离线训练，再通过在线新数据联合微调。这里“on-policy 数据”指当时策略新采集的数据，学习算法仍使用回放与 Q 更新，不是改成 PPO 一类在线策略梯度。

二、用多步Q值和在线搜索替代单次抓点评分

它不训练显式 Actor，而是对 Q 网络使用 CEM 搜索当前动作。旧机器人日志和新采集的数据一起训练，使大量不同物体的经验能够复用。算法之外，异步目标生成、分布式训练和自动结果标记同样是系统的重要部分。

原文最高 96% 成功率来自 58 万次历史抓取加 2.8 万次在线联合微调，并采用抓到后放回的测试协议；只用历史数据为 87%。这些条件是结论的一部分。

1. 用长期 Q 值代替下一次抓取分类

网络输入观测 ss 与候选动作 aa，输出 Qθ(s,a)Q_\theta(s,a)。教学形式的标签为：

a∗=CEMargmax⁡aQθˉ1(s′,a),a^*=\operatorname{CEMargmax}_a Q_{\bar\theta_1}(s',a),

y=r+γ(1−d)min⁡i=1,2Qθˉi(s′,a∗).y=r+\gamma(1-d)\min_{i=1,2} Q_{\bar\theta_i}(s',a^*).

dd 是终止标志。CEM 近似找出目标 Q 下的最好动作，两个滞后目标网络取较小值，限制乐观估计。它们是同一学习网络的不同滞后版本，不是把 TD3 的两个独立训练 Critic 原封不动搬来。

第一目标采用保留旧参数权重 0.9999 的指数平均，第二目标再滞后约 6000 次梯度更新。目标生成也异步进行，因此训练标签可能继续滞后；这是稳定性与吞吐的工程折中。

2. 搜索器取代 Actor

CEM 每轮采样 64 个动作，选最好的 6 个拟合新分布，共两轮。训练生成 TD 目标与真实执行都使用它。相比限定二次型 Q，任意神经网络可表达多个分离抓点；相比 Actor，省去一个需要跟随不断变化 Q 的最大化网络。

代价是每次决策要评价多组候选。动作维数、可行约束和多峰结构会影响搜索效果。两轮 CEM 是近似优化，不保证全局最大值。

3. 交叉熵拟合软标签

网络末端输出有界值，使用交叉熵：

LQ=−E[ylog⁡Qθ(s,a)+(1−y)log⁡(1−Qθ(s,a))].L_Q=-\mathbb E[y\log Q_\theta(s,a) +(1-y)\log(1-Q_\theta(s,a))].

这里 yy 可以是 TD 生成的连续软标签，不只是实际成功的零一标签。网络学习长期评价，因此一次推物动作可以因后续更容易抓住而获高分。

奖励描述需要读细。导言突出终局二元奖励，但第 5 节还使用每步 -0.05 的时间惩罚。原文也说明惩罚理论上可能使标签超出零到一区间，只是在其实验中未观察到该问题。因此不能无条件把所有 Q 输出称为精确成功概率，更不能省掉时间代价后声称完全没有奖励塑形。

4. 数据与目标计算解耦

机器人把转移送入回放系统；约一千个 Bellman 更新作业执行 CEM 并生成标签；十个训练 worker 对 Q 网络更新。约 120 万参数的视觉网络需要多达 1500 万梯度更新。模型规模按今天标准不大，但图像、候选动作和大量重复更新让计算仍很重。

分类式交叉熵为何可以拟合Q？在本文稀疏成功回报与折扣设定下，TD标签 yy 落在 [0,1][0,1]，最小化 −ylog⁡Q−(1−y)log⁡(1−Q)-y\log Q-(1-y)\log(1-Q) 的最优预测仍是条件期望；它不要求每个标签都是硬0/1。若Q由logit zz 经sigmoid得到，梯度为 Q−yQ-y，这是柔性TD标签的合法监督。原文Q目标与附录C

教学例：下一步成功概率0.8、折扣0.9且当前无奖时，目标为0.72，并非给当前动作伪造“已经成功”。CEM负责寻找高Q动作，交叉熵损失负责拟合价值，两者名字相近但数学角色不同。若移到含大额正负奖励任务，必须重新处理值域，不能直接照搬这个概率头。

一个推倒瓶子的教学例子

自构例子，未运行：直立瓶口难夹，直接闭爪的成功率低。向侧面推不会立刻得到奖励，但瓶子倒下后容易横向夹住。若成功轨迹被记录，Bellman 更新能把后续抓取价值传回推瓶动作。纯粹“下一次闭爪能不能成功”的分类器不容易表示这个长期作用。

三、异步生成Q目标并混合新旧抓取经验

CEM既为执行选动作，也参与连续最大值的近似。目标生成与大规模数据训练分开调度，使旧日志和新交互进入同一价值学习流程。

用弱脚本探索策略启动真实抓取，自动记录终局结果
将多机器人历史日志载入回放池
并行重复：
    数据端：当前策略与探索收集新抓取，追加日志
    标签端：抽转移，在下一观测上用 CEM 搜索动作
            用两个滞后目标 Q 的较小值生成 TD 标签
    训练端：对图像、动作和低维状态训练 Q 的交叉熵
            更新目标网络
部署每一步：
    读新图像、夹爪状态与高度
    CEM 搜索移动、开合及结束动作
    执行动作；若未结束，重新观测并再决策

四、把离线87与联合微调96的协议读清

原图怎么读： 图4，原论文图注与图像。八组抓取序列展示预操作、重抓、动态物体与杂乱场景中的行为。它是策略实例证据，成功率分母和不放回清箱条件还需回到实验表。

QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation，图4：八组抓取序列展示预操作、重抓、动态物体与杂乱场景中的行为。它是策略实例证据，成功率分母和不放回清箱条件还需回到实验表。
实验图原图摘引：Dmitry Kalashnikov 等，2018，HTML S6.F4，图4。原图面板重新排版，数据未改。核对原文。原版权保留。
维度 原文设置与意义
数据 约 58 万完整抓取尝试，包含多步转移；不能当成图像张数
采集 七机器人、约一千训练物体；累计约 800 机器人小时，跨数月实验复用
启动探索 成功率约 15–30% 的弱脚本，学习策略达到约 50% 后接管
在线增量 最佳结果额外约 2.8 万次当前策略抓取
放回评估 每台机器人 102 次，共七台；抓起物体放回原箱
清箱评估 28 个物体、30 次尝试，重复五次，报告前 10/20/30 次
对照 早期手眼抓取模型，分别用原数据与适配后的本数据训练
信息条件 同一类肩后视觉系统，QT-Opt 还利用动作设计与低维状态
不确定性 七台多次抓取不等于多个独立训练种子；置信区间未逐项确认

与旧方法比较时，原方法使用约 90 万抓取数据；适配 QT-Opt 数据时，因为动作格式不同，还要过滤部分抓取，留下约 40 万。它们不是完全同一数据、同一动作能力、只替换一个损失函数的纯消融。

作者明确承认，真实数据跨多个实验逐步积累，限制了严格控制变量比较；因此另提供仿真消融。自主采集并不意味着零人力，物体更换、设备维护和实验组织仍存在。

五组证据：96% 的边界在哪里

位置 观察 结论边界
表1 历史训练 87%，联合微调 96%，旧方法 78% 支持数据复用加新经验，但不能把 96% 写成纯离线结果
表1 清箱 前 10/20/30 次成功率 88/88/76% 难物体剩余会改变评估分布，放回成功率不是清箱可靠性
表2 图像 53%，加夹爪状态 58%，再加高度 70% 支持低维状态作用，条件为离线 250 万更新及指定奖励
表3、表4 时间惩罚、学习终止各有帮助 成功来自完整 MDP 设计，不全由 CEM 或 Q 网络解释
表5、表6 裁剪双 Q 为 81% 对 63%；32 万抓取为 78%，58 万为 87% 支持目标稳定与数据规模，但属于各自消融设置

从 78% 到 96% 是增加 18 个百分点；失败率由 22% 到 4%，按四舍五入数计算减少约 81.8%，原失败率是新失败率的 5.5 倍。成功率相对提高与失败率相对下降是不同指标。

在线微调从 87% 到 96%，增加九个百分点。作者推测新数据提供类似困难负例挖掘的作用，纠正策略自己的乐观外推。这是机制解释；要确认因果，仍应控制在线样本数、对象分布和失败状态覆盖。

清箱五次仅两次在 30 抓以内全部清空，旧方法一次。即使放回测试非常好，也不能写成“可靠清空任何杂物箱”。末尾小物体可能卡在角落，密集场景还会反复重抓。附录扰动网球测试为 28/38 对 4/25，支持闭环反应能力，但试验数和场景都有限。

五、数据规模和搜索成本限制迁移口径

但起步阶段仍有弱脚本探索，状态还使用夹爪与高度，动作空间、边界和终止流程也由人设计。“自动学到策略”不等于整个机器人系统没有先验。

本文的分析是，固定相机布局、工作箱与两指夹爪限制了泛化范围。未见物体泛化不同于未见机器人、相机位姿或家庭场景泛化。单帧状态近似在遮挡和接触判断上也有边界。算法能够离线训练，不意味着任何日志都充分：附录表9 的仿真比较显示脚本数据与探索数据的混合明显优于单一来源，数据覆盖本身是能力来源。

追问：放回物体与逐次移除物体的测试，为什么会形成不同难度分布？

参考答案：放回会保持相近的物体组成，而逐次移除会让后续箱内状态取决于前面的选择和失败，剩余物体可能越来越难抓。两个协议的单次成功率因此不能直接互换，更不能据放回测试推出清空概率。应记录每次尝试前的场景、重抓规则和终止条件，并分别报告整个清空过程的成功与成本。

六、沿机制关系继续读

与Hand-Eye有历史联系：从终点抓取评分走向多步Q控制；与NAF是平行连续最大化方案，QT-Opt支付在线搜索开销，NAF以二次动作价值限制换取解析动作。

七、自测三题与参考答案

问题1：QT-Opt 没有 Actor，为什么仍然有策略？

答案：策略可以由计算过程定义，而不必是一张独立神经网络。给定状态，用 CEM 近似最大化 Q 的动作就是隐式策略。省掉 Actor 不等于省掉决策计算。

问题2：为什么 96% 抓取成功不意味着 96% 概率清空一个箱子？

答案：单次放回测试与连续清箱分布不同，清箱后期留下更难对象。完整清箱又要求一串事件成功，不能用单次平均值替代。原文专门设置不放回协议揭示这个差别。

问题3：推瓶动作没有即时奖励，怎样学出它有价值？

答案：它把系统带到更容易成功抓取的下一状态。下一状态的高价值经 TD 目标向前传播，使推瓶获得较高 Q。前提是数据中有足够的相关转移与成功后续，否则模型仍可能只是猜测。