059｜GenAug：用生成式视觉增强扩展示范

系列首页 · 上一篇 · 下一篇

原论文：GenAug: Retargeting Behaviors to Unseen Situations via Generative Augmentation，Zoey Chen、Sho Kiami、Abhishek Gupta、Vikash Kumar，2023年；本文阅读2023年2月v2。论文。

先接住前作的问题

CLIPort能按语言抓放，但少量示范通常覆盖不了新背景和新外观。GenAug编辑原示范图像来扩展观察分布，同时沿用动作标签；关键前提是几何变化没有把原抓放答案改错。

五个前置概念

五个前置概念：数据增强扩展观测分布；语义不变性要求任务正确标签不变；深度条件约束可见几何；行为克隆使用动作监督；域偏移表示训练与部署观测分布不同。

一、问题设定：图像变了以后原动作标签还能否成立

示范往往只在一张干净桌子上采集，部署却有新桌布、新容器和杂物。GenAug不重新教机器人一种动作，而是用生成模型修改示范图像：换物体纹理、替换类别、添加干扰物和背景，尽量保持原来的抓取放置标签仍然有效。

这是单机器人、无模型、离线模仿学习。训练数据是观测—动作对，策略预测抓取和放置的空间位置；低层逆运动学与位置控制执行动作。训练没有奖励优化，也没有探索策略。

真实系统使用吸盘式抓取、RGB-D相机和标定后的俯视投影。人点击抓放点，机器人执行成功后才保留示范。共10项任务，每项10条，在一个场景中采集。任务包括把盒子、盘子、碗或杯垫放到相应容器。

对吸盘抓放而言，换桌布通常不必改变动作，换同形状物体的纹理也可能保持抓取点。但换成有孔、弯曲或无法吸附的表面，原动作就可能失效。这是方法依赖的操作假设，不能被“看起来真实”替代。

与域随机化的关系是，二者都扩大视觉训练分布。GenAug让预训练生成模型提供自然图像先验，而不是只随机颜色和光照。与UniPi的区别是，它不生成未来动作计划；生成模型只在数据准备阶段修改观测，部署仍运行原有策略网络。

二、用掩码、深度和几何约束生成增强

真实执行实验中，每任务10条示范，增强后在新环境、新放置对象、新抓取对象的平均成功率分别85%、52%、45%。另外一组“有无增强”比较评的是抓放位置预测，不是同一组机器人执行试验。

1. 从监督学习写出真正的约束

原始行为克隆目标为

$$\mathcal L_{\rm BC} =-\mathbb E_{(o,a)\sim D}\log f_\theta(a\mid o).$$

$o$为图像观测，$a$为专家抓放动作。生成增强产生

$$o'=g(o,t,z),\qquad D_{\rm aug}=D\cup\{(g(o,t,z),a)\}.$$

$t$是生成提示，$z$是随机噪声。注意标签仍是$a$。因此必须近似满足：增强前后能执行同一个正确动作。

数学上并没有加入新RL目标；机制上变化的是训练分布；实验改善的是不同视觉条件下的预测与执行。若动作标签已失效，最小化同一个交叉熵反而会让模型学习错误对应。

2. 同类别：保留几何，改外观

人工标注目标与容器掩码，深度引导生成模型改变颜色、材质等。物体位置和大致形状保持原样，抓放点才可能继续有效。文本提示用来控制生成内容，不意味着部署策略通过这些提示获得额外的动作示范。

掩码只用于有限示范的增强，不在运行时逐帧人工提供。这个工程成本比在所有部署图像上标注小，但仍应纳入数据成本。

3. 跨类别：先确定几何，再生成细节

直接把篮子区域修补成桶，可能改变透视和位置，甚至画出错误表面。作者先用另一类别的三维网格，在同相机视角与相应位置渲染几何，再用深度引导添加外观。

这让跨类别变化更受控。但“网格放在原中心”不构成任意抓取点可行性的数学保证；成立程度取决于吸盘、表面几何和替换范围。它适合论文所选的顶视抓放设置，不能自动推广到手内旋转或精密插装。

4. 干扰物与背景

新增干扰物先渲染三维资产，再生成外观；如果图像边界框与抓取对象或目标容器掩码重叠，就删除该干扰物。背景增强则固定所有前景区域，只改变桌子和周围场景。

这里的“碰撞检查”是图像空间重叠检查，不是完整机械臂扫掠体积的三维碰撞验证。它保护的是有限的几何不变条件。

标签保持可以写成条件：原动作 $a$ 在增强前后都应完成相同任务，而不是图像看起来足够真实。教学反例：把塑料杯改成透明玻璃杯，像素风格合理、抓取点未动，但真实吸附、反光深度和质量可能改变。若只训练视觉不变性，不能将这些物理变化默认一同验证。

反过来，换桌布颜色而保持目标几何，确实更接近可复用旧动作的增强。原文用深度和网格限制类别变化、采用顶视吸盘操作，正限定了“跨类别仍能保标签”的合理范围。附录仍报告相似颜色和显眼干扰物失败，因此生成图数量不是覆盖正确性的替代指标。原文§II-C及附录失败模式

用例子检查标签不变性

自构例子，未运行：示范在木桌上吸起一个平底盒盖，放进托盘。把木桌改成花纹桌布，通常仍可保留抓放点；把盒盖改为同形状塑料盒盖，也可能成立。

若生成的是有大孔的滤网，原中心点可能吸不住；若把托盘改成窄口瓶，原放置动作可能撞到边缘。这些图片可能非常真实，但动作监督已错误。因此增强质量的核心问题是“同一动作还能成功吗”，而不仅是“像不像照片”。

三、编辑示范观测并保留经几何检查的动作标签

生成步骤必须受掩码、深度和原坐标约束，否则外观增强会变成错误动作监督。训练CLIPort时增加的是同一行为的观察条件，不是新的物理尝试。

输入：成功抓放示范、目标和容器掩码、深度、相机标定、三维网格
对每条示范重复生成多种增强：
  随机选择纹理、类别、干扰物和背景的修改
  同类别：固定几何，用深度条件生成新外观
  跨类别：在原位置渲染新网格，再生成外观
  干扰物：若与目标区域图像重叠则拒绝
  背景：固定前景掩码，仅修改其余区域
  保存增强观测，并保留原抓取放置标签
合并原始与增强数据
用CLIPort的监督目标训练策略
部署时仅输入当前RGB-D和任务描述，预测抓放点并执行

这是教学流程，不包含论文未提供的自动物理正确性验证器。GenAug的效果依赖生成约束足够接近动作不变性，而不是自动检查了每张增强图的真实动力学。

四、分开位置预测与真实执行两套评价

核心不是“多生成图片就行”，而是动作标签在图像变化后是否仍成立。作者结合物体掩码、相机标定、三维网格和深度引导，约束生成内容，再用增强数据训练CLIPort。

原图怎么读： 图12，原论文图注与图像。原图保留真实设置中的失败例子，用它检查生成图像是否改变了与动作有关的几何关系；外观更丰富不意味着所有原动作标签仍然成立。

原文标注 CC BY 4.0。本页摘图仅保留图形区域并作栅格化；有面板重排的图另行注明，作者与原文入口见各图注。

真实新场景有“书桌”“厨房岛台”“浴室”等风格，来自在相同机器人工作台布置和重排相应物品；不应直接描述成机器人已经在多套真实家庭房间迁移。

仿真中的R3M微调基线，与R3M原论文固定表示再训练策略的全部条件并不相同。这里比较的是本文具体的初始化与微调方式，不是对视觉预训练路线的普遍否定。

五处关键证据

表I：真实机器人执行。 新环境85%、新放置对象52%、新抓取对象45%。外观与杂物变化相对容易，替换操作对象更难。例如“杯垫到垃圾容器”的新抓取对象项为0。均值不能掩盖某些类别替换完全失败，也不能证明数据增强新增了抓取机制。

表II与§IV-A3：有无增强的比较。 为保持输入一致，作者比较预测抓放位置和真值：新环境80%对38%，新放置对象54%对8%，新抓取对象46%对10%。绝对提升分别42、46、36个百分点。它们是位置预测指标，不能与表I拼成“执行从38%升到85%”。摘要的约40%改善更宜在这些具体口径下理解。

表III：仿真不同增强方式。 RGB条件、CLIPort、10条示范时，新放置对象GenAug为83.9，而无增强40.8、随机复制粘贴55.9。它支持有几何与语义结构的变化有帮助。这里按照附录B的体积比例计分，因此83.9并不严格表示100次有83.9次完整成功。

表III：并非所有格子都最优。 TransporterNet、10示范、新环境时，GenAug58.5低于随机背景75.3；增加深度的GenAug可达83.8，但输入信息已经不同。CLIPort、100示范、新抓取对象中，带深度81.5也略低于RGB版83.1。应把生成方式和传感器信息分开讨论，不能只选最大值。

图10、图12、图13：增强规模和失败机制。 单一仿真任务从0、10、50到100次增强，观察到泛化改善；图12显示相似颜色和强干扰仍会误导策略，图13定性对比显示深度与网格约束比直接修补更能保留几何。这支持设计直觉，但图像逼真不等于动作标签已得到穷尽验证。单任务增强曲线也不足以保证无限增加生成图始终获益。

方法与结果定位见论文正文和附录。本文核对v2相关章节，未重新训练或执行硬件实验。

五、增强观察不能创造未示范的恢复动作

核心贡献是提出一个实用的数据层接口：把互联网生成先验转成已有行为的视觉等价样本。无需把生成模型放进实时控制循环，部署延迟不随生成模型大小增加；这是相较视频规划的重要工程优势。

代价在离线阶段：生成算力、人工掩码、相机标定、深度与三维资产。若原始10条示范只覆盖一种接近方向，增强1000张背景也不会覆盖另一种接近方向或失败恢复。图像数量增加与独立行为数量增加应分别统计。

作者§VI强调动作不变性带来的限制。本文进一步分析是，标签错误可能与生成逼真度同时上升：越真实的新物体越让网络相信旧动作适用，但新表面可能无法吸附。实际扩展应优先检查接触位置和运动空间，再追求视觉多样性。

另一边界是语言与视觉语义的一致性。若任务描述仍指向“红碗”，却把目标改成蓝盘，标签有效与否不只取决于位置，也取决于任务规范。泛化增强需要同时保持动作与任务条件一致，不能任意换对象后只保留文本。

追问：若模型生成的新物体外形合理但质量分布改变，原动作标签为何仍可能失效？

参考答案：图像空间的抓点可以保持，真实接触与负载却可能改变，尤其放置稳定性或夹持力不再相同。应把纯外观变化与会改变物理作用的替换分开，并以真实执行核对后者。深度约束限制几何，不会单独证明动力学标签不变；这正是增强数据的适用边界。

六、沿机制关系继续读

GenAug把生成模型当作CLIPort的数据增强模块；与视觉域随机化是平行分布设计，前者编辑真实示范图并保留标签，后者从模拟几何直接渲染真值。

七、自测三题与参考答案

问题1：为什么一条示范生成100张图，不等于得到100条新的行为经验？

答案：它们共享同一个动作标签，主要提供该动作适用于不同外观的证据。没有新增的运动轨迹、接触反馈或错误恢复。因此它提高观测覆盖，却不直接扩大控制行为覆盖。

问题2：真实比较表中的80%和执行表中的85%能否直接合并？

答案：不能。80%是与无增强模型在相同图像上比较预测抓放位置；85%来自另一组真实执行场景。输入数量、评价过程和指标不同，只有在各自条件内比较才成立。

问题3：深度约束和图像空间碰撞检查足以保证新图像标签正确吗？

答案：不足。深度帮助几何一致，图像重叠检查避免部分目标遮挡，但不检查吸附材料、摩擦、机械臂完整路径或容器容量。它们降低错误概率，不能取代针对动作机制的可行性检验。