一种基于视觉-语言条件的、具备物理感知能力的模仿学习方法，用于双臂机器人的灵巧装配任务

《CIRP Annals》：A vision-language conditioned physics-aware imitation learning approach for bimanual robotic dexterous assembly

　　田王|本华高|郝飞马|国权张|杜迪吴|柏峥
香港特别行政区香港理工大学工业与系统工程系

**摘要**
人机协作装配（HRCA）日益增长的复杂性和精确性要求机器人能够理解语言、视觉和触觉信息，以实现需要接触的操作。为应对这一挑战，本文提出了一种基于视觉-语言条件的物理感知模仿学习方法，用于双手灵巧装配。首先，设计了一种基于混合现实（MR）的双向遥操作系统，用于多模态人类示范数据的收集。然后，开发了一种增强视觉-语言模型（VLM）的物理感知扩散策略，用于操纵技能的学习。此外，还整合了一种从粗到细的视觉思维链（CoT）策略，用于任务规划。最后，在一个双臂灵巧手机器人平台上通过执行各种HRCA任务，验证了所提出的方法。

**1. 引言**
人机协作装配（HRCA）的特点是复杂性、多样性和精确性不断提高，这对机器人理解人类指令、环境视觉以及在执行需要接触的操作（如齿轮啮合和将定位销插入孔中）时的力和触觉信息提出了重大挑战[[1], [2], [3]]。在这种情况下，灵巧的机器人手提供了一种变革性的解决方案，使机器人能够在非结构化环境中具备类似人类的适应能力[[4]]。同时，模仿学习（IL）为技能获取提供了一种高效的机制，其中人类示范提供了精确的行为目标，多模态数据有助于深入理解复杂任务，从而加速了机器人手鲁棒操纵策略的发展[[5]]。
扩散模型在模仿机器人学习中的复杂运动方面显示出强大的生成能力，这归功于它们能够利用专家示范来捕捉多模态动作分布和复杂的协调模式[[6,7]]。目前，关于扩散策略的先进研究在灵巧操纵方面展示了巨大的潜力[[8], [9], [10]]。然而，它们在处理需要接触的复杂HRCA任务时仍存在局限性，揭示了几个关键的研究空白：首先，缺乏高质量的示范数据，如高保真度和多模态的示范数据，以支持协调的双手操纵学习。现有的遥操作系统主要依赖于视觉或运动学观察，无法捕捉精确的人类级别装配所需的同步力量、触觉和语义线索[[2]]。其次，当前的模仿学习框架[[8], [9], [10]]缺乏对物理约束的显式建模和语义理解，导致生成的动作可能在物理上不可行或与任务不一致。第三，大多数现有方法仍然局限于短期控制，没有显式的层次化任务分解[[11], [12], [13]]。相比之下，复杂接触装配操作中常见的长远任务缺乏足够的关注，并且缺乏用于任务完成的层次化视觉-语义推理和规划机制。
为填补这些空白，本文提出了一种基于视觉-语言条件的物理感知模仿学习方法，用于双手灵巧装配。首先，设计了一种基于混合现实（MR）的双向遥操作系统，用于沉浸式和多模态的高保真人类示范数据收集。随后，开发了一种增强视觉-语言模型（VLM）的物理感知扩散策略，用于物理上一致且语义上为基础的技能学习。此外，在推理过程中，整合了一种从粗到细的视觉思维链（CoT）[14]策略，以实现语义引导的推理和层次化决策，用于复杂和长远的双手装配任务。最后，在一个双臂灵巧手机器人平台上进行了全面的实验，以验证所提出方法的创新性和有效性。该系统使机器人能够以物理上可行且语义上对齐的方式感知、推理和执行长远接触的双手装配，从而提高了HRCA在非结构化环境中的鲁棒性和效率。

**2. 方法论**
所提出的系统主要由三个组成部分构成：基于MR的人类示范数据收集、灵巧装配操纵技能学习以及长远装配任务完成，整个系统的工作流程如图1所示。

**2.1 基于MR的双向遥操作用于多模态数据收集**
为了解决获取复杂接触装配任务的高保真示范数据的挑战，我们设计了一种基于MR的双向遥操作系统，如图2所示。在该系统中，MR能够实现无标记的手部跟踪，以捕捉操作者的6自由度手部姿态和手指关节角度，同时机器人同步记录多视角视觉、腕部力量/扭矩以及指尖触觉信号。所有模态都带有时间戳，并流式传输到数据收集管道中，操作者通过MR视觉和触觉手套的力量/振动触觉线索提供反馈。我们的方法利用沉浸式空间计算环境，在操作者和双手机器人平台之间建立高带宽通信通道。

**2.2 增强视觉-语言模型的物理感知扩散策略用于灵巧操纵技能学习**
为了在IL中捕捉细粒度接触物理和高级语义理解，提出了一种VLM-PhyDP（视觉-语言模型增强的物理感知扩散策略），这是一种将语义推理和多模态物理反馈整合到扩散策略中的新型框架。如图3所示，所提出的VLM-PhyDP方法利用VLM提供高级语义指导，从而提高策略对复杂装配场景的适应性。同时，它结合了指尖触觉信号和接触力作为准确的物理反馈，显著增强了机器人策略执行的鲁棒性和精确性。

**2.3 从粗到细的视觉思维链（CoT）基于VLM的长时间任务规划**
为了无缝整合全局场景理解与局部视角分析，促进联合推理和生成稳定的、可执行的任务计划，提出了一种用于HRC装配任务规划的从粗到细的视觉思维链（CoT）推理方法，如图2所示。该方法包括两个关键组成部分：1）多粒度视觉解析；2）CoT推理。

**3. 实验结果**
**3.1 实验设置**
齿轮泵装配实验平台配备了两条6自由度的手臂和灵巧手，用于模拟双手操纵，如图5所示。感知系统包括头戴式RGB-D相机（用于全局视图）、2个腕部相机（用于特写）、力/扭矩传感器和带有触觉传感器的灵巧手，用于收集高保真的复杂接触装配任务的示范数据。所有相机均为Intel RealSense D435相机。操作者佩戴MR头盔（Vision Pro）和定制的触觉手套进行遥操作。收集的数据集包括RGB-D、力、触觉和运动学数据，采样率为30 Hz，训练和推理均在NVIDIA RTX 3090 GPU上进行。

**3.2**VLM增强的物理感知扩散策略评估
为了验证所提出的VLM-PhyDP的有效性，我们在三个难度逐渐增加的灵巧操作技能上进行了评估：技能1：单臂运动，其中一个手臂执行视觉引导的伸手和定位动作，而不需要对物体进行实际操作；技能2：灵巧的手部抓取，需要多指手在丰富的接触互动中稳定地抓取物体；技能3：双臂插入，需要两只手协调来抓取、定向并将零件插入 mating fixture 中。这些任务共同测试了基本的视觉运动控制、精细的灵巧接触处理和双臂组装能力。为了全面评估所提出的方法，我们将其与两种变体进行了比较：1）仅使用RGB观测和本体感作为条件的原始扩散策略（DP）；2）集成VLM进行语义增强的VLM增强视觉运动扩散策略（VLM-DP）。所有变体都在相同的专家演示数据上使用相同的扩散超参数进行训练。

结果表明，所有方法在简单任务上都取得了令人满意的表现，尤其是在结合了来自VLM的高级语义信息后。然而，标准的视觉运动策略在接触丰富的场景中表现出明显的局限性，平均成功率为35%。相比之下，所提出的方法在这些任务中实现了200%的相对提升。此外，在极具挑战性的双臂协调任务中，语义推理和物理感知反馈的整合展现了显著的优势。在所有三个任务中，VLM-PhyDP的整体平均成功率为66.7%，凸显了其在复杂制造应用中处理双臂灵巧操作方面的优越性。

表1. VLM增强物理感知扩散策略的评估。
方法 | 成功率
Skill 1 | Skill 2 | Skill 3
--- | --- | ---
扩散策略（DP） | 6/10 | 4/10 | 0/10
VLM增强DP（VLM-DP） | 9/10 | 3/10 | 1/10
我们的方法（VLM-PhyDP） | 9/10 | 7/10 | 4/10

3. 基于粗粒度到细粒度视觉CoT的任务规划评估
为了验证所提出的基于粗粒度到细粒度视觉CoT的任务规划方法的有效性，使用GPT-4o在三种设置下进行了比较实验：1）直接原始图像输入；2）带CoT推理的原始图像；3）带CoT推理的标记图像。基于任务完成率评估了两个主要制造任务：任务1：全局生产线重启；任务2：局部齿轮泵组装。每种配置进行了十次试验，相应结果如表2所示。观察到，当GPT-4o执行CoT推理并基于标记图像做出决策时，标记图像可以帮助使推理过程更加精确，有效抑制 hallucinations（此处可能为“幻觉”或“错误推理”），产生更准确的描述，从而生成可靠的子任务序列。

表2. 基于粗粒度到细粒度视觉CoT的任务规划评估。
方法 | 任务完成率
--- | ---
原始图像 + 决策 | 13.33% | 26.67%
原始图像 + CoT + 决策 | 20.00% | 33.33%
标记图像 + CoT + 决策（我们的方法） | 66.67% | 73.33%

4. 在真实制造环境中的演示
为了评估所提出方法的应用效果，在一个双臂灵巧手机器人平台上执行了齿轮泵组装任务，如图6所示。该任务包括初始观察阶段（图6(1)）、拾放动作（图6(2)）、多个复杂的插入操作（图6(3–5)），用于物理感知和双臂操作演示，以及最终的多阶段组装结果（图6(6)），从而突出了所提出方法的优点。

4. 结论
本研究介绍了一种基于视觉语言条件的物理感知模仿学习方法，用于双臂灵巧组装。在双臂灵巧手机器人平台上的实验结果证明了VLM-PhyDP的创新性和有效性，并显示出在制造应用中的巨大潜力。该方法通过物理感知和VLM增强组件改进了扩散策略，用于灵巧的接触丰富组装操作，并在CoT推理中加入了粗粒度到细粒度的结构，以改善长范围组装任务规划。尽管如此，仍存在一些需要解决的问题，例如CoT和扩散模型的动作推理速度较慢，以及任务完成率较低，特别是在公差要求严格的组装场景中，有限的绝对姿态精度和缺乏明确的公差建模与管理可能会影响成功率。未来将对模型和数据进行优化。

展望未来，这样的机器人系统有望发展成为认知协作者，具备直观的物理感知世界模型，并能够与人类专家持续进行双向技能协同进化，从而从技能模仿转变为真正的技能理解和价值共创。

**作者贡献声明**
王天：撰写——审稿与编辑、撰写——初稿、可视化、验证、方法论、调查、形式分析、数据管理、概念化。
高原：撰写——初稿、可视化、验证、方法论、调查、形式分析、数据管理、概念化。
马浩飞：撰写——初稿、可视化、验证、方法论、调查、形式分析、数据管理、概念化。
张国权：撰写——初稿、可视化、验证、调查、数据管理、概念化。
吴豆迪：撰写——初稿、可视化、方法论、调查、数据管理、概念化。
郑派（2）：撰写——审稿与编辑、监督、资源协调、项目管理、方法论、资金获取、概念化。