基于协同视觉语言模型两阶段解耦策略的语言引导式机器人抓取增强方法

《JOURNAL OF INTELLIGENT MANUFACTURING》：Enhanced language-guided robotic grasping via a synergized VLM-based two-stage decoupled policy

　　理解人类语音发出的复杂自然语言命令并能在开放集环境中执行无歧义物体抓取的能力，对于促进人机交互的智能机器人来说是不可或缺的。虽然近期的研究利用大语言模型（LLM）中的互联网规模语义知识来进行语言引导的抓取，但这些方法通常缺乏原生具身能力，并必须依赖辅助感知和动作模块来实现真实世界的接地。尽管视觉-语言模型（VLM）的出现使更具整合性的解决方案成为可能，但它们对浅层融合策略的依赖往往无法解释复杂指令。此外，用于分割和抓取合成的任务耦合架构在训练过程中容易受到任务间干扰。为了克服这些问题，本研究开发了一种用于语言引导机器人抓取的协同式两阶段解耦策略。首先，基于CLIP的语言引导机器人视觉接地模型（LRVGM）使用具有文本自适应动态卷积的分层融合解码器来定位目标，从而实现精细的语义到像素对齐。生成的物体掩码随后作为辅助alpha通道集成到掩码引导的智能机器人抓取合成模型（MIRGM）中，从而使模型能够优先考虑目标区域，同时保留整个场景的上下文信息。利用Alpha-CLIP的区域先验，MIRGM采用从粗到细的融合机制，根据物体级命令识别功能最优的抓取区域。提出的基于VLM的策略在基准数据集和真实世界抓取场景中得到了广泛验证。实证发现表明，所提出的方法不仅在多个指标和数据集上的参数效率方面超越了现有基线，而且在应用于实际语言引导抓取任务时也表现出了可靠性和有效性。