《Neurocomputing》：SPVLG: a visual-language-grasping model based on multimodal fusion and parameter-efficient fine-tuning
编辑推荐：
摘要预训练大型多模态模型（LMMs）的出现极大地推动了语言驱动的机器人抓取技术发展。然而，由于机器人平台计算资源有限，对这些模型进行全量微调往往不切实际。此外，在非结构化环境中实现稳健且精准的抓取，需要对异构模态信息进行有效融合，这仍是一个关键挑战。本文提出了一种端到端语言驱
摘要
预训练大型多模态模型（LMMs）的出现极大地推动了语言驱动的机器人抓取技术发展。然而，由于机器人平台计算资源有限，对这些模型进行全量微调往往不切实际。此外，在非结构化环境中实现稳健且精准的抓取，需要对异构模态信息进行有效融合，这仍是一个关键挑战。本文提出了一种端到端语言驱动的4自由度抓取位姿预测框架SPVLG。首先，我们采用为抓取任务设计的LoRA-适配器集成策略，高效微调SigLIP模型。然后，多模态融合编码器将提取的语言信息锚定到对应的视觉区域上。最后，提取的多尺度特征经过我们设计的上采样模块逐步恢复空间分辨率，从而实现精确的目标抓取。在Grasp-Anything++和LRGD数据集上的实验表明，我们的方法在仅微调骨干网络0.73%参数的情况下取得了具有竞争力的性能。本工作为在资源受限的机器人平台上部署强大的LMMs提供了一条实用且高效的途径。
引言
随着深度学习的快速发展，机器人抓取技术取得了显著进展[1]、[2]。该技术使机器人能够准确识别各种类型物体的抓取位姿并执行抓取动作。近年来，交互式机器人操作研究和LMMs的出现使学者们开始关注交互式抓取任务，即机器人根据用户提供的语言指令抓取物体[3]。文献[4]、[5]、[6]利用预训练多模态大模型将语言指令集成到机器人系统中，实现了可靠的交互式物体抓取。然而，由于计算成本和数据需求，直接将预训练多模态大模型应用于抓取任务面临重大挑战[7]。针对特定任务进行全量微调不仅消耗大量计算资源，还可能导致灾难性遗忘，即模型可能丧失预训练期间获得的通用知识[8]。因此，在有限的计算资源和时间成本下，如何高效地将预训练模型的强大能力迁移到特定的机器人抓取任务，成为一个亟需解决的关键问题。
在语言驱动的机器人抓取任务中，一种常见的研究路线采用两阶段解耦策略：通过语言-视觉锚定定位目标物体，然后预测其抓取位姿[9]、[10]、[11]、[12]、[13]、[14]、[15]。在某些工作中，机器人通过检测目标框建立物体的集中表示，将其与预定义的语义属性关联，随后使用基于规则的规划器选择抓取动作[13]、[14]、[15]。尽管这些方法取得了较高的抓取成功率，但它们对手工设计的语义属性和固定动作规划规则的强烈依赖，严重限制了其在面对多样且复杂的语言指令时的泛化能力。
为了克服这一局限，越来越多的研究者开始探索端到端语言引导抓取方法。Tziafas等人[16]提出了一种新颖的端到端视觉-自然语言抓取合成模型，实现了精确的抓取位姿预测。Vuong等人[17]引入了一种基于扩散的语言驱动抓取检测方法，有效地根据语言指令优化抓取位姿预测。Zhao等人[18]提出了一种视觉-语言抓取框架，结合多通道信息，通过整合视觉数据、文本信息和人类获取的先验知识来提高抓取精度。然而，自然语言指令在映射到物理世界时存在固有局限。语言的抽象性质使其无法精确描述真实世界环境中复杂的动力学和高维状态。因此，构建有效的多模态融合机制，将文本语义锚定在视觉感知数据上以实现精确可靠的物体抓取，仍然是机器人领域的重要挑战。
针对前述挑战，本文提出了一种语言驱动的4自由度抓取位姿检测框架SPVLG，旨在提高检测精度同时降低计算开销。该框架集成了预训练SigLIP模型[19]与基于Transformer的编码器，实现高效的多模态感知与推理。在此基础上，引入带有残差连接和空间注意力机制的上采样模块，从编码器提取的深层语义特征中恢复高分辨率抓取热图。此外，我们提出了一种LoRA-适配器集成策略，以较低计算成本实现大型预训练模型向抓取任务的高效迁移，同时有效缓解灾难性遗忘并保持预训练模型的泛化能力。我们的主要贡献如下：
(1) 提出了一种端到端语言驱动的4自由度抓取位姿检测框架SPVLG，该框架基于编码器-解码器架构，采用参数高效微调进行优化。在Grasp-Anything++和LRGD数据集上的验证确认了其卓越的检测能力和强大的泛化性能。
(2) 我们提出了一种面向特定任务的PEFT集成策略，通过低秩适配微调大型预训练模型的参数，同时引入轻量级适配器模块来捕获任务特定知识。该方法通过仅更新极少量参数即可高效迁移到新的抓取任务，同时最大限度地保持模型的强大先验知识和泛化能力。
(3) 我们提出了一种整合转置卷积、残差块和通道注意力机制的上采样模块。该模块不仅恢复空间分辨率，还能自适应聚焦关键特征，为生成精确且鲁棒的抓取位姿提供高质量的特征基础。
章节摘要
多模态融合
随着用户需求的增长和抓取任务的复杂化，仅依赖单一感知信息来源已无法满足当前机器人抓取研究的需求。受人类在操作物体时整合多感官信息的能力启发，机器人需要融合来自多个传感器的数据，以实现更高级、更精确的抓取[20]。近年来，随着大语言模型（LLMs）[21]的发展，取得了显著进展。
方法论
如图1所示，我们提出的SPVLG框架将语言驱动的抓取任务形式化为一个端到端的流水线。首先，微调后的SigLIP模型将输入图像和文本指令编码为对应的视觉和文本特征。这些特征随后传递到多模态融合编码器，促进其深度交互与对齐。最后，融合特征图经过我们提出的上采样块和预测头，生成密集的
数据集与评价指标
我们选择在Grasp-Anything++数据集[22]和LRGD[45]上验证我们方法的有效性。具体而言，Grasp-Anything++是一个基于生成技术构建的大规模基准，包含100万个样本、超过300万个物体实例和超过1000万条抓取指令。同时，LRGD是一个专注于真实物理环境的语言条件抓取数据集，提供由真实世界图像组成的复杂杂乱场景以及
结果与讨论
本节对不同上采样方法、PEFT策略和语言驱动抓取位姿检测方法在已见和未见设置下的性能进行了比较分析。此外，我们还在跨数据集评估、LoRA-适配器集成策略和关键功能模块上进行了消融实验。
结论
本文提出了一种端到端的语言驱动4自由度抓取位姿检测框架。首先，我们设计了一种面向特定任务的LoRA-适配器集成策略。在仅微调0.73%骨干参数的最小成本下，该策略有效弥合了通用图文预训练数据与俯视机器人工作空间之间的领域差距。随后，利用基于Transformer的交叉注意力融合编码器深度整合文本和视觉信息，
CRediT作者贡献声明
张晓涛：写作—审阅与编辑，方法论。徐江涛：写作—审阅与编辑，写作—初稿，软件，方法论，概念化。
利益冲突声明
作者声明，他们不存在任何已知的竞争性财务利益或个人关系，这些利益或关系可能影响本文所报告的工作。
致谢
本工作由中国国家自然科学基金[项目编号U21B6002]支持。
徐江涛于2022年获得长安大学汽车学院工学学士学位，于2025年获得华南理工大学机械与汽车工程学院工学硕士学位。目前，他在清华大学深圳国际研究生院攻读控制科学与工程博士学位。他的研究兴趣包括多模态感知、参数高效微调、目标检测和机器人抓取。
徐江涛|张晓涛
