通过语义引导的注意力机制、图网络和基于大语言模型的句子解析增强3D视觉定位

《Image and Vision Computing》：Enhancing 3D visual grounding through semantic-guided attention and graph networks with LLM-based sentence parsing

　　• 提出一个框架以改进复杂和自由形式句子的定位。• 使用大语言模型（LLM）从句子中提取关键细节，以便纳入融合阶段。• 采用基于图的神经网络和注意力机制来增强视觉特征。• 使用交叉注意力机制融合视觉和语言特征。## 引言计算机视觉和自然语言处理（NLP）是人工智能（AI）的两个重要子领域，旨在让机器模仿人类的视觉感知和语言理解能力。近年来，这两个领域均取得了显著进展，催生了视觉-语言任务，如视觉定位 [1]、[2]、[3]、[4]、[5]，图像描述 [6]、[7]、[8]、[9]、[10]、[11]，以及视觉问答 [12]、[13]、[14]、[15]、[16]，这些任务实现了更加流畅的人机交互。视觉定位旨在在图像或场景中定位所指代的目标物体 [17]，在机器人 [18] 和自动驾驶 [19] 等领域具有广泛应用。与许多计算机视觉任务类似，基于图像的视觉定位以图像作为视觉信息来源。然而，在机器人于复杂环境中运行的场景下，由于图像缺乏深度线索，视觉-语言模型——尤其是视觉定位模型——的性能往往会下降 [20]。相比之下，点云通过编码详细的几何信息，提供了更丰富的场景表示。随着能够捕获详细三维表示的3D采集相机的出现，人们开发了众多处理点云的方法 [21]、[22]、[23]、[24]、[25]、[26]。在此基础上，研究人员提出了3D视觉定位 [20]、[27]。与其2D对应版本类似，3D视觉定位也应用于家庭机器人 [28] 和自动驾驶 [29]。在该任务中，点云作为视觉数据，并配有文本描述。如图1所示，该任务要求模型整合3D视觉和文本数据以定位所提及的物体。大多数方法 [20]、[27]、[30]、[31]、[32]、[33]、[34] 遵循基于检测的定位范式，使用目标检测器识别物体，并使用语言编码器将描述转换为特征向量。随后，多模态融合模块整合这些模态以定位所指代的物体。先前的研究 [20]、[30]、[31]、[32]、[33]、[35]、[36]、[37]、[38]、[39] 提出了采用多层感知器（MLP）、图卷积网络 [40] 和Transformer [41] 等架构的多种多模态融合方法。然而，这些方法通常直接将词级嵌入与物体特征进行融合，忽视了长而自由的指代表达式的结构复杂性。为此，[34] 利用句子解析器提取实体及其属性，并利用它们来细化特征。尽管如此，其框架缺乏专门的模块来有效地将提取的语言成分整合到融合过程中。3D视觉定位中的指代表达式通常传达关于目标物体的丰富信息，直接融合语言和视觉特征可能导致这些重要信息的丢失。为此，我们从句子中提取有意义的语言成分并将其整合到融合阶段。与 [34] 不同，我们的方法利用大语言模型（LLM）来提取语言元素。这一选择源于LLM能够作为零样本或少样本学习器 [42] 的能力，从而实现更加灵活和上下文感知的信息提取。在此基础上，我们提出了一种利用LLM识别句子关键元素的方法，包括目标物体、其属性以及关于相邻物体的上下文信息。为了充分利用这些提取的成分，我们设计了一个由三个关键模块组成的融合网络：局部-全局聚合（LGA）、邻域感知融合（A2F）和目标感知融合（TAF）。LGA模块聚合局部和全局视觉特征，特别强调邻近物体。聚合后的视觉特征随后通过A2F和TAF模块中的跨模态注意力机制与语言特征融合。该方法能够在保持计算效率的同时，更加准确地对复杂场景中的自由形式句子进行定位。所提方法的创新之处在于针对3D指代表达式定位任务，其组件进行了专门整合与协同交互。指代表达式被分解为目标、属性和邻近物体信息，并通过TAF和A2F模块明确路由到互补的视觉表示，以联合捕获物体特定和关系线索。此外，LGA模块引入距离感知的邻域聚合，为语言融合提供空间信息丰富的上下文。这些组件共同构成了一个统一架构，显式地将语言结构与候选区域级和空间表示对齐，以实现鲁棒的3D定位。总之，本工作的主要贡献如下：• 开发了一个框架，明确解决了自由形式指代表达式中关键语言信息丢失的问题。• 利用LLM提取语义元素，以便在多模态融合阶段进行整合。• 引入LGA模块，该模块采用基于图的神经网络和空间感知的注意力机制来增强视觉表示。• 设计了一个由A2F和TAF模块组成的多阶段融合网络，该网络使用交叉注意力机制执行内容感知的跨模态融合。在本节中，我们介绍了3D视觉定位任务、解决该任务的常用方法以及本工作的贡献。第2节概述了3D视觉定位的先有方法。第3节详细介绍了所提框架及其组件。第4节展示了实验设置和相应结果。最后，第5节通过总结所提方法和主要发现来结束本文。## 章节摘要### 相关工作本节概述了基于图像的视觉定位，回顾了3D视觉定位的先前方法，并在2.1–2.3节中探讨了LLM在3D视觉定位中的应用。### 所提方法如图2所示，我们提出了一个由视觉网络、语言网络和融合网络组成的框架。视觉模块处理3D点云，语言模块编码文本描述。融合网络整合视觉和语言模态以识别所指代的物体。关键设计原则是语言角色与视觉表示之间的对应关系。LGA通过聚合邻近物体提供语言无关的空间表示。### 实验本节展示了各种实验的结果，证明了所提方法的有效性和准确性。4.1–4.6节分别专注于数据集和指标、实现细节、定量评估、定性评估、复杂度比较和消融研究。### 结论视觉定位是人机交互系统中的基础任务，其3D对应版本在自主机器人中发挥着至关重要的作用。在本工作中，我们引入了一种新颖的方法来应对复杂和自由形式句子定位的挑战。为此，我们使用语言模型解析句子并提取关于目标物体、其属性及其周围上下文的关键信息。我们进一步提出了一个由多个模块组成的跨模态匹配网络。### CRediT作者贡献声明**Ali Solgi：** 撰写初稿、可视化、验证、软件、方法论、形式分析、概念构思。**Mehdi Ezoji：** 撰写审阅与编辑、验证、监督、方法论、调查研究、形式分析、概念构思。### 未引用参考文献[73]、[74]、[75]、[76]### 利益冲突声明作者声明他们没有任何已知的竞争经济利益或个人关系，这些利益或关系可能影响本研究中报告的工作。### 致谢作者感谢巴布诺希尔瓦尼科技大学通过资助项目第BNUT/389079/1404-1号提供的资金支持。Ali Solgi | Mehdi Ezoji