面向3D视觉定位中鲁棒语言-几何对齐的以查询为中心的对比学习

《Pattern Recognition》：Query-centric contrastive learning for robust language–geometry alignment in 3D visual grounding

　　

•解决单目3D视觉定位中的歧义性问题。
•提出一种以查询为中心的对比语言-几何对齐框架。
•将定位查询作为判别性跨模态对齐的锚点。
•引入身份感知的批内负样本采样用于对比学习。
•在Mono3DRefer和Rope3D基准测试中取得一致性能提升。

引言

3D视觉定位（3DVG）与多模态大语言模型（MLLMs）[1]具有相似性，二者都需要对齐视觉与文本信息。然而，与这些通常专注于高层语义理解（如回答关于图像内容的问题）的模型不同，3DVG处理的是包含空间、关系和物体级语义的详细且富含上下文的信息。例如，短语"前方左侧约10米处的黑色卡车"需要精确的语言解析和空间推理才能实现准确定位。与一般的视觉-语言任务不同，3D视觉定位需要语言与空间几何之间的细粒度对齐，这使得负面语言-物体关系建模尤为关键。

近期方法[2][3][4]通常依赖跨模态注意力机制来关联文本描述与视觉特征。例如，TransVG[4]采用后期融合策略整合语言与视觉表示，而Mono3DVG[2]则通过早期跨模态交互增强特征对齐。最近，Mono3DVG-EnSD[5]通过重新加权语言线索并在不同维度上解耦文本表示来改善定位效果，取得了令人满意的性能提升。尽管这些方法表现优异，但它们主要优化匹配的 语言-物体对的相似度，而未显式建模不匹配关系，这导致所学表示的判别能力有限。如图5(a)所示，现有方法学习的嵌入分布重叠，不同实例呈重叠分布。这一现象表明，仅优化匹配对不足以强制形成判别性嵌入空间。在没有显式惩罚不匹配关系的情况下，模型倾向于将语义相似但不同的实例坍缩，尤其是在物体外观或语义属性相似的杂乱场景中。在这种场景下，准确定位严重依赖于细微的语言线索，如空间关系和细粒度修饰词。然而，现有方法缺乏显式机制来捕捉这些细粒度差异，导致语言-几何对齐存在歧义且定位性能下降。

此外，单个物体可以由多种具有不同语言结构的自然语言表达式描述。尽管这些描述对应相同的几何实体，但在训练过程中通常被独立处理，而未强制它们之间的语义一致性[6]。同时，现有的解码器或匹配机制[2][3][5]主要在定位和检测监督下学习物体-语言关联，而未显式优化正样本与竞争性负样本语言-物体关系之间的分离。当多个描述共享相似句式或物体属性时，这些机制不会显式鼓励强调判别性定位线索，如空间关系、相对位置、颜色和细粒度属性。因此，学到的表示可能对于同一物体分散，而对于相似物体之间重叠，导致语言-几何对齐存在歧义且跨模态定位鲁棒性有限。

为了解决这些局限性，我们提出了一种用于3D视觉定位的对比语言-几何对齐（CLGA）框架。具体而言，我们引入了一种基于InfoNCE的对比目标[7]，该目标使用解码器级定位查询作为锚点来建模正面和负面的语言-几何关系。如图1所示，传统的非对比方法主要依赖正样本描述，当多个物体共享相似外观、属性或空间关系时可能导致表示模糊。相比之下，我们的方法将指向同一物体的描述拉近，同时将关联不同物体的描述推远，从而强制实现实例内紧凑性和实例间可分离性。这导致更加结构化的嵌入空间和图5(b)所示的良好聚类分布。此外，通过利用身份感知的批内负样本，我们的方法能够在无需额外人工监督的情况下有效扩大负样本池。

与CLIP式图像-文本对比学习[8]不同，后者主要通过对齐全局图像和句子嵌入来学习通用图像-文本表示；也与3DVLP式物体-文本对比学习[9]不同，后者在3D物体/提案特征与文本描述之间执行物体级对比学习。我们的目标是为定位导向的查询判别而设计。CLGA中的对比锚点既不是全局图像表示，也不是物体/提案特征，而是直接负责3D目标预测的定位查询。这种以查询为中心的设计是专为单目3D视觉定位量身定制的，在此场景中，视觉上或空间上相似的物体可能由语义接近但指代不同的表达式描述。

我们方法的关键优势在于在定位查询级别显式利用多个正样本描述和身份感知的批内负样本描述。与执行通用图像-文本或物体-文本对比学习不同，我们的方法直接使用解码器级定位查询作为锚点，鼓励相同目标物体的描述保持紧凑，同时分离不同物体实例的描述。在基准数据集（Mono3DRefer和Rope3D）上的大量实验表明，我们的方法与强基线[2][3]相比，一致取得了卓越的定位精度。结果证实，显式建模对比关系对于学习判别性语言-几何表示至关重要，特别是在复杂和歧义场景中。

本文的主要贡献总结如下：

•我们提出了一种用于单目3D视觉定位的对比语言-几何对齐（CLGA）框架。与通用图像-文本或物体-文本对比学习不同，CLGA构建了一个任务特定的以查询为中心的对齐目标，其中解码器级定位查询用作对比锚点，以增强定位导向表示的判别性。

•我们引入了一种身份感知的批内负样本采样策略，该策略复用微批内已计算的文本特征来扩大负样本池，而无需额外的文本编码器前向传播，从而在提高采样效率的同时学习更具判别力的语言-几何表示。

•在Mono3DRefer和Rope3D数据集上的大量实验表明，所提方法仅使用最强最先进方法约50%的参数就取得了卓越性能，在Mono3DRefer的Overall划分上Acc@0.25/0.5分别提升3.49%/6.85%，在Rope3D的Overall划分上Acc@0.25/0.5分别提升9.79%/11.94%。

章节摘录

相关工作

单目3D目标检测。单目3D目标检测从单张RGB图像中估计物体属性，为基于LiDAR的方法提供了经济高效的替代方案[10]。早期的基于锚框的方法如M3D[11]和Mono3D[10]实现了端到端训练，但存在泛化能力差和空间表达能力有限的问题。近期方法利用深度线索构建伪LiDAR表示来增强性能[2][12][13]。MonoFG[14]应用知识蒸馏到

方法

我们首先在第3.1节中形式化单目3D视觉定位问题并介绍整体定位流程。在第3.2节中，我们聚合定位查询和文本表示，引入可学习的跨模态匹配函数，并构建多正样本以查询为中心的对比目标。为进一步扩大负样本池，第3.3节介绍了所提出的身份感知的批内负样本采样策略。最后，第3.4节将对比

Mono3DRefer。

我们在Mono3DRefer[13]上开展实验，该数据集包含29,990个训练样本、5,735个验证样本和5,415个测试样本，涵盖与8,228个唯一物体相关的41,140个指代表达。每个表达式提供丰富的视觉（如颜色、形状）和空间（如相对位置、朝向）线索，使能在多样场景中实现细粒度单目3D视觉定位。

Rope3D。

Rope3D是一个从交通监控场景构建的大规模3D视觉定位数据集。它包含

失败案例分析

我们进一步分析了代表性失败案例，如图8所示。尽管CLGA改进了语言-几何对齐，但在具有挑战性的视觉条件下仍可能失败。具体而言，严重遮挡可能导致视觉和几何线索不完整，而小物体或远处物体提供的细节有限，不利于准确的3D定位。此外，空间上接近或视觉上相似的物体可能会使定位查询混淆并导致定位错误。

局限性与未来工作

CLGA的一个局限性是训练期间需要可靠的物体级身份信息来构建身份感知的正负样本。这一假设在Mono3DRefer[2]中得到满足，其中每个物体实例具有全局唯一实例ID和多个指代表达。对于没有可靠实例ID或每个物体没有多个描述的数据集，身份感知的正样本构建可能无法直接应用，需要进一步扩展。

结论

在本文中，我们提出了一种用于单目3D视觉定位的对比语言-几何对齐（CLGA）框架，旨在增强跨模态语言-几何对齐的判别能力。与主要关注正样本语言-物体对的现有方法不同，我们的方法在一个统一的对比学习范式中显式建模正面和负面对应关系。具体而言，我们采用以查询为中心的公式化方法，其中定位查询作为

CRediT作者贡献声明

朱玉帆：撰写—初稿、软件、方法论、概念化。郑静珠：验证、软件、调查、数据整理。董乐：可视化、验证。冯明涛：撰写—审稿与编辑、监督。张晨旭：撰写—审稿与编辑、监督。吴芳芳：资源、调查。董伟生：撰写—审稿与编辑、监督、资金获取。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：冯明涛报告了与湖南大学的关系，包括：。如果有其他作者，他们声明没有已知的可能影响本文所述工作的竞争性财务利益或个人关系。

致谢

本研究部分由国家自然科学基金资助，项目编号62472336、62302369和U2570205。

朱玉帆|郑静珠|董乐|冯明涛|张晨旭|吴芳芳|董伟生