TDM3D：文本引导的深度感知单目三维视觉定位

《Pattern Recognition》：TDM3D: Text-guided depth-aware monocular 3D visual grounding

　　

• •
  TDM3D 通过从语言对齐的语义接地逐步演进到深度感知的几何推理来演化共享目标查询。
• •
  跨阶段查询传播支持使用相同的目标表示进行从语义到几何的连续精化。
• •
  分阶段多模态交互在引入深度线索进行三维推理的同时保持语义一致性。
• •
  区域感知增强能够强化物体区域响应并抑制背景干扰。
• •
  深度感知嵌入可在无需外部稠密深度图或预训练深度估计器的情况下提供几何先验。

引言

在自动驾驶、机器人和具身感知等应用中，视觉系统 [1]、[2]、[3] 不仅需要识别物体，还需要理解其在三维空间中的空间布局。这一需求催生了单目三维视觉接地技术，该技术旨在在单张RGB图像中定位自然语言表达所指的物体，并估计其三维属性，包括位置、尺寸、朝向和深度。Mono3DVG [4] 首次将该任务定义应用于单目图像，而 MonoMulti-3DVG [5] 则进一步将其扩展到多目标接地场景。与传统二维视觉接地相比，该任务更具挑战性，因为它需要对视觉外观、语言语义和隐式几何线索进行联合推理。近期二维接地方法通过多尺度差异建模 [6] 和语言-图像一致性学习 [7] 改进了跨模态对齐，但它们并未在缺乏显式深度观测的情况下明确处理单目三维几何推理。

近期的研究探索了将视觉-语言交互与单目三维推理相整合的端到端框架 [8]、[9]。特别是，基于Transformer的架构在建模全局跨模态关系方面展现了强大的能力。现有的大多数单目三维视觉接地方法在统一的查询精化过程中执行语言引导的目标识别和三维几何估计 [4]、[10]。尽管这种形式简洁，但它要求相同的目标表示同时解决语义歧义并回归几何属性。然而，这两个目标强调不同的信息来源：语义接地主要依赖视觉-语言对应关系来识别所指实例，而几何推理则额外需要深度、尺寸、朝向和空间线索。

受此差异启发，我们将单目三维视觉接地建模为渐进式目标查询精化过程。目标表示首先通过视觉-语言交互建立，随后通过引入显式的深度感知信息进行几何推理精化。

除了语义接地与几何估计之间的耦合之外，还有两个额外局限制约了现有方法的表现。首先，大多数方法依赖全局特征交互，在跨模态接地之前缺乏对物体区域响应的显式增强，这使得视觉表示容易受到背景干扰。其次，尽管深度在单目设置中作为关键几何先验，但往往未被充分利用或集成，导致三维定位效果欠佳，尤其是对于远距离或小目标。这些局限促使我们在渐进式接地过程中采用更具区分力的视觉表示学习以及显式的深度感知推理。

为解决上述问题，我们提出了渐进式文本引导深度感知单目三维（TDM3D）视觉接地框架。TDM3D的核心是一种渐进式目标查询精化机制，能够持续将语言对齐的目标表示转换为深度条件下的几何表示。具体而言，T2D解码器首先通过视觉-语言交互建立可靠的目标对应关系。所得目标查询被直接传播到TD3D解码器中，其中通过深度交叉注意力引入源自图像的深度感知表示，用于后续的几何精化。在此过程中，目标查询状态在各解码阶段间得以保持，同时根据各模态在语义接地和几何推理中的角色引入不同模态信息。为支持这一渐进式框架，我们引入了区域感知增强头（RAEH）以强化以物体为中心的视觉响应并抑制背景噪声，以及深度感知嵌入以提供显式的几何先验。这些组件被整合到从语义到几何的渐进式精化框架中，通过连续查询演化和分阶段多模态交互支持跨模态推理。

在Mono3DRefer基准上的大量实验表明，所提方法具有出色的整体性能，在涉及歧义、遮挡和远距离目标的挑战性场景中提升尤为显著。这些结果支持了从语义到几何的渐进式推理在单目三维视觉接地中的有效性。

本文的主要贡献总结如下：

• 1.
  我们为单目三维视觉接地提出了一种渐进式目标查询精化策略，通过跨阶段查询传播和分阶段多模态交互，将语言对齐的目标表示从语义接地持续传递至深度感知的几何推理。
• 2.
  我们设计了两个专用模块以支持所提框架。区域感知增强头强化了以物体为中心的视觉响应并抑制背景干扰，而深度感知嵌入机制则引入了几何先验以实现更可靠的三维推理。
• 3.
  在Mono3DRefer基准上的大量实验表明，TDM3D取得了出色的整体接地精度，在歧义、遮挡和远距离场景中改进尤为显著。

章节摘要

相关工作

单目三维视觉接地处于单目三维目标检测、视觉接地和语言引导三维接地的交叉领域。因此，我们回顾了这三个方向，重点探讨语言引导目标识别与单目几何推理之间的联系。

总体概述

受上述分析启发，我们将单目三维视觉接地建模为一个从文本引导的二维语义接地到深度感知的三维几何推理的渐进过程。具体而言，共享目标查询首先与指称表达进行对齐以建立目标特定的对应关系，然后通过引入深度感知线索进行精化以估计三维属性。基于这一建模方式，我们提出了TDM3D，即渐进式文本引导深度感知单目三维视觉接地框架。

实验设置

数据集。 主要实验在Mono3DRefer数据集上进行，该数据集基于KITTI构建，用于单目三维视觉接地。Mono3DRefer包含41,140条自然语言描述、8,228个目标实例和2,025个场景。每个样本由一张单目RGB图像、相机标定参数、一个指称表达以及对应的二维/三维边界框标注组成。文本描述不仅包含外观线索，还包含几何属性，例如相对

结论

本文提出了用于单目三维视觉接地的TDM3D方法。所提出的RAEH能够强化物体区域的视觉响应并减少背景干扰，而渐进式从语义到几何的解码器则将持续地将文本对齐的目标表示传递至深度感知的几何精化阶段，从而在目标识别与三维空间推理之间建立了结构化连接。实验和消融研究证明这些

CRediT作者贡献声明

Jingqi Qiao：撰写——初稿，验证，软件，方法论，形式化分析，概念构思。Xinyi Liu：撰写——审阅与编辑，监督，项目管理，资金获取。Shijie Sun：撰写——审阅与编辑，监督，方法论。Wei Wang：验证，调查，数据整理。Shu Zhang：撰写——审阅与编辑，资源，形式化分析。Li Zhu：撰写——审阅与编辑，可视化，资源。

生成式AI及AI辅助技术在写作过程中的声明

在本工作准备过程中，作者仅使用ChatGPT来改善稿件的可读性和语言。作者已根据需要审阅和编辑了内容，并对已发表文章的内容承担全部责任。

资助

本工作得到了国家重点研发计划（编号：2024YFF0908100）和中央高校基本科研业务费专项资金（长安大学）（项目编号：300102246303）的支持。

未引用参考文献

[42]、[43]

利益冲突声明

作者声明，他们没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

Jingqi Qiao|Xinyi Liu|Shijie Sun|Wei Wang|Shu Zhang|Li Zhu