《Displays》：MonoGATR: Monocular 3D object detection with a geometry-aware transformer
编辑推荐：
单目3D目标检测通过深度图先验引导几何感知Transformer，结合多尺度融合模块提升复杂场景检测精度。
谢传龙|宋超|陈洪明|李玉峰
沈阳航空航天大学电子与信息工程学院，中国辽宁沈阳110135
摘要
单目3D物体检测在自动驾驶中发挥着重要作用，因为它成本低且部署灵活性高。然而，由于缺乏真实的深度信息，仅凭单张RGB图像在3D空间中精确定位物体仍然极具挑战性。尽管最近基于Transformer的方法通过利用深度感知线索取得了进展，但现有的关键查询通常需要在没有可靠先验知识的情况下进行自适应学习。因此，注意力机制容易受到背景噪声的影响，在遮挡、远距离和小物体等复杂场景中表现不佳。为了解决这些问题，我们提出了MonoGATR，这是一种具有几何感知能力的单目3D物体检测方法。我们明确地从深度图中编码了几何先验，并将其注入解码过程，从而实现了一种能够建模物体间空间结构和几何依赖关系的几何感知注意力机制。这种设计使关键查询能够更准确地聚焦于物体区域，提高了特征质量并减少了由背景干扰引起的定位误差。此外，还引入了一个多尺度融合表示模块，以充分利用不同尺度特征的互补性，增强了远距离和小物体的细粒度结构表达能力。在KITTI和Waymo数据集上的广泛实验表明，MonoGATR在整体性能上显著优于现有的最先进方法，特别是在涉及遮挡、小目标和远距离感知的具有挑战性的场景中表现出更优的准确性和鲁棒性。
引言
与2D物体检测相比，3D物体检测能够提供更准确的物体属性，如类别、大小和空间位置，从而为自动驾驶[1]、[2]、[3]、[4]和机器人视觉[5]、[6]、[7]、[8]等应用中的感知和决策提供了全面的环境理解。由于其能够提供完整的空间信息，因此具有广泛的应用潜力。与基于LiDAR[9]、[10]、立体视觉[11]、[12]、[13]或多传感器融合解决方案[14]、[15]相比，后者通常需要较高的硬件成本和复杂的配置，单目3D物体检测近年来因其低成本、易于部署和轻量级硬件要求而受到越来越多的关注。该技术旨在从单张RGB图像中预测物体的3D属性，包括几何结构、空间位置和方向。然而，由于2D成像过程中本质上缺乏明确的深度信息，深度估计成为一个病态问题[16]、[17]、[18]，这显著限制了3D物体检测的准确性。在涉及遮挡、远距离感知和小物体的具有挑战性的场景中，性能瓶颈更加明显。
近年来，单目3D物体检测取得了显著进展[19]、[20]、[21]。大多数现有方法遵循从传统2D检测器继承的中心引导[22]、[23]、[24]范式，其中引入了手工制作的技术[25]、[26]、[27]，如区域提议、非最大值抑制和数据增强来优化检测性能。其他方法[28]、[29]、[30]、[31]、[32]试图通过利用辅助数据、几何变换或复杂的几何先验来补充有限的3D线索。然而，这些方法通常依赖于局部视觉特征，缺乏全局场景级别的依赖性。此外，一些方法过度依赖2D和3D信息之间的启发式几何相关性，导致不同3D属性之间的强耦合，从而影响检测的准确性和鲁棒性。
为了利用全局上下文信息，基于Transformer[17]、[33]、[34]、[35]、[36]的架构已被引入到单目3D物体检测中。代表性的方法如MonoDTR[17]和MonoDETR[34]通过结合辅助深度信息或预测前景深度图来将深度线索与注意力机制相结合，从而缓解了仅依赖局部视觉特征的模型的局限性。尽管有这些优点，基于Transformer的方法仍然存在几个限制。首先，它们主要利用深度线索来指导局部特征聚合，仅关注相同空间位置的相关性，而缺乏对3D空间中几何约束和先验的明确建模。由于关键查询的位置和特征都是在没有几何先验指导的情况下自适应优化的，注意力机制容易偏向于无关的背景区域或视觉上相似的物体，导致特征聚合质量下降和3D属性预测的准确性不足。其次，这些方法未能明确捕捉场景中不同物体之间的空间结构和几何关系。深度模态中反映的全局几何依赖性和层次信息，如深度分布、空间布局、位置关系和几何一致性，仍然没有得到充分探索，限制了模型利用多个物体之间的结构相关性的能力。总之，尽管基于Transformer的方法在某种程度上改善了全局特征建模，但由于缺乏明确的几何先验整合和物体间空间推理，它们无法充分利用来自深度的几何信息。因此，它们在复杂的真实世界环境中的3D检测准确性和鲁棒性仍然不足。
为了解决上述挑战，本文提出了一种名为MonoGATR的新单目3D物体检测框架，该框架结合了一个具有几何感知能力的Transformer。MonoGATR基于MonoDETR[34]作为基线，利用深度估计器预测的前景深度图作为明确的几何先验，并引入了一个几何感知解码器。开发的几何感知注意力机制能够更有效地建模场景中物体间的空间依赖性和几何关系。通过将几何先验纳入注意力分布，所提出的方法改进了查询位置的定位，增强了特征表示，并生成了高质量的查询特征，从而提高了3D检测的准确性。生成几何先验的过程如图1所示。
具体来说，我们重新审视了深度图中反映的几何信息和物理解释，并提供了关于如何利用深度图的新视角。深度图被编码为明确的几何先验，以指导注意力，使模型能够明确捕捉物体间的空间约束和几何关系。这提高了查询定位的准确性并减少了背景干扰。通过将深度图中的几何结构与视觉特征的空间语义相结合，我们的模型实现了几何线索和视觉线索在全局尺度上的互补交互。因此，注意力机制能够更精确地聚焦于物体区域，抑制了对背景或视觉上相似的干扰物的聚合，并生成更具区分性的查询特征。通过将明确的几何先验与视觉表示融合，所提出的方法显著增强了模型对场景结构的理解，从而在远距离感知、小物体和遮挡等复杂场景中提高了3D检测的准确性和鲁棒性。此外，为了进一步提高特征表示的表达能力和可靠性，我们在主干网络之后引入了一个多尺度融合表示模块（MSFR）。与仅依赖单尺度高级语义的MonoDETR不同，所提出的模块通过跨尺度对齐和自适应融合探索了不同特征尺度之间的互补特性。这有效地将低级特征的细粒度几何线索与高级特征的丰富语义信息整合在一起，产生了更具区分性的多尺度联合表示。该模块增强了在不同空间尺度下特征嵌入的一致性和鲁棒性，并加强了深度和视觉分支的建模能力，为后续的3D属性预测提供了更准确和稳定的特征支持。
本文的主要贡献总结如下：
- •
我们提出了一种具有几何感知能力的注意力机制，其中深度图被用作明确的几何先验来指导注意力权重分布。通过明确建模物体间的几何关系和空间约束，所提出的机制改进了关键查询的定位和特征表示，生成了更具区分性和高质量的查询特征，并在复杂场景中提高了3D检测的准确性和鲁棒性。
- •
为了解决单尺度特征表示的局限性，本文引入了一个多尺度融合表示模块。通过探索多个尺度之间的差异和互补性，所提出的模块增强了特征表示的表达能力和鲁棒性，为后续任务提供了更准确的输入特征。
- •
在KITTI和Waymo数据集上的广泛实验验证了所提出方法的有效性。结果表明，MonoGATR在整体单目3D物体检测性能上取得了显著改进，特别是在检测中等大小和小物体方面，优于现有的主流方法，并表现出更优的检测能力和泛化性能。
部分摘录
单目3D物体检测
单目3D物体检测旨在从单张RGB图像中估计物体的3D属性。由于从2D观测中恢复3D结构本质上是一个病态问题，缺乏深度信息成为限制检测准确性的主要瓶颈。为了解决这个问题，现有方法通常可以分为两类：一类依赖于额外的辅助数据，另一类完全基于RGB图像。
依赖于辅助数据的方法引入了外部
问题定义
单目3D物体检测旨在从单张RGB图像中预测场景中每个物体的3D属性，包括其空间位置、几何尺寸和方向。该任务[2]被表述为：
，其中表示场景中的一组个3D物体，表示单目3D物体检测模型，I是由前置相机捕获的单目RGB图像。表示该任务的一个核心挑战在于如何正确表示每个3D实验配置
数据集和评估指标。我们在两个广泛使用的公共基准测试上进行了广泛的评估：KITTI数据集[56]和Waymo Open数据集[57]。KITTI数据集收集自真实世界的驾驶环境，包括城市、农村和高速公路场景。它包含7481张训练图像和7518张测试图像。由于测试集的地面真实注释没有公开，我们遵循[58]中的数据分割策略，将训练集分为3712张图像用于模型
结论
在本文中，我们提出了MonoGATR，这是一种具有几何感知能力的单目3D物体检测Transformer。通过将预测的深度图明确编码为可学习的几何先验并将其纳入解码过程，几何感知注意力在特征聚合和查询细化期间明确建模了物体间的空间结构和几何依赖性。这种设计有效地缓解了通常由查询漂移和背景引起的定位错误
CRediT作者贡献声明
谢传龙：撰写——原始草稿，撰写——审阅与编辑，概念化，方法论，调查，概念化。宋超：撰写——审阅与编辑，数据管理，可视化，形式分析。陈洪明：调查，方法论，监督。李玉峰：资源管理，监督，项目管理，资金获取。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
本工作部分得到了辽宁省教育厅科学研究平台建设项目（Grant LJ232510143007）、沈阳科技项目（Grant 23-503-6-18）和辽宁省高等学校基本科研经费（LJ232410143060）的支持。
