VP-MonoMF：基于视觉提示的多尺度融合单目3D物体检测方法

《Pattern Recognition Letters》：VP-MonoMF: Visual prompt guided monocular 3D object detection with multiscale fusion

　　

• •
  该多阶段框架通过分离2D与3D检测分支，实现了稳定的单目3D物体检测。
• •
  MDF模块结合全局深度信息与局部3D特征，以实现精准的深度估计。
• •
  3DR模块通过相机姿态变化与变换矩阵来校正深度值。
• •
  VPF模块通过基于GT引导的视觉提示增强2D特征，从而提升小物体的检测能力。
• •
  无需额外训练数据即可在KITTI数据集上达到当前最佳性能。

引言

3D物体检测是利用计算机视觉技术识别并定位三维空间中的物体。它能够根据物体在现实世界中的深度信息来确定其空间坐标与方位。随着机器学习、激光雷达等先进技术的发展，3D物体检测已成为机器理解物理环境的重要手段。它被广泛应用于物体检测[1]、[2]、自动驾驶[3]、智能交通[4]、[5]以及机器人导航[6]等领域。

与其他3D物体检测方法相比，单目3D物体检测因其成本更低、结构更简单而受到广泛关注[7]。该方法通过2D与3D检测分支，从单张2D图像中估算出3D信息。目前的单目3D物体检测方法可分为两类：基于图像的方法[8]仅利用单目相机拍摄的RGB图像进行深度估计；而基于额外信息的方法[9]则进一步借助先验知识或辅助信息来提升检测精度。尽管这些方法降低了复杂度，但要保证检测性能仍面临挑战。

首先，2D与3D检测分支共享相同的特征提取主干网络，并且会同时进行训练。不幸的是，这两个分支不可避免地会相互影响，从而为3D检测分支带来不容忽视的噪声[10]、[11]。其次，现有的单目3D物体检测方法仅考虑相机位置固定的场景，但实际上相机位置可能会因周围环境而发生变化。如图1所示，由于振动会导致相机不稳定，进而使深度图估计出现偏差。第三，单目相机拍摄的图像中通常包含占据区域较小的小物体，因此由于特征不足，很难准确估计其深度。

针对这些挑战，我们提出了一种基于视觉提示的多尺度融合单目3D物体检测方法——VP-MonoMF。该方法由三个模块组成：多深度融合模块（MDF）、3D深度重建模块（3DR）以及视觉提示融合模块（VPF）。在第一阶段，MDF模块首先估算出深度图以及物体的尺寸，随后再利用真实值中的尺寸与2D高度信息来估算3D深度。与此同时，3DR模块会根据相机姿态估计结果重建深度图。最后，将重建后的深度图与3D深度信息融合，从而得到精确的深度值。在第二阶段，我们会冻结MDF模块，使用VPF模块生成的增强特征来训练2D检测器，之后再将MDF模块与2D检测器的输出结果结合起来，得到最终的3D检测结果。

具体而言，针对第一项挑战，我们基于深度检测器与尺寸检测器构建了MDF模块。这些检测器能够生成物体的全局深度图与局部3D深度信息，随后通过对这些信息进行进一步优化与融合，从而得到精确的深度值。此外，我们还会在不同阶段分别训练MDF模块与2D检测器，以避免二者之间的相互影响。针对第二项挑战，我们为3D检测分支设计了基于相机姿态变化的3DR模块。首先，通过分析图像中的消失点与地平线信息，可以得到反映相机姿态变化的变换矩阵，随后利用该矩阵来校正深度图。针对第三项挑战，我们在第二阶段训练2D检测器，并为该检测器设计了VPF模块，用以优化物体2D属性的检测效果。我们首先对特征进行卷积处理，生成注意力图，同时根据真实值中物体的大小生成视觉提示，以此动态调整注意力图。最终，利用经过调整的注意力图来增强不同图像区域中的物体特征，从而使2D检测器能够更有效地提取物体特征。

本文的贡献可总结如下：

• •
  我们提出了MDF模块，用于融合物体的全局深度图与局部3D深度信息。该模块与2D检测器在不同阶段进行训练。
• •
  我们设计了考虑相机位置与姿态的3DR模块，该模块利用相机变换矩阵来校正深度图，有效减少了深度图的误差。
• •
  我们提出了基于视觉提示的VPF模块，该模块能够动态调整注意力图。据我们所知，这是首项探索基于真实值视觉提示的单目3D物体检测方法的研究。
• •
  实验结果表明，我们的方法无需额外数据即可在KITTI 3D检测基准测试上达到当前最佳性能。

章节要点

基于图像的方法

基于图像的方法[12]、[13]不依赖外部数据或预训练模型，而是直接从RGB图像中估算物体的3D与2D信息。这些估算出的2D与3D信息会被结合在一起，从而得到物体的3D边界框。例如，MonoPGC[14]将像素级深度估算作为辅助任务，并设计了深度交叉注意力金字塔模块，将局部与全局的深度几何知识融入到视觉特征中。通过将深度信息纳入掩码处理过程，MonoMAE[15]

概述

图2展示了VP-MonoMF的架构，这是一种基于视觉提示且具备多尺度融合功能的单目3D物体检测方法。在第一阶段，我们主要致力于从单目图像< />_in中提取深度信息，并训练MDF模块。I_in会被输入到深度层聚合网络（DLA）[21]中，从而得到特征?∈?R^W?×?H?×?C，其中W与H分别代表特征的宽度与高度，C则表示通道数。真实值中的2D高度为height*，随后将height*与< />

实验设置

数据集与评估指标。我们的实验是在广泛使用的KITTI数据集[35]上进行的。该数据集包含7481张标注过的图像，其中训练集有3,712张图像，验证集有3,769张图像，此外还有7518张图像组成的独立测试集。这些物体根据边界框的高度、遮挡情况以及截断程度等因素被划分为三种难度等级：简单、中等（Mod）和困难。KITTI还提供了相应的评估规范，包括

结论

在本文中，我们提出了一种采用视觉提示的两阶段多尺度单目3D物体检测方法。在第一阶段，我们训练了MDF模块，该模块能够在多尺度范围内提取深度信息，从而提升检测精度。在第二阶段，我们则专注于利用VPF模块生成的增强特征来训练2D检测器。此外，我们还通过利用相机变换矩阵校正相机姿态，从而重建出更为精确的深度图。为了提升对小物体的检测能力，我们采用了

CRediT作者贡献说明

叶宇：撰写——初稿、方法设计、资金申请。刘伟：可视化处理、结果验证、方法研究、形式化分析。易军：撰写——审阅与编辑、撰写——初稿、方法设计、形式化分析。张伟华：问题调研、概念构思。陆强：问题调研、形式化分析、概念构思。余军：项目监督、项目管理。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关联关系。

致谢

本研究得到了中国国家自然科学基金（编号：62372153）以及安徽省自然科学基金（编号：2308085MF216）的资助。

叶宇|刘伟|易军|张伟华|陆强|余军