MonoCAP：一种考虑坐标与视角信息的路边单目3D物体检测学习方法

《Signal Processing》：MonoCAP: Coordinate-aware and perspective-aware learning for roadside monocular 3D object detection

　　

摘要

单目3D物体检测对于道路感知而言至关重要，但由于摄像头安装位置较高且俯仰角较大，会导致严重的透视畸变以及尺度-分辨率变化，尤其是对于远处物体。在道路平坦且摄像头固定安装的情况下，图像坐标可为深度相关建模提供大致的透视线索，但并非普遍适用的几何约束。为解决这一问题，我们提出了MonoCAP这一兼顾坐标信息和透视信息的学习框架。具体而言，我们设计了坐标感知混合视觉编码器（CAHVE），通过2D位置嵌入和坐标注意力机制引入坐标感知的位置线索，从而提升对远处物体的空间敏感特征表示能力。此外，我们还引入了地理视觉协同注意力（GVSA）机制，用于学习基于数据的地面感知几何特征与视觉语义特征之间的融合比例，相比手动固定的融合方式，这种策略更具灵活性。同时，我们设计了透视感知可变形注意力（PADA）模块，通过垂直坐标线索作为柔和的透视引导，实现多尺度特征选择与空间采样，提升特征在固定道路视角下应对近大远小尺度变化的适应能力。在DAIR-V2X-I和Rope3D测试集上的大量实验表明，MonoCAP取得了优异的性能，尤其在处理典型道路透视变化下的远处物体检测任务时表现突出。

引言

单目3D物体检测旨在从单张图像中估算出3D物体信息。由于其成本较低、部署简单且结构紧凑，在自动驾驶[1]、[2]以及机器人技术[3]、[4]领域具有广阔的应用前景。现有研究主要聚焦于以车辆为中心的场景[5]、[6]、[7]，这类场景中车载摄像头的视野通常较为有限，且容易被周围车辆遮挡。而道路感知系统则采用高处固定的摄像头，获得更广阔的俯视视角，从而减少遮挡问题，并实现全局交通监控[8]、[9]、[10]、[11]、[12]。大规模道路数据集的发布[13]、[14]进一步推动了该领域的研究进展。

道路感知具有独特的几何特性。较高的摄像头安装位置和较大的俯仰角会导致严重的透视畸变，进而出现典型的“近大远小”尺度变化。与此同时，固定安装的摄像头往往能够观测到静态的地面区域，这些区域可为特征提取提供有用的几何先验信息。特别是在摄像头观测到基本平坦的道路表面时，物体底部中心点的垂直图像坐标与场景深度之间通常存在一定的关联，因此垂直坐标可作为特征编码和层级选择的有用透视线索。不过，这一线索应被视为一种较为宽松的几何先验，而非普遍适用的严格约束，因为在非平坦路面或摄像头标定不准确的情况下，这种关联可能会减弱。现有的方法往往仅将像素坐标作为常规的位置编码，未能充分利用这类与坐标相关的线索来辅助特征提取和层级选择。

尽管MonoGAE[9]引入了地面平面嵌入机制来辅助道路单目3D检测，但仍存在两个局限性。首先，虽然MonoGAE通过交叉注意力机制将地面感知嵌入与视觉特征相结合，但在基于注意力的交互之后，并没有通过可学习的融合门明确调控几何特征流与视觉特征流的相对贡献度，这为引入轻量级的基于数据的聚合机制留下了空间，此类机制能够实现比手动固定融合更为灵活的地理视觉特征融合比例。其次，现有的基于Transformer的单目3D检测器[6]、[9]通常采用通用的可变形注意力机制和深度引导解码器，如图1所示。它们并未充分利用道路透视特性——即远处的较小物体往往需要高分辨率特征，而附近的较大物体则可能更适合使用具有更大感受野的低分辨率语义特征。在摄像头观测到基本平坦的道路时，这种透视特性具有一定的参考价值，但它仍应被视为一种近似性的宽松先验，而非确定的几何规则。

为解决这些问题，我们提出了MonoCAP，这是一种兼顾坐标信息和透视信息的道路单目3D物体检测框架。首先，我们设计了坐标感知混合视觉编码器（CAHVE），该编码器通过2D位置嵌入和坐标注意力机制融入混合CNN-Transformer特征聚合过程，从而增强特征的对坐标敏感度，同时保留远处物体的细微特征线索。其次，我们引入了地理视觉协同注意力（GVSA）机制。通过一个轻量级的可学习门控，GVSA能够基于数据估算地面感知几何特征与视觉语义特征之间的融合比例，进而提供比手动固定融合更为灵活的地理视觉特征聚合策略。第三，我们开发了透视感知可变形注意力（PADA）模块。该模块借鉴了MonoPSTR[15]的设计思路，结合尺度辅助采样与垂直坐标引导的软特征级选择机制，提升特征在道路透视变化条件下的适应性。这些模块是为在经过标定的固定道路视角下进行特征适配而设计的，并非用于校正摄像头的外在参数偏差。

MonoCAP采用端到端训练方式，无需额外的深度标注或复杂的后期处理。在DAIR-V2X-I[13]和Rope3D[14]测试集上的实验表明，与现有的最先进方法相比，MonoCAP在处理典型道路透视变化下的远处物体检测任务时取得了优异的性能。其主要贡献如下：

• •
  我们提出了坐标感知混合视觉编码器（CAHVE），该编码器通过2D位置嵌入和坐标注意力机制引入坐标感知的位置线索，从而提升道路单目3D检测中特征的空间敏感度。
• •
  我们设计了地理视觉协同注意力（GVSA）机制，该机制通过一个轻量级的可学习门控，实现基于数据的地面感知几何特征与视觉语义特征之间的融合比例优化。
• •
  我们开发了透视感知可变形注意力（PADA）模块，该模块通过垂直坐标线索作为柔和的透视引导，并结合尺度辅助采样机制，实现多尺度特征的高效聚合。

章节节选

相关工作

作为自动驾驶和机器人技术中的核心感知任务，3D物体检测可大致分为基于激光雷达的方法[16]、[17]、多模态融合方法[18]、[19]以及基于摄像头的方法[7]、[8]、[20]。基于激光雷达和多模态的技术通常能够提供更准确的深度测量结果，但其高昂的硬件成本和复杂的标定流程限制了其在道路基础设施中的大规模应用。相比之下，基于单目摄像头的方法则具有更高的应用优势

整体框架概述

图2展示了MonoCAP的整体架构，这是一种兼顾坐标信息和透视信息的道路单目3D物体检测框架。给定一张道路图像后，模型首先通过主干网络提取多尺度视觉特征，这些特征随后会被坐标感知混合视觉编码器（CAHVE）处理，该编码器通过混合Transformer-CNN特征聚合机制提升特征的对坐标敏感度。与此同时，地面特征模块会生成与地面相关的几何特征

实验设置

数据集：我们在两个道路单目3D物体检测测试集上评估了MonoCAP的性能：DAIR-V2X-I[13]和Rope3D[14]。DAIR-V2X-I是DAIR-V2X中的基础设施相关子集，包含约10,000张由固定道路摄像头拍摄的高分辨率图像，这些图像提供了车辆、行人和骑行者的3D标注信息。按照官方数据划分方案，我们分别将50%、20%和30%的数据用于训练、验证和测试阶段。Rope3D则是规模更大的道路检测测试集

结论

本文提出了MonoCAP，这是一种兼顾坐标信息和透视信息的道路单目3D物体检测框架。通过整合CAHVE、GVSA和PADA三种模块，MonoCAP不仅提升了特征的对坐标敏感度，还实现了基于数据的地理视觉特征融合比例优化，同时通过垂直坐标线索作为柔和的透视引导，助力多尺度特征的有效聚合。在DAIR-V2X-I和Rope3D测试集上的实验结果表明，MonoCAP具备出色的性能，尤其是在处理远处物体检测任务时表现尤为突出

资金支持

作者声明，他们未收到任何可能影响本文研究、写作或发表的财务利益或个人关系方面的支持。本研究部分得到了国家自然科学基金（项目编号为62101314和52172371）的资助，同时还获得了上海学术领军人才计划（项目编号21XD1401100）以及新能源汽车噪声与振动评估控制技术服务平台项目（项目编号18DZ2295900）的经费支持

CRediT作者贡献说明

孙长辉：论文撰写——初稿编写、可视化处理、结果验证、方法设计。王晓兰：论文撰写——审稿与编辑、研究指导、软件工具使用、资源协调。张志国：项目管理工作、相关调研工作。王彦松：相关调研、形式化分析、概念构思工作。魏丹：软件工具使用、资源协调、方法设计工作。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究工作的已知财务利益冲突或个人关系关联。

孙长辉|王晓兰|张志国|王彦松|魏丹