OAGDet：面向自动驾驶多视角三维目标检测的密集占用感知几何方法

《Pattern Recognition》：OAGDet: Dense occupancy-aware geometry for multi-view 3D object detection in autonomous driving

　　OAGDet利用稠密占据感知几何进行多视角三维检测。ASG-VT实现自适应语义-几何二维到三维特征对齐。LDSO从稀疏激光雷达构建稠密且可靠的占据先验。OAGDet在nuScenes基准上取得强大的检测性能。引言自动驾驶感知系统中安全导航的基础在于对三维环境的准确且全面的理解。随着计算机视觉技术的进步，基于多视角图像的三维目标检测凭借其低成本和丰富的语义信息成为主流方法[1]。值得注意的是，基于鸟瞰图（BEV）的方法通过将多视角特征统一投影到共享的三维空间中，展现出卓越的性能[2]。例如，BEVDet[3]基于提升-投射-射击（LSS）范式[4]实现这一转换，通过沿高度维度压缩特征构建BEV表示以完成检测。在此基础上，后续工作[5]进一步引入了显式深度监督和时间融合机制，显著增强了该架构的感知能力。尽管基于LSS的范式取得了显著进展，现有方法在处理复杂场景时仍面临严峻的几何-语义不匹配挑战[6]。这主要体现在以下两个维度的局限性：（1）首先，现有的基于视觉的三维检测器通常依赖稀疏的激光雷达点云进行几何监督[7]。然而，激光雷达点云本质上是稀疏的且受限于扫描角度，导致真实道路环境中存在显著的几何间隙。这导致几何特征碎片化且不连续，无法表示物理世界稠密且完整的几何结构。在这种情况下，由于缺乏精确的几何引导，语义特征在空间映射时偏离真实物理位置，如图1(a)所示。这种偏差破坏了环境结构的完整性，降低了检测器在复杂场景中的感知可靠性[8]。（2）其次，传统的LSS方法假设同一空间位置的所有特征通道共享相同的深度权重，即对所有通道应用统一的深度分布[9]。这忽视了不同特征通道之间的深度依赖差异。这种刚性的映射可能将图像特征投影到不匹配的三维空间位置，导致特征混叠以及图像特征与几何深度之间的错位[10]、[11]。因此，构建以几何-语义一致性为核心的感知框架，有助于将图像特征更准确地映射到三维物理空间，从而提升复杂场景下三维环境感知的准确性和可靠性[12]。为了解决上述挑战，我们提出了OAGDet，一种多任务学习框架。通过将三维目标检测中的互补结构化实例信息与占据预测中的非结构化环境信息无缝集成，构建鲁棒的BEV表示以增强三维检测性能。针对问题（1），OAGDet将三维占据预测作为辅助任务，恢复缺失的细粒度几何结构和语义信息，从而提高环境表示的完整性，如图1(c)所示。考虑到稀疏激光雷达点云在真实场景中导致大量几何间隙的问题，我们提出了局部密度感知语义占据（LDSO）流程。该流程通过多帧点云融合补充缺失区域，将图像特征定位于三维空间中的真实物理位置，从而构建更稠密且更连续的三维场景表示。针对问题（2），我们提出了自适应语义-几何视角变换（ASG-VT）模块，将视角变换重新表述为通道感知且几何可微的动态优化过程。通过将图像特征划分为多个通道组并分别学习其深度分布，该模块解耦了不同特征子空间之间的深度依赖，从而促进各特征子空间与物理深度之间更一致的关联。在此基础上，ASG-VT可以自适应地优化从二维图像到三维空间的映射关系，有效缓解投影偏差和离散化偏差，提升不同语义特征在三维空间中的几何对齐和空间定位，如图1(b)所示。最后，通过在各任务间建立统一的几何-语义一致性约束，OAGDet旨在从统一的视角深入分析场景中的几何-语义对应关系，从而显著增强感知系统对物理世界结构完整性的理解能力。总体而言，我们的贡献如下：- 我们提出了ASG-VT模块，将视角变换重新表述为通道感知且几何可微的动态过程，从而促进二维特征与三维物理空间之间更一致的对齐。- 我们提出了LDSO流程作为辅助几何引导，利用目标引导的时间聚合构建稠密且高置信度的场景表示，提供丰富的环境上下文和稠密的几何结构线索。- 在nuScenes和KITTI基准上的大量实验表明，OAGDet与基于视觉的框架相比取得了具有竞争力的性能，在nuScenes检测指标上显示了一致的提升，在KITTI上取得了有竞争力的结果。章节摘要基于视觉的三维场景感知基于视觉的三维场景感知已从独立检测发展到几何建模、特征对齐和语义增强。近期研究通过更丰富的几何表示、双空间特征融合和投影约束进一步改善了视觉三维感知。GaussianDet3D[13]将图像预测的三维高斯基元转换为伪激光雷达以实现稀疏三维检测，而OcRFDet[10]采用以目标为中心的辐射场来增强前景几何并……整体架构现有方法通常忽视了由图像特征异构深度依赖引起的几何-语义错位和特征投影错误。为此，我们提出了如图2所示的统一框架OAGDet，利用稠密占据感知几何作为显式引导，促进二维语义与三维几何之间的一致对齐。给定输入的多视角图像 I={I_k}_{k=1}^N，首先使用图像主干网络提取多尺度二维特征 F_2D。随后……数据集nuScenes[21]和Occ3D-nuScenes[22]数据集包含700个训练场景、150个验证场景和150个测试场景，每个场景配备32束激光雷达点云和6个环视RGB图像。KITTI检测数据集[23]包含7481张训练图像和7518张测试图像，以及同步的激光雷达点云。训练图像被划分为训练集和验证集，分别包含3712张和3769张图像。评价指标对于三维目标检测任务，我们采用官方的……结论在本研究中，我们提出了OAGDet，这是一个鲁棒的跨任务框架，旨在通过利用稠密占据感知几何作为显式引导来增强多视角三维目标检测。为此，我们构建了时间增强和密度感知的占据监督以提供细粒度几何约束，从而促进跨任务的几何-语义一致性。此外，我们引入了ASG-VT模块，通过动态校正有效弥合维度差距……CRediT作者贡献声明**赵杰：** 撰写——初稿，方法论，概念化。**石鲁：** 验证，软件，方法论。**杜钦鸿：** 可视化，形式分析，数据整理。**金怡：** 验证，资源，调研。**徐婉如：** 可视化，软件，数据整理。**岑一钢：** 监督，项目管理，资金支持获取。**张建：** 撰写——审阅与编辑，监督，资源。利益冲突声明作者声明他们不存在任何已知的竞争性财务利益或个人关系，这些关系可能会影响本文所报告的工作。致谢本工作部分得到北京自然科学基金（资助号L231012）和中国国家自然科学基金（资助号62473033和62571027）的支持。赵杰·石鲁·杜钦鸿·金怡·徐婉如·岑一钢·张建