用于多模态3D物体检测的实例级分层融合方法

《Expert Systems with Applications》：Instance-Awarded Hierarchical Fusion for Multimodal 3D Object Detection

　　

郝天白|陈颖

轻工业先进过程控制关键实验室（教育部），中国无锡

摘要

多模态3D对象检测是自动驾驶的基础，基于鸟瞰视图（BEV）的融合框架已成为主导范式。然而，大多数现有方法主要关注跨模态对齐和融合，而忽视了BEV表示的一个固有问题：背景单元的数量远远超过实例单元，导致在全局融合过程中前景信号被淹没。对于小型和远距离对象，这个问题尤为严重。为了解决这个问题，提出了基于实例的层次融合（IAHF）方法，该方法通过在层次融合过程中给予信息丰富的实例更高的表示优先级，从而通过协作式上下文建模增强它们对抗背景杂乱的能力。首先，设计了基于密度的2D-3D空间融合（DSF）模块，为BEV空间提供更清晰、更集中的前景证据。在此基础上，实例注意力BEV融合（IAF）模块构建实例查询，并从BEV和多视图图像域聚合上下文信息以增强实例表示。最后，空间-光谱上下文融合（SCF）模块进一步细化了密集的BEV特征，产生了更清晰的实例热图响应和更高质量的解码器查询。在nuScenes测试集上，IAHF取得了75.9%的nuScenes检测分数（NDS）和74.0%的平均精度（mAP），展示了其在光检测和测距（LiDAR）-相机多模态3D对象检测器中的领先性能。在KITTI上的额外结果进一步支持了其跨数据集的泛化能力。

引言

多模态3D对象检测是开发自动驾驶和智能机器人鲁棒感知系统的基础，能够准确解释复杂环境。光检测和测距（LiDAR）点云（Bai等人，2022年；Feng、Wang、Wang、Yang和Zheng，2023年；Liu等人，2024年；Yin、Zhou和Krahenbuhl，2021a年；Zhou和Tuzel，2018年）提供了高精度的几何和深度信息，但缺乏语义丰富性；相比之下，多视图图像（Duan等人，2019年；Huang、Huang、Zhu、Ye和Du，2021年；Jiang等人，2024年；Yang等人，2023年）提供了丰富的纹理和语义，但存在深度模糊问题。因此，融合这些互补的模态已成为研究前沿：通过结合LiDAR的空间精度和相机的语义能力，可以获得更可靠和全面的3D环境表示（Bai等人，2022年；Liu等人，2023年；Vora、Lang、Helou和Beijbom，2020年；Xie等人，2023年；Yang等人，2022年；Yin、Zhou和Krahenbühl，2021b年）。

鉴于各模态之间的显著异质性，主流方法（Li等人，2024年；Liang等人，2022年；Liu等人，2023年；Song等人，2024年）通常将多视图图像和点云映射到统一的鸟瞰视图（BEV）表示中，其中复杂的3D场景被简化为2D平面，然后进行特征级对齐和融合。然而，如图1（a）和表1所示，在BEV空间中，3D检测数据本质上是背景主导的，前景稀疏的。对nuScenesCaesar等人（2020年）数据集的统计分析显示，投影到2D BEV网格后，真实对象仅占空间表示的2.37%，剩余的97.63%为背景杂乱。当在整个场景上应用无差别的全局特征融合时，如图1（b）所示，这种巨大的不平衡导致与任务无关的背景噪声在统计上主导了学习过程。因此，稀疏的前景信号被严重稀释。对于具有挑战性的目标，这个问题尤其有害：如表1所示，近一半的对象位于远距离（>30米，48.64%）或具有极小的物理足迹（<4米，47.40%）。它们本质上较弱的特征响应在全局融合过程中容易被淹没，导致大量漏检和误检。此外，视图变换还受到深度模糊、遮挡和视野边界的影响，进一步降低了BEV特征的质量。

为了解决这些问题，如图1（c）所示，一些工作采用提案级融合（Bai等人，2022年；Cai、Pan、Yao、Ngo和Mei，2023年；Xie等人，2023年）：这种以实例为中心的方法首先在单一模态中提取实例线索（即，对象特定的语义、精确的3D几何边界和局部纹理模式），然后仅对一小部分高置信度候选者进行跨模态增强，实现了与密集特征级融合相当的性能，同时间接突出了实例信息在检测中的关键作用。然而，由于交互主要发生在前景提案上，丰富的背景语义和场景布局往往被削弱。尽管背景单元在数量上占优势并且可能引入噪声，但它们本质上包含了对定位和验证稀疏对象提案至关重要的结构上下文（例如，道路布局、车道标记和相对空间排列）。因此，一个稳健的解决方案必须同时抑制噪声并利用这种场景上下文进行协调融合。最近的方法（Yin等人，2024年）尝试联合融合场景和实例线索，但它们的实例候选者完全由BEV空间中的Top-K选择决定。当初始BEV表示已经受到稀疏性和错位的影响时，在BEV空间中选择的Top-K实例查询很容易被背景响应污染，从而失去其区分实例的能力，这反过来严重限制了后续的细化。总体而言，仍然缺乏一个明确将实例作为跨模态信息主要载体的框架，能够在利用场景上下文作为支持证据的同时，逐步增强稀疏和噪声敏感的实例特征。

在这项工作中，我们引入了基于实例的层次融合（IAHF）用于多模态3D对象检测。核心动机是，由于多模态交互最终在BEV空间中进行，因此BEV融合的质量从根本上取决于BEV之前和内部的实例线索的质量。特别是，2D到3D的投影阶段决定了实例证据注入BEV表示的可靠性，而解码前选择的Top-K实例查询在很大程度上决定了最终的检测质量。因此，稳健的多模态检测需要在整个检测流程中逐步强化实例线索，而不仅仅是在粗糙的BEV特征上增强一次。基于这一洞察，IAHF采用了层次化的以实例为中心的设计，在投影过程中增强实例信号，在BEV融合过程中加强它们，并在解码前进一步提高它们的区分能力。如图1（d）所示，该框架由三个层次化组织的模块组成：基于密度的2D-3D空间融合（DSF）、实例注意力BEV融合（IAF）和空间-光谱上下文融合（SCF）。具体来说，DSF引入了一个轻量级的多视图前景密度预测器和一个几何感知的回退机制，在特征投影期间优先考虑与实例相关的信号，为IAF建立更清晰、更具区分性的特征基础。随后，IAF在BEV空间构建实例查询，并从BEV和多视图图像域聚合门控语义上下文，明确增强稀疏实例表示以对抗背景杂乱。最后，SCF在解码前重新审视密集的BEV特征图，将光谱线索与全局自注意力相结合，重新组织BEV特征，使得高质量的实例查询更有可能优先于背景杂乱，并作为更好的初始化的Top-K查询提供给解码器。

总结如下：

（1）提出了一个基于实例的层次融合（IAHF）框架，用于多模态3D对象检测，专门针对和缓解在背景主导和前景稀疏的BEV表示下的性能下降。

（2）设计了三个层次化的实例增强模块：DSF通过基于密度的回退机制建立更清晰的特征基础；IAF通过可见性感知的双域聚合增强实例查询；SCF通过空间-光谱建模细化密集特征，以确保查询排名的区分性。

（3）在大型nuScenesCaesar等人（2020年）基准测试集上的实验表明，IAHF在测试集上取得了75.9%的NDS和74.0%的mAP，而在KITTI Geiger、Lenz、Stiller和Urtasun（2013年）基准测试上的额外评估进一步验证了其在LiDAR-相机3D对象检测中的有效性和鲁棒性。

章节片段

多模态融合与学习

多模态融合旨在从异构模态中学习互补和鲁棒的表示，并已在多种视觉任务中得到广泛研究。在RGB-T显著对象检测中，先前的工作通过减少模态差异和抑制模态特定噪声来改进多模态交互（Tang、Li、Zhang、He和Tang，2025b）。在少样本细粒度识别中，已经探索了注意力引导的金字塔学习和多视图融合来保留微妙的区分性

方法论

首先在第3.1节提供了所提出的IAHF框架的总体概述。随后，第3.2节深入研究了基于密度的2D-3D空间融合（DSF）模块。第3.3节进一步探讨了实例注意力BEV融合（IAF）模块。第3.4节分析了空间-光谱上下文融合（SCF）模块及其在整个架构中的作用。最后，第3.5节详细介绍了优化目标和相应的损失函数。

数据集和评估指标

为了评估所提出的多传感器3D对象检测框架的有效性和泛化能力，实验在两个广泛使用的自动驾驶基准数据集上进行：nuScenes Caesar等人（2020年）和KITTI Geiger等人（2013年）。这些数据集提供了互补的感知配置和场景分布，使得能够在多种驾驶条件下全面评估多模态感知模型。

nuScenes： nuScenes数据集是一个广泛使用的基准

结论

本研究提出了基于实例的层次融合（IAHF）用于LiDAR-相机3D对象检测，其动机是BEV表示的一个常被忽视的属性：前景单元极其稀疏，在全局融合过程中很容易被背景响应所主导。通过将实例置于跨模态交互的中心，并以层次化的方式组织融合，IAHF提供了一种实用的设计视角，以减轻背景主导的同时保留场景级

作者同意声明

我们，以下签署人，声明本手稿是原创的，之前未发表过，且目前也没有在其他地方考虑发表。

我们确认手稿已由所有列出的作者阅读并批准，且没有其他符合作者资格但未列出的人。我们进一步确认手稿中列出的作者顺序已得到我们所有人的批准。

我们理解通讯作者是唯一的联系人

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

陈颖报告称获得了国家自然科学基金的支持。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文所述的工作。