《Engineering Applications of Artificial Intelligence》：Target-aware proposal-level fusion for multi-modal three-dimensional detection
编辑推荐：
三维目标检测中多模态融合存在提案质量差、特征采样不准、跨模态融合不足等问题。本文提出目标感知提案级融合框架TAFusion，包含双维过滤提案生成模块、目标感知特征采样模块和自适应特征融合模块，通过跨模态动态权重分配提升复杂场景检测能力，在nuScenes数据集上mAP达72.1，NDS达74.0。
赵子龙|吴宝福|尹玉玉|张吉林|李有智|曾艳|高宏浩
杭州电子科技大学计算机科学与技术学院，中国杭州310018
摘要
基于摄像头和光检测与测距的三维检测技术对于安全的自动驾驶至关重要，而提案级融合检测方案因其高效性而受到越来越多的关注。其准确性取决于提案提取、特征采样和多模态融合。然而，现有方法存在提案质量差、采样不准确以及多模态集成能力有限的问题，这降低了它们的有效性。为了解决这些问题，本文提出了一种目标感知的提案级融合框架，用于多模态三维检测，该框架利用点云和多视图图像的互补性来提高自动驾驶系统的感知精度。该框架包括三个关键模块：通道-空间选择性提案提取模块通过二维滤波提高提案质量并减少背景干扰；目标感知特征采样模块改进了可变形注意力机制，以更好地适应不同环境中的复杂多模态数据，从而增强了特征采样的鲁棒性；自适应特征融合模块通过可学习的权重动态整合多模态特征，优化了跨模态信息整合。在nuonomy场景数据集上的广泛评估显示了所提出方法的优越性，模型在测试集上的平均精度达到72.1，nuScenes检测得分达到74.0，证明了其在多模态数据处理方面的先进能力。这些性能提升使得自动驾驶系统更加准确和可靠，能够更好地导航和应对动态且具有挑战性的真实世界场景。
引言
三维（3D）对象检测（Liu等人，2022a；王胜等人，2023a；李志等人，2022；林某某等人，2022；陈某某等人，2023；梁某某等人，2022；刘志等人，2023；尹某某等人，2021b；白某某等人，2022）是自动驾驶系统的基本组成部分。光检测与测距（LiDAR）和摄像头是两种以不同方式感知周围环境的必要传感器。LiDAR传感器通过发射激光波长生成点云来捕捉场景，具有精确的空间定位和可靠的几何信息。相比之下，摄像头捕捉的图像提供了更丰富的语义和纹理细节。为了更深入地理解自动驾驶环境中的复杂场景，许多研究致力于融合LiDAR点云和摄像头图像的信息，以实现更准确的三维目标检测（Wang等人，2021a；陈志等人，2022；杨某某等人，2022；闫某某等人，2023b；王浩等人，2023a；蔡某某等人，2023；黄某某等人，2025；胡某某等人，2023；焦某某等人，2023a；李某某等人，2023；谢某某等人，2023）。然而，这些传感器之间的信息模态存在显著差异，给它们的有效融合带来了挑战。
为了解决模态差异带来的挑战，研究人员主要关注两种方法：特征级别的密集融合和提案级别的稀疏融合。密集检测方案（Liu志等人，2023）首先需要将不同模态的特征映射到统一的鸟瞰图（BEV）表示中。然而，将不同模态的数据统一对齐到单一的空间表示中（Philion和Fidler，2020）在计算上非常耗费资源。此外，这样的密集检测器通常依赖于注意力机制来进行全局特征交互，进一步增加了计算复杂性。尽管使用时空变换器（BEVFormer）（Li志等人，2022）学习统一的BEV表示在一定程度上减轻了透视变换的计算负担，通过引入查询为摄像头构建BEV特征，但BEVFormer-M（Li某某等人，2025）在执行与LiDAR和摄像头的融合对象检测时仍然依赖于构建密集的BEV融合特征。而且，它对历史帧的依赖进一步增加了计算负载。
与密集检测器相比，基于提案级别融合的稀疏检测器可以通过利用投影点来采样提案的局部特征，有效避免密集融合中由透视变换和全局注意力模块引起的计算开销。作为提案级别融合的一个代表性解决方案，Fusing Multi-Modal Sparse Representations（SparseFusion）（谢某某等人，2023）并行从LiDAR分支和摄像头分支提取提案，将这些提案连接起来，应用注意力机制，最后将结果输入到检测头中。
尽管提案级别稀疏融合范式表现出良好的性能，但它仍有一些潜在的局限性。具体来说，现有方法仅在提案生成期间进行多模态交互，而忽略了特征采样阶段的信息交换。因此，整体特征交互不足，导致提案表示不够理想。由于提案本身的信息表达不足以及高质量特征支持的相对缺乏，模型的整体性能受到了不利影响。
为了解决上述问题，本文提出了目标感知的提案级融合框架TAFusion，这是一种高效的多模态融合检测器，旨在增强不同模态之间的互补性和协同作用。具体来说，TAFusion主要由三个核心模块组成：（i）通道-空间选择性提案提取（CSPE），（ii）目标感知特征采样（TAFS），以及（iii）自适应特征融合（AFF）。首先，CSPE模块从多视图图像和点云中选择个查询作为初始3D提案。通过通道和空间维度的双重滤波，它消除了来自背景元素（如树干和建筑物）的干扰，确保了有价值区域的准确选择。其次，为了解决现有方法在特征采样期间准确定位目标时的局限性，其中参考点偏差导致采样特征不准确，本文提出了TAFS模块。该模块利用检测头的输出并在损失函数的监督下，整合有助于参考点生成的关键特征（例如目标大小、类别），并将它们投影到另一个模态空间中。通过使用双线性插值和可变形注意力（Zhu等人，2020）机制，实现了更准确的目标特征采样。最后，基于提出的原始模态特征和另一个模态的采样特征，AFF模块评估每个模态的贡献。通过利用模态之间的互补优势，它动态地为每个模态分配权重，以适应不同的驾驶场景。该模块与TAFS模块协同工作，解决了现有方法在特征采样阶段的不足，从而进一步提高了质量。通过这三个模块的协作操作，TAFusion框架有效减轻了背景干扰，充分利用了来自不同模态的信息，从而增强了模型理解复杂驾驶场景的能力。
本文的贡献可以总结如下：
- 1.
为了有效选择前景区域并过滤掉背景区域，提出了CSPE模块，该模块通过通道-空间双重滤波机制筛选高价值候选提案。
- 2.
为了提高特征采样的准确性，设计了TAFS模块，通过检测头和损失监督整合有价值的参考点生成信息，从而实现更精确的目标特征采样。
- 3.
为了充分利用LiDAR和摄像头模态的互补特性，本文提出了AFF模块，通过动态权重分配实现鲁棒的特征融合。
- 4.
实验结果表明，所提出的方法显著提高了模型性能，在具有挑战性的nuScenes数据集上实现了72.1的平均精度（mAP）和74.0的nuScenes检测得分（NDS）。
本文的结构如下：第2节回顾了3D对象检测的相关工作。第3节详细介绍了TAFusion框架，包括CSPE、AFS模块和AFF架构。第4节涵盖了实验设置、结果和分析。第5节总结了主要贡献和未来的研究方向。
章节片段
基于LiDAR的3D对象检测
基于LiDAR的3D对象检测技术已成为自动驾驶和机器人技术领域的一个重要研究方向，因为它能够提供丰富的空间信息，从而在复杂环境中实现强大的辅助检测能力。目前，基于LiDAR的3D对象检测方法主要分为三种类型：基于点的方法（Qi等人，2017；钱某某等人，2022；史某某等人，2019；杨某某等人，2020；史某某等人，2020；史某某等人，2023）
方法论
在本节中，3.1节提供了TAFusion方法的一般架构概述。随后，3.2节详细介绍了CSPE模块的结构，3.3节讨论了TAFS模块的实现细节。最后，3.4节将详细揭示AFF模块的设计思路。
数据集和指标
数据集。该方法在nuScenes数据集（Caesar等人，2020）上进行了评估。nuScenes数据集是一个大规模的多模态数据集，广泛应用于自动驾驶研究，收集自波士顿和新加坡的复杂城市交通环境。它涵盖了1000个用于训练、验证和测试的场景。每个场景持续约20秒，包含约40,000个关键帧和140万个对象注释，并提供了丰富的视觉、点云和雷达数据，能够捕捉360度的
结论和未来工作
本文提出了一种提案级别的LiDAR和摄像头融合框架TAFusion，通过基于现有策略的巧妙设计实现了检测性能的提升。具体来说，TAFusion包括三个关键模块：首先，引入了通道-空间双重滤波机制，以并行处理点云和图像的通道和空间信息，过滤掉背景区域干扰并提高3D提案的质量。其次，提出了目标感知
CRediT作者贡献声明
赵子龙：撰写——原始草稿，软件开发，概念化。吴宝福：撰写——审稿与编辑，项目管理，方法论。尹玉玉：资金获取。张吉林：项目管理。李有智：监督。曾艳：验证。高宏浩：撰写——审稿与编辑。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
本研究部分得到了国家自然科学基金（NSFC）（项目编号：62272140）和浙江省重点研发计划（项目编号：2024C01026、2024C01212）的支持。
