CAMF-Det：面向无人机平台激光雷达-相机3D目标检测的闭环感知多模态融合方法

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：CAMF-Det: Closure-Aware Multimodal Fusion for LiDAR-Camera 3D Object Detection on UAV Platforms

　　摘要- 首个面向单无人机平台的激光雷达-相机3D目标检测的多模态融合框架。- 双模态遮挡强度来源于物理启发的封闭度建模，并进行在线预测。- 遮挡强度作为先验信息嵌入到数据增强、特征编码、多模态融合和检测头中。- 两个自建的无人机多模态3D目标检测数据集：SI3D-DI和SI3D-DII。- 在所有难度级别上均取得最佳性能，在两个数据集上困难级别的mAP_BEV分别提升了9.43%和4.88%。引言基于激光雷达和相机的多模态三维（3D）目标检测是三维场景理解中的基础任务，在自动驾驶、智能监控和军事侦察等领域具有广泛的应用[1]、[2]、[3]、[4]。通过将激光雷达提供的高精度三维结构信息与相机提供的丰富色彩和纹理线索进行融合，检测器可以克服单一传感器的感知局限，并在复杂场景中展现出显著优势。目前的多模态三维目标检测器主要面向地面车辆平台开发。现有方法可分为输入级融合[5]、[6]、统一特征融合[7]、[8]以及特征投影融合[9]、[10]。输入级融合将图像语义附加到原始点云上，统一特征融合将两种模态转换为公共表示（如鸟瞰图BEV），特征投影融合则通过传感器几何参数建立跨模态对应关系。各类方法在不同表示层级上实现跨模态对齐，并在公开基准上取得了稳定的性能提升。然而，这些融合机制都是针对地面车辆平台设计的，无法直接迁移到无人机平台，因为无人机平台的观测几何、场景布局和退化模式存在根本性差异。基于无人机的三维目标检测利用无人机平台的高机动性和广域覆盖能力，实现高效的大范围感知，在搜救、目标侦察和巡检任务中日益受到关注[11]、[12]。基于相机的方法[13]、[14]、[15]已为无人机视角的三维感知建立了初步框架和基准，但其三维定位精度受限于单目深度估计固有的不确定性。基于激光雷达的方法[16]、[17]、[18]已验证了空中三维检测在多样化场景中的可行性，但大多针对特定应用设置设计，且未融合视觉信息。两种模态在三维几何精度和视觉判别性方面各有互补优势，然而单无人机平台上的多模态三维目标检测尚属未探索领域。在无人机俯视场景中，地面目标经常被植被树冠遮挡，导致激光雷达和图像观测在不同空间位置受到不同程度的退化。主要原因是植被树冠由随机分布的枝干和叶片组成，同时衰减激光脉冲和可见光。由此产生的信息退化表现出显著的空间非均匀性。此外，两种模态受到的影响程度不同：激光雷达脉冲可以部分穿透树冠间隙，产生稀疏但仍可用的点云；而树冠直接遮挡了相机所依赖的色彩和纹理线索，导致更严重的图像域退化。因此，开阔区域的观测对两种模态均保持可靠，而树冠覆盖区域下的观测则受到不同程度的退化，如图1所示。因此，主要难点不仅在于如何融合两种模态，还在于如何在空间变化且模态相关的信息退化条件下进行融合。由此产生了两个关键挑战。首先，尽管树冠引起的衰减遵循已知的物理机制，但尚未转化为检测网络可直接利用的遮挡先验。因此，检测器无法评估每个模态在各空间位置的信息退化程度。其次，现有检测框架缺乏面向无人机场景的遮挡感知设计。在没有遮挡先验的情况下，数据增强、特征编码、多模态融合和检测头均未考虑非均匀且模态相关的遮挡条件，难以应对由此产生的空间变化且模态相关的退化。为应对上述挑战，我们提出CAMF-Det，一种面向无人机平台激光雷达-相机3D目标检测的封闭度感知多模态融合框架。该框架由三个紧密耦合的模块组成。为克服缺乏显式遮挡建模的问题，双模态封闭物理建模（DPM）模块通过基于Beer-Lambert启发的封闭度建模和建筑掩膜校正，从多线密集点云构建双模态遮挡强度代理图。双模态封闭预测网络（DCPNet）随后将这些离线结果转换为单帧推理下的在线遮挡强度预测。为将遮挡感知嵌入检测流水线，遮挡先验引导融合（OPF）策略将这些先验注入数据增强、特征编码、多模态融合和检测头，实现在空间变化且模态相关的退化条件下自适应多模态感知。本文的主要贡献如下：1) 我们提出CAMF-Det，据我们所知，这是首个面向单无人机平台激光雷达-相机3D目标检测的多模态融合框架。该框架的主要优势在于能够使多模态检测自适应于空间变化且模态相关的信息退化。2) 我们设计了双模态遮挡先验构建与预测方案。前者通过基于Beer-Lambert启发的封闭度建模和建筑掩膜校正离线构建两种模态的遮挡强度代理图；后者将这些离线结果转换为在线预测，架起物理建模与检测推理之间的桥梁。3) 我们设计了遮挡先验引导的融合策略，将遮挡强度嵌入检测流水线，在训练阶段利用离线代理图，在训练和推理阶段利用在线预测，实现在遮挡的无人机场景中自适应检测。本文其余部分组织如下：第2节综述基于地面的多模态和基于无人机的三维目标检测相关工作。第3节介绍所提出的CAMF-Det框架及其核心组件。第4节描述实验设置并报告结果分析。第5节总结全文并讨论未来研究方向。章节摘要基于地面的激光雷达-相机3D目标检测基于激光雷达和相机的多模态三维目标检测已成为地面车辆感知领域的活跃研究方向，因为激光雷达提供准确的三维几何，而相机提供丰富的色彩和纹理线索。由于激光雷达特征通常作为许多融合框架的几何基础，基于激光雷达检测器的进展为多模态检测提供了重要支持。现有激光雷达检测器从密集式[19]、[20]和混合式[21]、[22]、[23]演进而来。方法本节介绍CAMF-Det，其整体架构如图2所示。该框架以单帧图像和一秒钟窗口内累积的激光雷达点云作为输入，由三个耦合组件组成：(a) DPM离线构建双模态遮挡强度代理图；(b) DCPNet以这些代理图为监督，从检测输入中在线预测遮挡强度；以及(c) OPF将遮挡强度集成到检测流水线中，使用……实验数据集本文在三个数据集上评估CAMF-Det：自建的SI3D-DI和SI3D-DII以及公开的WiSAR3D基准，它们共同涵盖不同的激光雷达扫描模式、场景类型和采集平台。SI3D-DI和SI3D-DII使用相同的无人机平台，但在扫描模式、场景组成和类别多样性方面有所不同，使得所提出的遮挡建模能够在不同传感器配置和数据规模下得到检验。WiSAR3D由另一独立平台采集，……结论在本工作中，我们提出CAMF-Det，一种面向无人机平台激光雷达-相机3D目标检测的封闭度感知多模态融合框架，以应对地面目标遮挡引起的空间变化且模态相关的信息退化。所提方法从物理启发的封闭度建模中推导双模态遮挡强度，将其转换为在线预测，并将由此产生的先验嵌入整个检测流水线，实现在……中自适应多模态检测。未引用参考文献[57]CRediT作者贡献声明Yanze Jiang（姜彦泽）：撰写——初稿、可视化、验证、软件、方法论、正式分析。Yanfeng Gu（顾彦丰）：撰写——审阅与编辑、监督、资源、获取资金、概念构思。Xian Li（李贤）：撰写——审阅与编辑、监督、项目管理、调查研究、数据整理、概念构思。利益冲突声明作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。Yanze Jiang | Yanfeng Gu | Xian Li