《Knowledge-Based Systems》：LG–BiFusion: Local and Global Bidirectional LiDAR–Camera Fusion for 3D Object Detection
编辑推荐：
3D目标检测中提出双向互补LiDAR-摄像头融合模型，通过全局双向融合增强语义与空间感知，局部热值引导融合提取细粒度前景特征，自适应聚合模块动态加权多模态特征，在nuScenes和KITTI数据集上显著提升mAP和NDS。
张荣云|徐旭祥|史培成|肖平|王荣祥|欧宏伟
安徽工业大学机械与汽车工程学院，芜湖，241000，中国
摘要
近年来，通过融合光检测与测距（LiDAR）和相机输入来实现三维（3D）物体检测已成为一种新趋势。然而，大多数主流方法仅执行LiDAR和相机数据的一向融合，并未充分利用这两种模态的相互依赖特性。同时，全局LiDAR体素特征与相机特征的融合通常缺乏细粒度的区域信息，导致结果不够理想。因此，本研究提出了一种基于局部-全局双向互补的LiDAR-相机融合的3D物体检测模型。具体而言，LiDAR和相机模态在全球层面上进行双向融合。通过相机增强型LiDAR和LiDAR增强型相机模块，获得了具有强语义信息的丰富体素特征以及具有增强空间感知能力的相机特征。随后，利用3D热值响应对前景点和相机特征进行局部融合，以获得细粒度的局部前景特征。最后，通过自适应特征聚合模块动态选择这三个改进后的特征进行物体检测。在nuScenes和KITTI数据集上进行了大量实验。与传统的多模态融合模型BEVFusion相比，本研究提出的LG-BiFusion在nuScenes数据集上的平均精度（mAP）提高了3.6%，在KITTI数据集上的NDS提高了3.2%；并且在KITTI数据集的汽车类别中提高了多模态模型EPNet++的mAP 2.01%。这些实验证明了所提模型的有效性。
引言
3D物体检测广泛应用于自动驾驶、机器人导航和虚拟现实等领域[1]。其目标是从3D空间数据中对物体进行分类和定位，这是一项关键且具有挑战性的任务。早期的3D物体检测方法通常依赖光检测与测距（LiDAR）和红绿蓝（RGB）相机作为输入数据来获取物体的必要3D信息。尽管基于这两种传感器的方法取得了显著成果，但它们都存在一些尚未解决的问题。LiDAR可以提供精确的3D信息，许多基于LiDAR的方法在检测精度方面表现非常出色。然而，LiDAR提供的点云数量较少且缺乏语义信息，这给检测远距离和小型物体带来了挑战。相比之下，虽然相机能够捕捉丰富的颜色和纹理信息，但它缺乏空间和深度信息，导致基于相机的方法检测精度较低。
近年来，研究人员致力于高效融合相机和LiDAR数据，以开发出具有高精度和强鲁棒性的3D物体检测算法[2]、[3]。早期的工作主要基于LiDAR数据，利用相机数据的丰富颜色和纹理信息来补充点云。如图1(a)所示，当前的高级方法[4]、[5]、[6]通常将全局语义图像信息与LiDAR特征进行融合，这些方法遵循常见的单向融合机制（如图1(c)所示）。尽管这些方法取得了良好的检测精度，但全局融合可能会导致边缘效果不佳。此外，前景物体（如行人和骑自行车者）在整个场景中占比较小，这意味着全局融合往往缺乏细粒度的局部信息。简单的一向融合直接使用相机数据的特征来增强LiDAR数据，并未改善相机数据本身的特征，也容易忽略两种模态特征之间的双向交互带来的好处。
为了解决上述问题，本研究提出了一种新的双向融合网络LG-BiFusion，用于3D物体检测。它在全局和局部层面上融合LiDAR和相机数据，如图1(b)所示。前景物体提供了重要的细粒度信息，显著提高了检测的鲁棒性。同时，本研究采用了相机和LiDAR之间的双向互补策略，以改善LiDAR特征的语义和相机特征的空间感知能力，如图1(d)所示，充分利用了两种模态的优势。LG-BiFusion主要由四个模块组成：相机增强型LiDAR（CeL）、LiDAR增强型相机（LeC）、热引导的局部融合（HF–LF）和自适应特征聚合（AFA）。
基于先前的方法[7]、[8]、[9]、[10]、[11]构建了相机和LiDAR的双向全局融合，这些方法在场景中融合了LiDAR和相机特征。在本研究中，从两种模态中自适应选择特征以构建统一的3D表示。相机增强型LiDAR模块将体素化的点云投影到图像平面，并通过可变形注意力机制提取周围的相机特征[12]，增强了点云的语义信息。LiDAR增强型相机模块将LiDAR的真实深度信息融合到相机数据中，从而提高了相机数据的3D感知能力。通过相机和LiDAR的双向互补全局融合策略，有效解决了点云和图像模态的不足，减少了负面影响并获得了更鲁棒的输入数据。随后，将改进后的相机特征转换到统一的体素空间，以便通过视图变换进行进一步的数据融合[13]。
在获得相机和LiDAR数据的双向全局融合输入后，提出了一个基于热图的局部融合模块，以获取场景中占比较小的前景物体的更细粒度区域信息。使用简化的3D高斯函数生成3D热图，以区分点云是否属于前景物体。然后将获得的前景LiDAR点云的位置信息编码到均匀划分的体素空间中，并将体素中心投影到图像平面上以采样图像特征。接下来，使用交叉注意力机制[14]融合采样的图像和编码的局部LiDAR特征。最后，为了实现相机和LiDAR双向融合的全局特征与基于位置信息的局部融合特征之间的更好信息交互，提出了一个通过注意力机制进行统一融合的自适应特征聚合模块，以获得更鲁棒的多模态特征，用于下一阶段的检测任务。
本研究的贡献总结如下：
•提出了一种从局部到全局的相机和LiDAR双向融合3D物体检测网络，它在全局层面上进行相机和LiDAR的双向互补融合，通过局部融合提供细粒度信息，并最终通过自适应特征聚合执行检测任务。
•LG-BiFusion主要由四个模块组成：CeL、LeC、HF–LF和AFA。CeL和LeC模块分别改善了体素语义和相机数据的3D感知能力，克服了各自模态的不足。HF–LF模块提供了细粒度的区域信息以补充全局融合特征。最后，AFA模块实现了数据的自适应加权聚合，以获得信息丰富的多模态特征。
•在nuScenes和KITTI数据集上进行了大量实验，结果表明所提出的LG-BiFusion方法表现优异。在nuScenes测试集上，mAP和NDS分别达到了70.8%和73.1%；在KITTI验证集上，汽车、骑自行车者和行人的mAP分别为83.5%、57.35%和72.25%，优于大多数现有的多模态3D检测模型。
部分摘录
仅使用相机的3D物体检测
相机比LiDAR更便宜，且相机获得的图像数据不需要复杂的预处理。因此，它们在工业应用中相对受欢迎。一般来说，使用相机的3D物体检测可以分为三种类型：单目相机、立体相机和多视图（鸟瞰图）系统。
在之前的研究[15]、[16]中，始终使用单个相机的图像数据通过卷积神经网络端到端地检测和定位3D物体
方法
本研究提出了一种基于LiDAR和相机的双向融合的局部和全局3D物体检测方法。图2展示了所提出的网络架构。
数据集
nuScenes：nuScenes [64]数据集是一个高度复杂和全面的自动驾驶资源，常用于评估多模态3D物体检测器。它包含700个训练场景、150个验证场景和150个测试场景。每个序列包含大约40帧带注释的LiDAR点云数据，以及提供360°视场的六张校准图像。该数据集专注于检测驾驶环境中常见的10种物体类别。消融研究
在本研究中，使用nuScenes验证集进行了消融实验，以验证各个组件和不同融合变体对模型最终性能的影响。讨论
本研究提出了一种新颖的多模态3D融合模型，采用LiDAR和相机双向全局融合策略，增强了LiDAR体素的语义信息和相机特征的空间感知能力，从而充分利用了LiDAR和相机双向特征交互的优势。此外，引入了3D热值响应前景点，并进行了带有精细相机特征的局部融合，以获得高质量的LiDAR数据CRediT作者贡献声明
张荣云：资金获取、方法论、监督、撰写——审稿与编辑。徐旭祥：调查、方法论、软件、撰写——初稿。史培成：资金获取、方法论、监督。肖平：方法论、监督。王荣祥：形式分析、软件。欧宏伟：形式分析、软件。
利益冲突声明
作者声明与本研究、作者身份和/或文章的发表无关的潜在利益冲突
