自动驾驶中基于FFPA引导的多模态融合技术提升3D物体检测性能

《Digital Signal Processing》：Enhanced 3D Object Detection via FFPA-Guided Multimodal Fusion in Autonomous Driving

　　

摘要

3D物体检测是推动自动驾驶技术发展的关键技术，它在确保车辆可靠安全地导航方面起着至关重要的作用。通过整合多模态传感器数据，尤其是将激光雷达和摄像头的数据相结合，能够显著提升检测的准确性和可靠性。然而，特征尺度不匹配、局部细节丢失以及庞大的计算需求等难题依然存在。本文提出了FP-RCNN框架，该框架采用特征融合金字塔注意力策略来有效应对这些挑战。通过从主干网络生成多尺度特征图，并应用双重自注意力机制，FP-RCNN能够巧妙地对不同分辨率的图像和点云数据进行对齐，过滤掉无关特征，突出重要特征。此外，为了解决数据缺失和遮挡问题，我们在3D实例检测阶段改进了点云分割过程。通过共享的多层感知器以及一种名为NetVLAD的先进聚合方法，将局部特征和全局特征结合起来，这不仅提升了语义表达能力，还降低了特征不规则性带来的影响。在KITTI数据集上进行的实验表明，FP-RCNN在复杂场景下显著提升了检测精度。在汽车这一困难类别中，该模型的平均精度达到了78.07%，而在行人和骑自行车者的中难度和困难类别中，分别达到了50.09%和45.77%；对于骑自行车者，在困难类别中的检测精度为60.91%。这些结果优于其他一些对比算法。这项研究为自动驾驶领域的3D物体检测技术发展做出了重要贡献，为在复杂环境中导航提供了可靠的解决方案。

引言

3D物体检测已成为推动自动驾驶发展的关键技术，尤其在自动驾驶汽车的感知系统中发挥着重要作用。随着自动驾驶车辆越来越普及[1]，准确感知周围环境对于确保安全可靠的导航至关重要。3D物体检测能够让车辆识别并定位周围的物体，从而大幅提升自动驾驶系统的安全性、稳健性和效率。在自动驾驶领域[2,3]，仅依靠单一模态传感器往往无法满足高精度感知的需求[4,5]。因此，多模态传感器融合成为了研究的热点。通过整合激光雷达和摄像头的数据，可以利用两种传感器的优势互补，提高检测的准确性和可靠性。具体而言，激光雷达提供的精确深度信息与摄像头的高分辨率图像数据相结合，有助于更全面地了解物体及其周围环境[6,7]。

近年来，有大量研究致力于多模态融合技术的研究[8]，这些技术主要分为基于空间变换的方法[9,10]和基于深度学习的方法[11,12]。虽然基于空间变换的方法简单直观[13]，但它们严重依赖全局对齐，且往往无法有效捕捉局部细节，尤其是在不同模态之间存在较大差异时[14,15]，这就可能导致关键信息的丢失。而基于深度学习的方法，尤其是那些利用卷积神经网络的技术[16,17]，在多模态融合方面取得了显著进展[18]。不过，这些方法也面临着一些挑战，尤其是在局部特征匹配和传感器尺度不一致方面。局部特征匹配较为困难，因为卷积神经网络的局部感受野是为捕捉单一模态图像中的特征而设计的；当应用于跨模态数据时，这些感受野可能无法充分涵盖不同模态之间的全局关系和语义信息，从而导致信息丢失[19,20]。为了解决这些问题，Lei Zhang等人提出的FS-Net[19]是一种3D物体检测器，它增强了局部信息之间的关联性，减少了局部特征的丢失。然而，这种改进同时也放大了无关信息的影响，增加了计算负担。Z Liu等人提出了一种高效且通用的多任务多传感器融合框架Bevfusion，该框架能够保留更丰富的语义信息，提升物体检测的精度[21]。S Li等人提出的方法则专注于处理拥挤环境中的行人问题，他们从雷达点云和多视角图像中重建行人的运动轨迹[22]。

总体而言，上述分析揭示了这些方法在检测应用中的固有局限性。

• (1)
  特征尺度不匹配：激光雷达和摄像头的分辨率及数据特性不同，这很容易导致检测精度下降。
• (2)
  局部特征丢失：激光雷达和摄像头的观测角度不同，由于遮挡现象的存在，可能会导致局部细节丢失。
• (3)
  巨大的计算量：在实际应用中，多模态融合涉及大量数据，这会影响算法的运行效率以及内存使用情况。

为了解决上述问题，我们引入了一种基于特征融合金字塔注意力机制的3D物体检测器FP-RCNN，对该模型进行了如下改进。

• (1)
  为了解决由于传感器分辨率差异以及数据特性不同所导致的特征尺度不匹配问题，本研究提出了FFPA策略，该策略包含一个能够捕捉不同分辨率信息的特征提取器以及一个双重自注意力机制。该策略首先从主干网络中提取多尺度特征图，从而实现不同分辨率的图像和点云数据之间的有效对齐。随后，混合式双重自注意力机制可以抑制无关特征信息，专注于标记重要特征。
• (2)
  针对由于遮挡等外部因素导致的局部特征丢失问题，对图像分割网络进行了优化。原来的最大池化操作被替换为NetVLAD算法。该图像分割网络能够提供丰富的语义信息，包括物体的边缘信息和轮廓信息，因此在数据融合过程中能更好地保留细节特征。
• (3)
  为了提高效率和精度，本研究通过特征金字塔对Faster R-CNN模型进行了优化，从而获得更准确的2D区域候选框。同时，也调整了多层感知器的比例，以降低计算量并提高推理速度。

章节节选

基于FFPA策略的FP-RCNN融合方法

为了解决3D检测中的特征尺度不匹配和局部特征丢失问题，我们提出了基于FFPA策略的FP-RCNN这一3D物体检测框架。该框架在Frustum PointNet模型[23]的基础上，创新性地融入了FFPA策略，以优化物体特征提取过程。

在数据处理阶段，将多层感知器的规模调整为2，以此降低计算负担并加快推理速度。在点云分割过程中，原来的最大池化操作被替换为

实验结果与讨论

本文在KITTI数据集的3D物体检测子集上对所采用方法的实验结果进行了评估，并给出了相关结果。实验过程中使用了PyTorch 2.5.1框架、Python 3.10版本以及MATLAB R2022a软件。所有实验都在基于R7-5800H处理器的CPU以及基于RTX 3060的GPU上进行。

结论

本文选择了FFPA策略来提升模型性能，进而开发出了FP-RCNN框架，该框架能够整合来自激光雷达和摄像头的数据。此外，还加入了分割网络来增强图像特征匹配的能力。FFPA策略由几个关键组成部分构成：特征金字塔、双重自注意力机制以及融合组件。这种设计使得模型能够识别不同来源的图像信息

作者致谢

Xueqin Lü（第一作者）：概念构思、方法设计、软件开发、实验研究、形式化分析、原始稿件撰写；

Yu Zhang：数据整理、原始稿件撰写；

Changan Zhu：结果可视化、实验研究；

Yan Li：资源协调、项目监督；

Xueqin Lü|Yu Zhang|Changan Zhu|Yan Li

上海电力大学人工智能学院，中国上海200090