FABWF-LGAR：一种面向自动驾驶轻量级多模态传感器融合框架

《Scientific Reports》：FABWF-LGAR: Fully adaptive Bi-modal weighted fusion with lightweight gated attention refinement for efficient camera-LiDAR 2D object detection

　　

摘要

高级驾驶辅助系统（ADAS）利用包括摄像头和激光雷达在内的多模态传感器数据，以准确识别周围环境。然而，在保持计算效率的同时融合各种传感器数据仍是一项主要研究课题。本文介绍了轻量级门控注意力细化特征自适应双向加权融合（FABWF-LGAR），这是一个专为自动驾驶多模态传感器融合而创建的轻量级框架。该方法通过双向加权融合方法汇聚来自不同传感器的特征，从而区分每种数据的贡献。融合了一个轻量级门控注意力增强模块，旨在关注合适的空间和语义特征，同时减少噪声和冗余信息。所提方法在不提高计算复杂度的情况下提高了融合数据的质量。该框架旨在增强 ADAS 中的感知任务（如目标检测和场景识别），同时适用于资源受限车辆的实时使用。所提出的 FABWF-LGAR 在 KITTI 验证集上实现了 55.93% 的 mAP@0.5，分别比仅摄像头和仅激光雷达的基线高出 34.5 和 50.7 个百分点。实验结果表明，与传统方法相比，这种融合策略展现了更强且更高效的特征整合能力，突显了其在现实世界自动驾驶系统中的潜力。