TFE-Fusion：用于鲁棒目标检测的三模态特征增强融合方法

《IEEE Open Journal of Vehicular Technology》：TFE-Fusion: Tri-Modality Feature Enhanced Fusion for Robust Object Detection

　　

摘要：

在恶劣条件下实现鲁棒且可靠的物体检测仍然是自动驾驶系统（ADS）面临的关键挑战。基于RGB（可见光谱）的摄像头在光照条件不佳时性能下降，而基于RGB-长波红外（LWIR）的融合架构在恶劣天气和低热对比度场景中的表现依然有限，原因在于其光谱覆盖范围部分受限。与此同时，短波红外（SWIR）技术有潜力弥补这些不足，但在自动驾驶系统中尚未得到充分利用。针对这些局限性，我们提出了一种新颖的三模态融合架构TFE-Fusion，该架构能够同时利用RGB、SWIR和LWIR三种模态的信息。我们的架构采用特征级融合策略，融入像素级权重分配与光谱注意力机制，从而实现对三种模态互补特征的动态融合。我们使用基于YOLOv8的检测头，并对其进行修改以适应多模态输入流，以实现高效且鲁棒的推理。在光谱物体检测（MOD）数据集上的大量实验表明，所提方法在mAP@0.5:0.95指标上比RGB-LWIR基线提升了2.48个百分点。性能提升最显著的是车辆类别，其中SWIR特征通过捕捉不同的材质反射特性，弥补了LWIR图像中低热对比度的不足。这些结果验证了所提TFE-Fusion架构在提升检测性能方面的有效性，尤其是在低光照和低热对比度条件下。