《Sensors》:MHF-Net: Multi-Modal Residual Fusion Object Detection Network Based on High-Frequency Gated Convolution
编辑推荐:
本文旨在解决自动驾驶场景中由恶劣天气条件和部分遮挡引起的图像退化问题。该网络采用双分支架构,利用残差融合模块(Residual Fusion Block, ResFuse)实现跨模态特征的深度融合。研究人员设计了双路注意力机制(Dual-path Attent
本文旨在解决自动驾驶场景中由恶劣天气条件和部分遮挡引起的图像退化问题。该网络采用双分支架构,利用残差融合模块(Residual Fusion Block, ResFuse)实现跨模态特征的深度融合。研究人员设计了双路注意力机制(Dual-path Attention Mechanism, DualAtt)和集成高频注意力模块(High-Frequency Attention Module, HFAtt)来捕获特征图中的关键信息。此外,本研究还设计了空间-通道下采样模块(Spatial-Channel Downsampling Module, SCDown),该模块实现了空间到通道的图像下采样。实验结果表明,所提出的网络在M3FD数据集上实现了每秒61帧(Frames Per Second, FPS)的检测速度和高达87.4%的精确率(Precision, P)。对比实验结果表明,MHF-Net在mAP50(IoU阈值为0.5时的均值平均精度)评估指标上达到了84.3%。与基线模型相比,参数量减少了95%,计算复杂度降低了88%。与其他主流目标检测算法相比,MHF-Net在自动驾驶场景中的性能取得了良好的平衡。
**基于高频门控卷积的多模态残差融合目标检测网络(MHF-Net)论文解读**
**一、研究背景与问题**
目标检测是计算机视觉领域的核心技术之一,能够实现目标的自动识别与定位,为后续决策分析和行为理解等任务提供坚实基础,广泛应用于自动驾驶中的障碍物检测、智能制造中的缺陷检测以及无人机航拍目标检测等场景。然而,在自动驾驶实际应用场景中,目标检测算法面临着严峻挑战:恶劣天气(如雨、雾、过曝)导致的图像模糊问题严重影响了检测的鲁棒性和准确性,部分遮挡也进一步加剧了检测难度。
现有的单模态目标检测算法(如DETR系列和YOLO系列)由于缺乏综合利用多模态信息的能力,难以有效处理上述复杂场景。虽然多模态(RGB + 热红外)目标检测融合方法能够利用多传感器信息互补单模态的不足,但现有的多模态融合策略仍存在诸多局限:早期融合(Early Fusion)容易导致模态特征丢失和噪声叠加;后期融合(Late Fusion)会造成内存和计算成本翻倍,难以在边缘设备上实现实时检测;中间融合(Mid-level Fusion)虽然通过深层特征下采样缓解了空间错位问题,但仍面临跨模态信息交互效率低下的挑战。此外,传统方法通过堆叠大量模块来借用其他模态的有效信息以提升性能,却以显著增加计算负担为代价。因此,如何在提升多模态目标检测性能的同时降低计算资源消耗,成为该领域亟待解决的关键问题。
**二、研究概述与意义**
针对上述问题,研究人员提出了一种基于高频门控卷积的多模态残差融合目标检测网络——MHF-Net(Multi-Modal Residual Fusion Object Detection Network Based on High-Frequency Gated Convolution)。该网络旨在提升RGB-IR自动驾驶场景下的多模态目标检测性能,同时降低计算资源消耗。MHF-Net在M3FD数据集上取得了精确率87.4%、召回率79.2%、F1分数82.9%、mAP
50 84.3%、mAP
50_90(IoU阈值从0.5到0.95的均值平均精度)57.6%的优异性能。与基线模型相比,mAP
50提升4.3%,参数量减少95%,计算复杂度降低88%。检测速度达到61 FPS,在检测精度、模型大小和推理速度之间取得了最优平衡,为自动驾驶环境监测等智慧城市应用提供了极具前景的框架。
**三、关键技术方法**
研究人员采用双分支骨干网络架构,RGB分支利用双路注意力机制(DualAtt)从空间和通道维度选择性提取最具代表性的特征,热红外分支利用高频门控卷积注意力(HFAtt)在关键区域进行频域处理并结合空间与通道门控机制,突出细粒度目标和锐利边缘信息。跨模态特征交互通过残差融合模块(ResFuse)实现,该模块采用级联残差叠加策略,在特征拼接基础上引入残差连接,逐层传递前级有效信息。空间-通道下采样模块(SCDown)将空间维度划分为2×2子区域并沿通道维度重组,通过可学习权重选择关键信息通道,实现无信息损失的图像下采样。多尺度特征聚合模块(MSFA)采用"分割、部分处理、融合"策略保留初始边缘信息。实验采用M3FD公开数据集(由Liu Jinyuan等人建立),包含4200对RGB-IR图像(训练集2940张、验证集630张、测试集630张),涵盖大连金石滩国家旅游度假区、大连金州区主干道和大连理工大学校园等场景,标注6个目标类别(行人、轿车、公交车、摩托车、路灯、卡车)。模型基于PyTorch 2.7.1框架实现,使用SGD优化器训练500个epoch。
**四、研究结果**
**消融研究。** 研究人员通过逐一启闭各模块进行消融实验,量化了每个模块的独立贡献和协同效应。完整MHF-Net在精确率、F1分数、召回率、mAP
50和mAP
50_90五项指标上分别达到87.4%、82.9%、79.2%、84.3%和57.6%,相比基线模型分别提升2.9%、3.6%、4.9%、4.3%和4.0%。单独启用ResFuse模块使mAP
50达到81.2%,精确率提升至85.5%,表明多级残差融合有助于关键信息提取。单独启用DualAtt使精确率达到87.7%。DualAtt与HFAtt联合使用使mAP
50达到82.8%,验证了HFAtt在改善IR图像边缘锐度和抑制恶劣天气噪声方面的有效性。单独启用SCDown和MSFA使mAP
50达到83.1%。值得注意的是,部分模块组合(如ResFuse结合DualAtt和HFAtt)出现了性能波动,表明不完整的模块协同会破坏特征平衡。最终四大模块完整协同实现了闭环平衡,mAP
50达到84.3%的峰值,充分体现了四个模块在多模态特征融合中的关键互补性。
**与主流模型的比较。** 研究人员将MHF-Net与YOLOv8s、YOLOv10s、YOLOv11s、RT-DETR-R18等单模态模型以及ICAF、SuperYOLO、CMA-DET、CFT等多模态模型进行了系统比较。在单模态对比中,YOLO11仅取得mAP
50 80.5%(RGB输入)和78.3%(IR输入)。在多模态对比中,SuperYOLO取得mAP
50 81.9%和精确率83.9%,但其mAP
50_90大幅下降至47.3%;ICAF虽达到mAP
50 84.3%(精确率86.6%,召回率76.7%),但MHF-Net在更严格的mAP
50_90指标(57.6%)上占据优势。在模型效率方面,MHF-Net仅需6.1M参数和21.5 GFLOPs计算量,而CFT为73.6M参数和190.1 GFLOPs,ICAF为120.2M参数和192.1 GFLOPs。MHF-Net以61 FPS的实时处理速度显著超越CFT(16 FPS)和ICAF(21 FPS),在检测精度与推理效率之间取得了最优平衡。
**定性分析。** 研究人员在M3FD数据集上对日间和夜间场景进行了可视化分析。在低光照条件下,RGB图像中行人难以被肉眼察觉,且复杂的城市场景中行人、车辆和交通标志的混合对检测和定位精度构成重大挑战。实验表明,MHF-Net能够借助辅助模态(热红外)区分不同目标类别,通过利用全局空间位置信息和不同目标之间的相关性捕获高区分度特征。
**真实世界测试。** 研究人员利用双目光学相机和双目红外传感器组成的同步采集系统,在大连市金州区主干道随机采集真实场景图像进行推理测试。可视化结果表明,MHF-Net能够在雨天、雾天和过曝等恶劣条件下准确检测目标,验证了模型在实际场景中的适用性。
**失败案例分析。** 研究人员也分析了模型的识别错误情况,这些错误发生在特殊环境下:部分目标不完整、车窗内出现人脸、IR图像受到严重干扰等。当RGB图像判断受到IR环境严重影响,以及近距离下摩托车与汽车外观相似时,可能导致目标检测失败。这些失败案例揭示了真实世界光学检测的固有挑战。
**五、讨论与结论**
在讨论部分,研究人员指出了三个方面的局限与未来方向。首先,数据集中存在自然的类别不平衡问题,尤其是路灯样本数量有限(测试集中仅77张图像),这种不均匀分布不能准确反映真实自动驾驶场景的典型条件;多模态框架中的特征图融合起到了结构正则化器的作用,有效缓解了单模态RGB数据稀缺带来的过拟合倾向,但持续扩充数据集以平衡少数类仍是未来工作的重点。其次,尽管整体检测性能较高,MHF-Net在某些挑战性场景中仍面临困难:检测极远距离目标时,骑行者和行人的视觉外观可能高度相似,缺乏明显的深度和结构变化有时会导致漏检;在车辆与行人重叠的情况下,严重退化的RGB纹理可能导致边界框回归出现轻微偏差。最后,当前框架的模态维度需要进一步扩展,未来工作将探索融合近红外成像、深度传感、激光雷达(LiDAR)或雷达等额外传感模态,以评估和提升高度复杂野外环境下的检测鲁棒性。
研究结论如下:针对现有多模态目标检测方法大多依赖简单特征融合的局限性,本文提出了基于高频门控卷积的多模态残差融合目标检测框架(MHF-Net),旨在克服恶劣天气条件导致的图像模糊挑战。具体而言,该框架首先通过高频门控卷积和空间-通道机制有效增强RGB和IR图像中的目标特征;随后,引入多模态残差融合模块,利用不同模态间的全局互补信息优化最终特征表示,从而以极少的参数增量显著提升模型性能。通过有效应对恶劣天气引起的过曝和部分遮挡等问题,所提出的方法在挑战性环境条件下展现出鲁棒的目标检测能力,为环境监测和自动驾驶等智慧城市应用提供了极具前景的框架。未来工作将探索更高效且轻量化的跨模态特征融合框架。