YOLO-Spectra-Net：面向恶劣环境下鲁棒目标检测的可靠性感知RGB–红外融合框架

《Sensors》：YOLO-Spectra-Net: Reliability-Aware RGB–Infrared Fusion for Robust Object Detection Under Adverse Conditions

　　

在低可见度、快速变化的照度、遮挡和杂乱背景下，实际传感系统中的鲁棒目标检测仍然具有挑战性。可见光图像提供丰富的结构和纹理信息，但易受黑暗、雾霾和眩光影响；红外图像保留热显著性，但可能存在较弱的空间细节和热交叉现象。传统的RGB–红外融合策略通常对两种模态赋予固定或对称的重要性，使得退化特征在检测器中传播并损害感知稳定性。为解决这一问题，研究人员提出了YOLO-Spectra-Net（SNYOLO），一种面向恶劣条件目标检测的可靠性感知RGB–红外融合框架。SNYOLO估计模态可靠性，并将其集成到自适应特征融合、多尺度感知增强和冲突感知空间抑制中。所提设计自适应地强调可靠的模态线索，衰减局部不一致响应，并稳定多尺度特征表示，同时保持相对轻量化的多模态推理结构。在自采集的铁路监控数据集和两个公共RGB–红外基准M3FD和FLIR上的实验表明，该方法在挑战性传感条件下提高了鲁棒性并保持了稳定的目标聚焦响应。SNYOLO在M3FD上达到82.7%的mAP@_0.5，在FLIR上达到79.1%的mAP@_0.5，与大多数对比多模态基线相比，具有有竞争力的定位精度和更低的计算成本。

**论文解读**

**研究背景与问题**
在监控、交通监测、铁路巡检等安全关键应用中，实际传感系统常面临低可见度、快速光照变化、遮挡和杂乱背景等恶劣条件。可见光图像包含丰富纹理和结构信息，但在黑暗、雾霾、眩光等场景下质量严重下降；红外图像通过热辐射保留目标显著性，却往往缺乏细节，并可能出现热交叉现象。传统RGB–红外融合方法通常对两种模态赋予固定或对称的权重，无法根据实际传感质量动态调整，导致退化模态的特征在检测器中传播，破坏感知稳定性。因此，需要显式建模模态可靠性并据此设计融合机制。

**研究内容与主要结论**
针对上述问题，研究人员提出了YOLO-Spectra-Net（SNYOLO），一种基于YOLO架构的可靠性感知RGB–红外融合检测框架。SNYOLO通过跨模态全局融合（CMGF）模块、区域感知多尺度感知融合（RMPF）模块和冲突感知空间抑制（CASS）模块，将模态可靠性估计融入自适应特征融合、多尺度感知增强与局部冲突抑制，自适应强调可靠模态线索，抑制不一致响应，并保持轻量化推理。在自采集RailID-Dataset和公共基准M3FD、FLIR上的实验表明，SNYOLO在恶劣条件下显著提升了检测鲁棒性，获得更稳定、聚焦更准确的目标响应，且计算成本低于多数多模态基线，证明了显式可靠性建模在实际部署中的价值。

**关键技术方法**
SNYOLO基于YOLOv12n实现，采用共享权重的双流骨干网络分别提取RGB和红外多尺度特征。CMGF模块结合空间–通道注意力、跨模态全局亲和力学习和自适应门控，在特征金字塔各层调节跨模态信息流。RMPF模块通过多分支卷积和空间权重增强多尺度上下文；CASS模块利用RGB–IR特征绝对差异生成空间抑制图，衰减高冲突区域。数据集包括自采集铁路监控RailID-Dataset（500对对齐RGB–IR图像，400对训练、100对测试，并对RGB施加合成雾增强）以及公共M3FD和FLIR数据集。

**研究结果**
（4.7 自采集数据集上的对比实验）在RailID-Dataset上，SNYOLO达到97.3% mAP@_0.5和68.2% mAP@_0.5:0.95，优于比对的单模态检测器和融合方法，精度为96.0%、召回率为91.0%；模型仅4.2M参数、11.8 GFLOPs，平均69 FPS。训练收敛曲线更平滑，Grad-CAM热图更连续地覆盖目标字符，Pointing Game（PG）和Energy-Based Pointing Game（EBPG）分数也更高。

（4.8 M3FD数据集上的对比实验）在M3FD上，SNYOLO取得82.7% mAP@_0.5，与TarDAL持平，高于多数对比方法；mAP@_0.5:0.95为52.3%，优于TarDAL、U2Fusion和SLBAF，略低于DAMSDet。推理速度为66 FPS，参数4.8M，GFLOPs 13.6，在检测器级多模态方法中效率更优。Grad-CAM与PG/EBPG结果表明其目标响应更集中、背景激活更少。

（4.9 FLIR数据集上的对比实验）在FLIR上，SNYOLO达到79.1% mAP@_0.5，比CSAA低0.1个百分点；mAP@_0.5:0.95为41.5%，比CSAA高0.1个百分点，且参数和计算量更低，速度达71 FPS。热图分析显示，SNYOLO在低光照和多模态冲突场景下能更完整地覆盖目标并抑制背景响应。

（4.10 消融实验分析）在RailID-Dataset上的消融研究表明，与RGB-only基线（82.3% mAP@_0.5、84.1% Precision）相比，简单特征相加仅小幅提升；加入CMGF后续提升至82.5% mAP@_0.5、85.0% Precision；再加入多尺度一致性建模达到82.6%和85.2%；最终集成CASS取得82.7% mAP@_0.5和85.6% Precision。控制实验显示，CMGF优于直接相加和通道拼接。合成雾退化实验中，RGB门控降低、红外门控升高，验证了可靠性机制的有效性。

（4.11 M3FD上的分辨率敏感性分析）在不同输入分辨率下，SNYOLO保持网络结构不变，参数仍为4.8M。更高的输入分辨率带来更优的检测精度（最高设置下mAP@_0.5达84.3%，mAP@_0.5:0.95达53.3%），但计算量和推理延迟相应增加，体现了精度与速度的可调节权衡。

**讨论与结论**
研究人员指出，SNYOLO在多个数据集上均获得稳定增益，说明显式建模模态可靠性和抑制跨模态冲突对于实际红外–可见光系统具有重要意义。研究结论可概括为：为应对恶劣传感条件下的光照变化、模态退化和背景干扰，该工作提出了YOLO-Spectra-Net（SNYOLO），一种可靠性感知的RGB–红外融合目标检测框架；框架利用可见光和红外传感的互补性，同时保持高效推理；在RailID、M3FD和FLIR上的实验表明，所提方法提高了挑战性环境下的检测可靠性，具有更平滑的收敛和更稳定的目标聚焦响应，适用于铁路监控和监控等安全关键场景。未来工作将探索轻量级时序建模、扩大数据集多样性以及面向边缘设备的模型压缩与加速。