光照感知红外-可见光图像融合网络用于安防监控

《Algorithms》：A Lighting-Aware Infrared–Visible Image Fusion Network for Security Surveillance

　　

红外与可见光图像融合将红外传感器捕获的热辐射线索与可见光图像提供的丰富结构与纹理信息相结合，该技术在安防监控、夜间场景感知及复杂环境条件下目标识别中具有重要价值。现有方法普遍采用固定融合策略，忽视低照度、过曝光及强光干扰下双模态的动态变化，难以在融合图像中同时保留热目标显著性与可见光结构细节。针对该问题，研究人员提出一种用于安防监控的光照感知空间-频域融合网络（Lighting-Aware Spatial–Frequency Fusion Network，LASFNet）。该方法首先估计低光、过曝光及红外显著区域的模态可靠性，将其引入频域幅度与相位的融合过程；随后联合融合空间域红外、可见光特征与频域补偿特征生成输出。在M3FD、MSRS和RoadScene数据集上的实验表明，LASFNet取得了具有竞争力的融合性能与跨数据集泛化能力。在M3FD上，采用LASFNet融合图像作为输入的YOLOv8s检测器达到84.825% mAP@0.5与57.319% mAP@0.5:0.95，优于可见光、红外及YDTR融合输入。所提方法在目标显著性与场景结构间取得平衡，为复杂光照下的目标检测提供更有效的视觉输入。

研究背景方面，智能安防、智能交通与无人巡检等场景常面临夜间低照度、局部强光、逆光、烟雾遮挡及复杂天气等非理想成像条件。单模态传感器在此类条件下难以稳定获取完整可靠目标信息：可见光图像空间分辨率高但受光照影响大，低光或过曝时目标难辨；红外图像依热辐射突出显著目标，夜间与弱光下检测稳定，但纹理、背景结构与语义信息不足。现有融合方法多采用手工设计规则或固定权重的深度学习策略，未能随局部光照动态调节红外与可见光贡献，导致低光区引入不可靠纹理或过增强红外背景。因此，研究人员开展光照感知的空间-频域融合研究，以适配安防监控中模态可靠性的空间变化。

关键技术方法上，研究人员以M3FD数据集（4200对配准红外-可见光图像，含行人车辆等六类标注）为主训练集，MSRS（1444对）与RoadScene（221对FLIR序列）仅作外部测试；训练时红外转单通道灰度，可见光取YCbCr之Y通道，Cb/Cr后期重组彩色，图像缩至固定尺寸并做随机裁剪与水平翻转。网络由光照条件感知与引导模块（LCPG）、跨模态空间融合模块（CMSF）、光照引导频域融合模块（IGFF）与自适应残差重建头（ARH）构成；损失函数含内容保持损失、细节恢复损失与光照约束损失三组，分别以局部亮度掩码、Sobel梯度与FFT幅度相位、热目标掩码与总变分正则联合优化。

研究结果部分，第1节引言阐明双模态互补性与固定策略缺陷，提出以局部光照可靠性驱动融合的动机。第2节相关工作综述传统多尺度变换（MST）、稀疏表示（SR）、自编码器（AE）、生成对抗网络（GAN）与Transformer融合方法，指出频域利用不足与模态权重固化两大遗留问题。第3节方法论中，3.1给出LASFNet整体架构；3.2的LCPG由红外图与可见光亮度通道经子网络输出沿模态维归一化的空间变化权重图w_ir、w_vis；3.3的CMSF用模态特定编码器提取特征后以权重调制，并通过门控双向补偿交换互补信息，最后通道拼接映射为空间响应F_s；3.4的IGFF将权重作用于源图后做FFT分离幅度A与相位P，分别卷积融合再IFFT重建，经通道最大与均值压缩得频域响应F_f；3.5的ARH将F_s与F_f整合输出融合图，损失项中以低光掩码M_low（阈值τ₁=0.15）、过曝掩码M_over（τ₂=0.85）及热目标掩码M_t引导参考图构造。第4节实验设置载明PyTorch 2.1.0、RTX 5060、Adam、学习率1e-4、batch 16、50 epoch、种子2026；评估采用熵（EN）、标准差（SD）、空间频率（SF）、互信息（MI）、视觉信息保真度（VIF）、边缘融合质量（Q_abf）。4.2对比实验显示LASFNet在M3FD上EN=6.875、SD=15.571、SF=4.719、VIF=1.164居首；MSRS上EN与VIF第一、余指标第二；RoadScene上SD=13.804、SF=4.289最高；计算量67.34 G FLOPs、0.16 M参数、单对推理0.012 s，远优于SwinFusion（2.734 s）。4.3消融表明去LCPG致VIF降至0.701、去CMSF致SD降至14.735、去IGFF损高频细节，全模型六项指标最优。4.4下游检测以YOLOv8s（输入640、batch 8、AdamW、150 epoch、种子2024/2025/2026）测M3FD，LASFNet输入达mAP@0.5=84.825%、mAP@0.5:0.95=57.319%，较可见光、红外、YDTR融合分别提升6.224/5.049、6.406/3.562、1.964/1.229个百分点，摩托车AP超YDTR 8.502点。

讨论与结论部分，研究人员指出LASFNet以空间变化可靠性权重替代全局固定权重，CMSF保空间轮廓、IGFF独立处理幅度相位以增强复杂光照下频域表达，ARH联合重建。跨M3FD训练直测MSRS/RoadScene的泛化结果说明光照先验可迁移至未见场景。下游检测误检减少与低光车库场景车辆/管线兼顾，印证融合特征对安防感知的实际增益。原文结论强调：LASFNet区别于固定贡献融合法，能依局部光照估计空间变化可靠性权重；CMSF捕空间互补信息保留目标与场景细节；IGFF分治幅度相位提升频域表达；ARH整合双域生成融合图。M3FD、MSRS、RoadScene上定量与视觉均具竞争力且跨集泛化好，消融证各模块有效，下游YOLOv8s检测证明融合图可为复杂监控场景目标识别提供更有效视觉信息。论文发表于《Algorithms》。