S2DFusion：基于统计与尺度差分注意力网络的红外与可见光图像融合方法

《Scientific Reports》：S2DFusion: a statistical and scale difference attention network for infrared and visible image fusion

　　

摘要

红外与可见光图像融合旨在整合跨模态互补信息，以实现全面的全天候场景感知。然而，现有方法往往无法有效地将背景噪声与模态特定的显著特征进行解耦，导致融合图像的对比度下降、热目标突出度降低以及精细纹理细节丢失。为了解决这些局限性，我们提出了S2DFusion，一种新颖的统计与尺度差分注意力网络，构建了以"差异"为导向的显式解耦与融合范式。具体而言，红外分支引入了统计差分注意力（SDA）模块，以主动分离并优化背景中的高能量热目标。与此同时，可见光分支采用尺度差分大核（SDLK）模块来捕捉并增强多尺度高频纹理。为了防止特征融合过程中的空间混淆，我们设计了一个带有局部注意力模块（LAM）的侧向分支来保留独特特征，并在瓶颈层设计了一个共性-独特性交叉聚合模块（CUCAM）以实现深度语义融合。此外，该网络由一个结合特征解耦、强度保真和显著梯度增强的多任务损失函数驱动，以最大化结构细节和对比度的保留。在多个公开数据集上的大量实验表明，S2DFusion在主观视觉质量和客观指标方面均达到了最先进性能。此外，在下游YOLO目标检测任务上的评估验证了所提方法通过保留高保真热目标和多尺度细节，显著提高了复杂环境中的检测精度和鲁棒性。特征级分解分析进一步验证了学习到的共性和独特性表征展现出了预期的跨模态相似性和模态内正交性。敏感性和感知质量分析表明，梯度放大因子在边缘增强与感知自然性之间提供了可控的权衡，而使用YOLOv5s和YOLOv8s进行的下游评估表明，该方法的优势并非特定于某一检测器。