基于多尺度频率注意力融合网络的可见光与红外图像特征级融合方法

针对现有可见光与红外图像融合方法在细节保留和目标显著性增强方面的不足，研究人员提出MSFAFusion网络，创新性地整合空间域与频域特征，通过MDSCBlock多尺度特征提取和SFAFM跨域注意力融合模块，显著提升融合图像质量。实验表明该方法在AG、Qabf等指标上超越MaeFuse等最新算法，为自动驾驶、安防监控等应用提供新解决方案。

　　

在计算机视觉领域，如何让机器"看"得更清楚始终是核心挑战。特别是在夜间安防、自动驾驶等场景中，单一传感器存在明显局限：红外图像能穿透黑暗却丢失纹理细节，可见光图像细节丰富却受光照影响严重。传统融合方法依赖手工设计特征，而现有深度学习模型又过度聚焦空间域，忽视频域信息这一天然携带图像结构与细节的"密码本"。

针对这一瓶颈，研究人员提出革命性的多尺度频率注意力融合网络（MSFAFusion）。该研究通过三个关键创新实现突破：首先设计的MDSCBlock模块采用多尺度深度可分离卷积（Depthwise Separable Convolution）与坐标注意力协同工作，像"多焦段镜头"般同时捕获局部纹理和全局结构；其次开发的SFAFM模块首次将交叉注意力（Cross-Attention）机制引入频域融合，通过离散余弦变换（DCT）解码图像频域特征；最后创新的多尺度补偿融合（MCF）技术有效弥合跨模态特征差异。

技术方法上，研究团队构建三分支网络架构，在MSRS等公开数据集验证性能。采用AG（平均梯度）、Qabf（边缘保持度）等6项指标评估，通过消融实验证实各模块贡献。特别值得注意的是频域分析技术的创新应用——将传统DCT变换与深度学习结合，实现频域特征的动态加权融合。

研究结果方面：

1. 多尺度特征提取：MDSCBlock通过3×3/5×5卷积核组合，使网络感受野扩展至原模型的2.3倍，显著提升小目标检测率。
2. 跨域特征融合：SFAFM模块在MSRS数据集使AG指标提升15.7%，证明频域信息对纹理保留的关键作用。
3. 模态差异补偿：MCF机制将跨模态特征对齐误差降低42%，Qabf值达0.676，创该数据集新高。

结论部分指出，MSFAFusion首次实现空间-频域特征的协同优化，在保留可见光纹理（SF值12.280）与突出红外目标（对比度提升29%）间取得最佳平衡。这项工作不仅为多模态图像处理建立新范式，其频域注意力机制更为医学影像融合等跨学科应用提供借鉴。论文成果发表于《Engineering Applications of Artificial Intelligence》，相关代码已开源。