基于多尺度频率注意力融合网络的红外与可见光图像融合方法研究

针对现有红外与可见光图像融合方法难以兼顾细节保留与目标显著性的问题，研究人员提出多尺度频率注意力融合网络(MSFAFusion)，通过空间-频率域协同建模与跨模态补偿机制，在三个公开数据集上实现AG(4.003)、Qabf(0.676)、SF(12.280)等指标的显著提升，为智能驾驶、安防监控等场景提供更优的多模态视觉解决方案。

　　

在计算机视觉领域，红外与可见光图像融合技术正成为突破单一传感器局限的关键手段。红外图像能穿透黑暗捕捉热辐射目标，却丢失纹理细节；可见光图像富含环境语义，但易受光照条件干扰。现有融合方法多聚焦空间域特征，忽视频率域信息互补价值，导致细节模糊与目标显著性不足。针对这一瓶颈，获得国家自然科学基金(62376198)支持的科研团队提出创新性解决方案。

研究人员设计的多尺度频率注意力融合网络(MSFAFusion)开创性地整合空间-频率双域特征。通过多尺度深度可分离卷积块(MDSCBlock)结合坐标注意力机制，采用3×3至7×7多规格卷积核模拟差异化感受野，有效捕获从边缘细节到全局结构的层次化特征。空间频率注意力融合模块(SFAFM)则构建跨注意力空间融合(CASF)与频域融合(FDF)双路径，引入离散余弦变换(DCT)进行频域特征解耦，辅以多尺度补偿融合(MCF)消除模态差异。网络采用三分支并行架构，实现特征提取与融合的动态同步。

关键技术包含：1) 基于DCT的频域特征分解；2) 融合坐标注意力的MDSCBlock多尺度特征提取；3) SFAFM模块的跨模态注意力机制；4) 端到端训练的感知损失函数组合。实验选用MSRS等三大标准数据集，对比MaeFuse、MLFuse等最新方法。

研究结果显示：

1. 多尺度特征提取：MDSCBlock使网络在MSRS数据集上边缘强度(AG)提升16.7%，显著优于传统CNN的局部感受野局限；
2. 跨域融合效能：SFAFM通过CASF-FDF协同将目标显著性指标Qabf提高至0.676，验证频域信息对热目标增强的关键作用；
3. 模态差异补偿：MCF模块使结构相似性(SSIM)提升23%，有效缓解红外-可见光图像的域偏移问题；
4. 下游任务增益：在YOLOv5检测框架中，融合图像使夜间行人检测AP₅₀提升9.2个百分点。

该研究发表于《Engineering Applications of Artificial Intelligence》，其创新价值体现在三方面：理论层面，首次建立空间-频率双域协同的融合框架，突破传统单域建模的认知局限；方法层面，坐标注意力与深度可分离卷积的组合为多尺度特征提取提供新范式；应用层面，12.280的SF分数表明该方法在军事侦察、智能交通等领域具显著实用价值。未来工作可探索Transformer与频域分析的更深层次结合，进一步提升复杂场景下的融合鲁棒性。