SETFusion：基于光谱增强变换器的双域特征学习方法，用于红外图像与可见光图像的融合

《Image and Vision Computing》：SETFusion: Dual-domain feature learning with Spectral-Enhanced Transformer for infrared and visible image fusion

　　

摘要

图像融合技术能够将多个来源中的关键物体和场景细节整合为高质量的单幅图像，为后续的视觉任务提供有力支撑。虽然视觉Transformer（ViT）在通过长距离依赖建模来捕捉全局结构特征方面表现优异，但在保留精细的局部细节方面存在不足。为解决这一问题，我们提出了频谱增强Transformer（SET），该模型结合了基于傅里叶块的频域局部细节提取与基于ViT的注意力机制的全局结构学习，从而实现双域特征学习。这种双域方法能够同时呈现高频细节（如边缘、纹理）和长距离依赖关系（如场景结构）。在此基础上，我们进一步提出了频谱增强Transformer融合框架（SETFusion），这是一种端到端的红外与可见光图像融合框架，它利用SET进行特征提取，并采用自上而下的交叉注意力融合策略，有效整合不同模态之间的互补信息。该融合策略以频域特征作为先验引导，动态调整和平衡跨模态交互。此外，还采用了结合梯度感知的纹理保持、结构相似性指数以及语义内容对齐的混合损失函数，以实现融合图像的全面优化。在MSRS、TNO以及${\text{M}}^3$FD基准测试表明，SETFusion在六项指标上的表现均更为出色。该框架为多模态融合任务提供了灵活的解决方案，可在自动驾驶和监控等领域得到应用。

引言

由于传感器的物理限制，比如红外传感器易受热辐射影响，而可见光传感器则依赖光照条件，单模态图像往往无法全面描述复杂场景。多模态图像融合技术通过整合互补信息（如红外的热目标信息和可见光图像的纹理细节），能为后续的视觉任务（如物体检测、语义分割）提供更可靠的输入，因此已成为计算机视觉领域的重要研究方向。图像融合在军事系统及民用领域都有着不可或缺的作用，应用范围包括监控[1]、目标跟踪[2]、[3]、医疗诊断[4]、[5]、遥感[6]以及自主导航系统等。

现有的融合方法大致可分为传统的变换域方法（如小波变换、稀疏表示）和基于深度学习的方法。典型的传统融合方法包括基于多分辨率的[7]、[8]、稀疏表示[9]、显著性分析[10]以及总变分法[11]。随着小波和曲线波等多尺度变换技术的不断发展，基于多分辨率变换的融合方法得到了广泛研究[12]，这类算法的融合性能也有了显著提升。传统方法在某些特定的融合任务中取得了良好效果，但其适应性和泛化能力仍存在局限。

根据不同的深度学习模型架构，基于深度学习的融合算法可划分为基于卷积神经网络（CNN）的框架[13]、[14]、[15]、基于生成对抗网络（GAN）的框架[16]、[17]、[18]，以及基于ViT的框架[19]。凭借强大的特征学习能力，基于深度学习的方法显著提升了融合性能[20]、[21]、[22]，尤其是ViT在通过长距离依赖建模来保持全局结构方面表现突出[23]、[24]、[25]。然而，这些方法难以捕捉精细的局部细节（如边缘、纹理），而这类高频信息对于物体检测等后续任务而言至关重要。尽管有Swin Transformer[26]和SpectFormer[27]等最新研究通过分层窗口处理或频域增强部分解决了这一问题，但它们仍未对频域与空间域之间的互补性进行系统性的探讨。

本文提出了SETFusion框架，其主要贡献如下：

• •
  双域表征机制：我们设计的SET模型能够同时处理频域的局部模式（通过快速傅里叶变换块实现）和空间域的全局结构（通过Swin Transformer层实现），从而克服了局部性与全局性之间的矛盾。
• •
  自上而下的交叉注意力融合策略：这是一种创新的融合方法，它在执行跨模态注意力计算时以频域特征作为先验引导，确保各类互补信息能够得到均衡整合。
• •
  混合损失函数：这是一种多目标损失函数，结合了纹理保持、结构相似性以及语义内容对齐等多种约束条件，共同引导模型生成对比度高且细节丰富的融合图像。

本文的结构安排如下：第2节概述相关研究工作；第3节详细介绍所提出的SETFusion图像融合算法；第4节展示实验结果及消融实验分析；最后，第5节对研究结论进行总结。

章节要点

相关工作

在本节中，我们梳理了现有的典型基于深度学习的图像融合算法，这些算法旨在构建端到端的架构来生成高质量的融合图像。根据不同的模型架构，现有方法可大致分为基于CNN的、基于GAN的以及基于ViT的三种类型。

由于具有局部卷积核的特性，CNN已被广泛应用于图像融合领域[28]。PMGI[29]则通过精心设计的损失函数来平衡梯度和图像强度之间的关系

所提出的融合方法

我们所提出的SETFusion框架采用双域思路，将频域的局部细节与空间域的全局结构相结合，从而实现红外图像与可见光图像的融合。如图1所示，该框架由三个核心组件构成：特征提取模块（FEBlock）、自上而下的交叉注意力融合模块（TCAFusion）以及图像重建模块（ReBlock）。每个组件都针对多模态融合过程中的特定问题进行了优化设计

实验与分析

为验证SETFusion的有效性，我们在三个基准数据集上进行了全面实验。首先介绍了该框架的实现细节和评估方法，随后将其与12种先进的融合方法进行了定性和定量对比。同时通过消融实验分析了各核心组件的作用。所有实验均在NVIDIA Tesla V100 GPU上完成。图3展示了多组红外图像与可见光图像的对比，可以看出来自不同成像设备的图像

结论

本文提出了SETFusion这一用于红外与可见光图像融合的频谱-空间协同框架。通过将频域增强技术与基于Transformer的全局建模方法相结合，SETFusion有效解决了现有融合方法在精细细节保留与全局结构一致性之间的长期矛盾。作为SETFusion的核心组成部分，频谱增强Transformer能够实现互补的双域特征学习

CRediT作者贡献说明

徐良：文章撰写——审阅与编辑、软件实现、方法设计、形式化分析。魏忠成：研究指导、数据整理、概念构思。赵继军：文章撰写——审阅与编辑、资源准备、概念构思。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

致谢

本研究得到了河北省$\&$重点研发计划”的资助（项目编号：22567624H），以及河北工程大学的创新基金项目资助（项目编号：SJ2401002137）。

Liang Xu|Zhongcheng Wei|Jijun Zhao

河北工程大学信息与电气工程学院，中国河北邯郸市056038