FPFusion：基于傅里叶频率先验的红外与可见光图像融合技术

《Image and Vision Computing》：FPFusion: Fourier frequency-prior guidance for infrared and visible image fusion

红外可见光图像融合中，基于频率域优先的融合方法通过幅度相位关联设计可调权重模块（Frequency-prior Guide Modules）和空间双分支细化模块（Spatial Refinement Modules），在四数据集上超越九种SOTA方法并提升下游任务性能。

　　

宋远生|马欣|蔡旭祺|万少华

中国电子科技大学，深圳，518000，广东，中国

摘要

红外图像与可见光图像的融合在机器视觉和自动驾驶等领域发挥着重要作用。这种融合的目的是将两种模式的图像结合起来，生成一个保留了它们互补优势的复合图像，从而适应不同的应用需求或促进下游机器任务的执行。然而，现有的方法并未充分利用多模态图像的频域信息，而是依赖于固定或繁琐的融合策略，这些策略缺乏灵活性和可控性。我们充分利用了两种模式的频域信息，特别是振幅和相位之间的潜在相关性。基于这一先验知识，我们设计了频率优先引导模块（Frequency-prior Guide Modules），通过这些模块可以灵活地实现不同程度的融合而无需重新训练。此外，我们还提出了空间细化模块（Spatial Refinement Modules）来优化和增强局部和全局特征表示。广泛的实验表明，我们的方法在四个数据集上的融合性能优于九种最先进的方法，并且在目标检测和深度估计等下游任务中也表现出更优越的性能。

引言

红外图像与可见光图像的融合是多模态机器视觉中的一个关键研究领域，显著提升了机器人、自动驾驶车辆和无人机的感知能力。可见光图像在照明良好的环境中提供了丰富的颜色和纹理细节，而红外成像则通过捕捉目标轮廓和热分布来检测低光照、雾霾和雨雪等场景下的热特征。它们的融合弥补了传感器的局限性，提高了图像的鲁棒性和信息完整性。关键应用包括自动驾驶中的夜间行人检测、工业检测中的缺陷识别以及无人机监视中的快速目标/生物定位。这项技术在自适应环境和智能系统中具有重要的学术和实用价值。

深度学习的最新进展极大地推动了红外图像与可见光图像融合方法的创新[1]、[2]、[3]。目前主流的方法包括基于自动编码器（AE）、基于卷积神经网络（CNN）、基于Transformer和基于生成对抗网络（GAN）的方法。然而，这些传统技术通常采用复杂的融合策略，且缺乏生成满意融合结果的灵活性和可控性。越来越多的研究开始关注频域，认识到其在多模态特征表示中的关键作用。

基于先前的研究，我们观察到通过傅里叶变换将图像转换为频域后，图像被分解为振幅分量（包含主要的低频信息和退化伪影）和相位分量（包含高频细节和纹理特征）。这种分解激发了我们对多模态融合中潜在频域特征的探索，如图1(a)所示。我们的预实验揭示了三个关键发现：

(a) 用可见光的振幅替换红外振幅时，逆傅里叶变换重建保留了红外相位的热辐射信息，但引入了显著的伪影。

(b) 振幅与红外相位进行逐元素最大值组合可以得到对比度和热特征更清晰的图像（II）。

(c) 通过在不同模式之间加权相位可以实现初步融合，并增强纹理特征（III）。

对MSRS数据集进行的T-SNE分析进一步表明，相位比例直接影响融合特性：设置1（较高的红外相位权重）重建的图像更接近原始的红外图像，而设置2（较高的可见光相位权重）则更接近可见光图像。基于上述验证结果，我们开发了一个频率优先引导模块，利用这些频域先验来指导多模态融合过程，通过调整不同模式之间的相位权重实现灵活可控的集成。为了进一步增强频域特征表示，我们在频域中对原始振幅和相位分量进行了顺序处理，包括1×1卷积、Leaky ReLU激活函数和1×1卷积操作。

通过频率优先引导模块，我们通过特征重组在频域获得了初始化良好的融合特征。为了进一步优化空间域中的局部和全局特征，我们将输出结果输入到空间细化模块中。该模块包含三个并行路径：局部路径、全局路径和残差连接。局部路径结构结合了卷积、批量归一化（BN）和高斯误差线性单元（GELU）激活函数的顺序操作。BN层加速了模型收敛，而GELU通过其自适应的非线性提供了更平滑的梯度流动，共同增强了训练稳定性并有效捕获了局部细节。全局路径采用轻量级结构，结合了最大池化、1×1卷积、组归一化（GN）和GELU激活函数。这种简化设计有助于高效建模长距离的空间依赖关系。通过多阶段与频率优先引导模块的迭代交替处理，我们的架构逐步优化了特征表示，以适应复杂的应用需求和多样的下游任务。图1(b)展示了强大的融合性能（见图2）。

基于以上内容，本工作的贡献可以总结为以下三个方面：

• •
  充分探索了多模态图像融合中频域信息的重要先验。
• •
  我们利用频率优先指导和双分支空间域细化实现了简单、灵活且可控的红外图像与可见光图像融合。
• •
  通过大量实验，本工作在四个数据集上实现了最先进的融合性能，并在目标检测和深度估计任务中表现出强大的性能。

部分摘录

基于深度学习的红外图像与可见光图像融合

红外图像与可见光图像融合的快速发展得益于深度学习的突破。当前的方法主要分为四类：基于自动编码器（AE）[1]、基于卷积神经网络（CNN）[4]、[5]、[6]、基于Transformer的方法[2]和生成模型[7]。AE方法利用CNN/Transformer块进行跨模态的层次特征提取[8]、[9]，而CNN在局部特征捕获方面表现出色[10]、[11]。基于Transformer的方法通过自注意力机制实现全局建模[12]、[13]

方法

我们的方法主要包括频率优先引导模块（Frequency-prior Guide Modules，FGM）和空间细化模块（Spatial Refinement Modules，SRM）。前者根据我们探索的多模态图像频域先验信息设计，通过调整不同的权重w可以在不重新训练的情况下获得不同程度的融合结果。后者采用双分支结构来优化空间域的局部和全局特征。给定红外模态$I_{in}\in R^{H}1$和可见光模态$I_v\in R^{H}3$

数据集和评估指标

我们在三个广泛使用的基准数据集上评估了我们的融合模型：MSRS [14]、M3FD [19]、FMB [34] 和 TNO [30]。训练是在包含2166对对齐图像的MSRS数据集上进行的。为了严格评估性能，我们在三个不同的数据集上测试了我们的模型：MSRS（361对）、M3FD（300对）、FMB（280对）和TNO（25对）。值得注意的是，仅在MSRS上训练的模型可以直接应用于M3FD、FMB和TNO，无需微调，这证明了其泛化能力。定量评估

效率分析

如表3所示，我们总结了与其他最先进方法相比的参数数量和推理时间。该表表明，我们的模型在参数数量和推理时间方面都具有显著优势。

FGM和SRM的消融实验

FGM和SRM是我们提出框架的核心组成部分。我们的消融实验考察了四种不同的变体：(I) 丟弃这两个模块；(II) 仅引入FGM；(III) 仅引入SRM；(IV)

结论

在这项工作中，我们探索了多模态图像中重要的傅里叶频率先验信息，即通过调整振幅和相位可以实现良好的初步融合，并利用这一先验设计了FGM。我们还设计了SRM，它通过空间域的双分支操作来优化局部和全局信息，从而实现更好的融合效果。在FGM中，通过改变相位权重w可以在不重新训练的情况下实现不同级别的融合

CRediT作者贡献声明

宋远生：撰写——原始草稿、验证、方法论、概念化。马欣：软件实现、方法论、数据管理。蔡旭祺：软件实现、方法论、数据管理、概念化。万少华：撰写——审稿与编辑、监督、方法论、资金获取、形式分析、概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本工作部分得到了国家自然科学基金（项目编号：62172438）、深圳市科技计划（项目编号：JCYJ20220818103200002、JCYJ20240813114223031）以及广东省自然科学基金（项目编号：2024A1515011155）的支持。