FCDFusion：一种基于特征耦合与解耦的抗噪声红外与可见光图像融合方法

《Knowledge-Based Systems》：FCDFusion: A noise-robust infrared and visible image Fusion method based on Feature Coupling and Disentanglement

　　丁凌|刘宇|江鸿 摘要 本文提出了一种基于特征耦合与解耦的噪声鲁棒融合方法，名为FCDFusion。该方法旨在在融合多模态特征的同时消除冗余信息。与将融合和去噪视为独立过程不同，该方法注重在融合过程中去除噪声并优化融合特征。首先，设计了一个基于可逆神经网络（InvFD）的融合去噪模块，以实现噪声鲁棒融合的特征耦合与解耦。该模块将噪声视为冗余信息，其正向过程用于融合红外图像和可见光图像的特征，而反向过程则用于从融合特征中分离出冗余信息。此外，还开发了一种多尺度检索变换器（Msretmer），用于从多尺度融合特征中提取重要特征，进一步优化融合特征，从而生成纹理丰富、对比度高的融合图像。通过InvFD和Msretmer的协同作用，FCDFusion展现出出色的噪声鲁棒性，同时生成视觉效果良好的融合图像。在公共数据集上进行的广泛实验表明，FCDFusion在定性和定量评估方面都具有优势。

引言 图像融合的目的是通过整合多个源图像的信息，提升融合图像的质量和实用性[1]。具体而言，红外图像与可见光图像融合（IVIF）的目标是将红外图像中的显著目标与可见光图像中的纹理细节相结合，从而实现更全面的场景表征[2]。由于二者具有互补性，IVIF在需要复杂时空视觉处理的动态和安全关键驾驶环境中尤为重要[3]，它有助于提升智能交通系统中行人及车辆检测等任务的感知可靠性[4][5]。近年来，由于其实用性，IVIF受到了越来越多的关注。深度学习方法凭借其强大的特征提取能力和自适应融合策略，为图像融合提供了新的可能性[6]。根据模型结构，基于深度学习的IVIF方法可分为基于自编码器（AE）的[7]、基于卷积神经网络（CNN）的[8][9]、基于变换器的[10][11]、基于生成对抗网络（GAN）的[12]以及基于扩散模型（DM）的方法[13]。为进一步提升IVIF的实用性，研究人员开始探讨如何优化后续的高级视觉任务。例如，SeAFusion[14]将IVIF与语义分割任务结合，而DetFusion[15]、MetaFusion[16]和STDFusionNet[17]则将IVIF与物体检测任务结合。然而，恶劣环境常常会导致源图像质量下降，如出现噪声和模糊现象。具体而言，可见光图像常受到泊松噪声和高斯噪声的影响[19]，而红外图像则易受条纹噪声的影响[20]。由于不同成像模式下的噪声特性存在显著差异且较为复杂，现有的图像融合方法容易受到复杂噪声的干扰。为应对这些挑战，研究人员提出了多种方法。刘等人在其模型中引入了两个去噪器[21]，输入为随机注入了不同强度高斯噪声的融合图像，这两个去噪器分别独立地从融合图像中恢复红外图像和可见光图像。不过，对于注入源图像中的噪声的去噪问题尚未得到深入研究。此外，刘等人还提出了PAIF[18]，该方法将噪声视为攻击融合模型的干扰因素，促使融合模型从噪声输入中保留对场景表征有用的显著目标和纹理细节。但它仅能离线生成三种不同强度的滤波结果，这限制了模型处理复合噪声和严重噪声的能力。如图1(I)所示，在噪声强度较大的环境中，PAIF[18]无法有效去除源图像中的噪声。另外，叶等人提出了Text-IF[22]，该方法通过引入文本交互来增强模型的灵活性，以避免产生相对固定的融合结果。但Text-IF[22]在处理噪声时缺乏鲁棒性。显然，尽管现有方法已经研究了红外图像和可见光图像的融合与去噪任务，但它们并未解决不同强度噪声或源图像中因不同统计特性产生的噪声所带来的鲁棒性问题。本文将噪声视为冗余信息，设计了一种基于特征耦合与解耦的融合去噪模型。在融合过程中，有用信息会被优化，而冗余信息则会被有效去除。我们的方法包括一个基于可逆神经网络（INN）的融合去噪模块，即InvFD[23]，以及一个用于特征整合与优化的多尺度检索变换器（Msretmer）。二者协同完成融合任务，提升融合性能。首先，我们引入可逆神经网络，以便在确保强噪声鲁棒性的同时聚合多模态的互补信息，并保留源图像中的关键细节。具体而言，所提出的InvFD通过调整标准INN的重建机制，形成不对称结构，从而防止红外图像和可见光图像特征完全解耦。借助INN无损传输和双流交互的固有优势，这一设计使得正向过程能够实现深度的多模态特征耦合，而反向过程则可将这些耦合特征分解为有效的互补信息与冗余的劣化部分。值得注意的是，该方法通过去除冗余信息来消除噪声，无需建立噪声模型，还可扩展用于处理条纹噪声和模糊等退化问题。如图1(I)所示，与PAIF[18]相比，InvFD能够使模型有效处理不同强度和统计类型的噪声，且具备较强的噪声鲁棒性。图1(II)也表明，InvFD能够有效分离噪声及其他冗余信息。需要说明的是，InvFD被部署在编码器和解码器的每一层之间，以便在每一层实现特征的融合与去噪。随后，在InvFD之后部署Msretmer，其输入为InvFD在各层输出的融合特征。在Msretmer中，来自不同层的多尺度融合特征被嵌入到统一空间中。通过跨尺度检索机制，浅层特征可从深层特征中获取稳定的低频信息，以抑制局部噪声；而深层特征则可从浅层特征中获取高频细节，以恢复清晰的边界。重要的是，Msretmer能够自适应地整合来自不同编码器的多尺度信息，从而在减少伪影的同时增强纹理细节。本文的主要贡献如下：• 提出了一种基于INN的特征耦合与解耦方法，该方法能够在融合过程中高效地从源图像中提取有效的互补特征，同时消除冗余信息。通过创新的不对称架构设计，首次为INN模块赋予新功能，提升了该模型保留和提取重要特征的能力。得益于INN的可逆性，该方法在处理噪声时能够保留更多细节，避免信息丢失，从而显著提高其对噪声的鲁棒性，生成高质量的融合图像。• 特别设计了多尺度检索变换器模块，该模块采用多尺度通道交叉注意力机制，从嵌入空间中的多尺度融合特征中提取关键信息，有效捕捉复杂的通道依赖关系，进而优化融合特征。• 广泛的实验表明，我们的方法不仅能有效聚合互补信息，生成目标突出、背景清晰的融合图像，还能高效去除源图像中的冗余信息，具备出色的噪声鲁棒性，在含噪声和模糊的图像上也能表现出优异的融合性能。此外，在TNO数据集上的实验结果表明，所提出的方法在处理真实噪声时表现更为出色。本文结构如下：第2节回顾相关研究，第3节介绍所提出的方法，第4节展示并分析实验结果，第5节对研究进行总结。

相关研究概述 视觉驱动的红外图像与可见光图像融合 基于深度学习的IVIF方法通常可分为判别式和生成式两类。判别式方法包括基于自编码器、CNN、变换器以及混合架构的方法，这类方法已得到广泛研究。基于自编码器的框架致力于提取简洁、面向特定任务的表示形式；例如，近期的一些研究[24][25][26]通过融入显著性感知或语义引导来提升感知质量。不过，这些方法……

框架概述 图3展示了所提出的FCDFusion的网络结构。给定可见光图像噪声I?vi∈RH×W×3和红外图像噪声I?ir∈RH×W×1，我们首先通过编码器提取可见光图像和红外图像的特征F?vi和F?ir：F?vi=Evi(I?vi)，F?ir=Eir(I?ir)，其中Evi(?)和Eir(?)分别是可见光图像编码器和红外图像编码器。FCDFusion以Restormer块[44]作为基础特征提取器。然后，利用InvFD来聚合互补特征……

实验细节 实验参数设置。在我们的实验中，训练轮数设置为40轮，批量大小固定为8。初始学习率为0.001，模型优化采用Adam优化器。七个权重因子分别为αcon=1.3，αgrad=2.0，αssim=2.0，αTV=1.0，αr=1.0，αcolor=1.5。所有实验均在配备NVIDIA GeForce RTX 4090 GPU的计算机上进行，该方法采用PyTorch框架实现。数据集方面，我们在……上开展实验。

结论 本研究重新审视了在图像质量下降场景下的图像融合问题。它将图像融合定义为从耦合的源图像中提取互补特征，同时将退化的特征视为冗余信息，通过有效去除这些冗余信息来解决退化问题。此外，我们提出了一种噪声（退化）鲁棒的融合方案，将该融合过程与去噪过程整合到一个统一的框架中，即FCDFusion。FCDFusion由两部分组成：……

作者贡献声明 丁凌：撰写——初稿。刘宇：撰写——审阅与编辑。江鸿：监督。

未引用参考文献 [55]，[56]，[57]

利益冲突声明 作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。