TCIGFusion：一种用于红外与可见光图像融合的两阶段相关特征交互引导网络

《Optics and Lasers in Engineering》：TCIGFusion: A two-stage correlated feature interactive guided network for infrared and visible image fusion

两阶段关联特征交互引导网络通过Transformer双分支和动态大核卷积块分别提取全局和局部特征，跨注意力引导模块动态融合异构特征，避免手动设计规则，在红外可见光图像融合中优于现有方法。

　　红外与可见光图像融合技术旨在生成能够突出目标和纹理细节的图像，从而为后续的应用，如目标检测等提供有力支持。然而，目前大多数基于深度学习的图像融合方法仍然依赖于单阶段训练和人工设计的融合规则，这些方法在特征提取和融合过程中往往表现不够理想。为此，本文提出了一种名为TCIGFusion的两阶段相关特征交互引导网络，该方法通过分阶段处理图像特征，有效提升了融合效果和模型的泛化能力。

TCIGFusion的核心思想在于将特征提取与交互融合过程分离，避免了传统方法中需要人工设计融合规则的复杂性。在第一阶段，模型采用类似Unet的双分支Transformer模块和动态大核卷积块（DLKB），分别从红外和可见光图像中提取全局特征和局部特征。其中，Transformer模块能够捕捉图像中长距离的上下文信息，而DLKB则通过可调节的卷积核大小，灵活提取多尺度的全局特征。这些特征提取过程不仅提高了模型对不同模态信息的感知能力，还增强了其对复杂场景的适应性。

在第二阶段，TCIGFusion引入了跨注意力引导模块（CAGM），该模块通过空间和通道注意力机制，实现对两种模态异质特征的动态交互融合。CAGM的设计使得模型能够根据跨模态特征的相关性，自动调整不同特征在融合过程中的权重，从而实现更自然、更有效的图像融合。与传统的静态卷积网络相比，这种动态的注意力机制显著提升了模型对特征融合的适应性和灵活性。

此外，为了优化融合网络的效果，本文还采用了图像重建、图像分解和梯度损失函数相结合的方式进行无监督训练。这种训练策略不仅减少了对标注数据的依赖，还提高了模型在不同数据集上的泛化能力。通过这些创新设计，TCIGFusion在多个公开数据集上的实验结果表明，其在主观和客观评估指标上均优于现有的深度学习方法。

在实际应用中，红外图像通常具有较强的热辐射特性，但缺乏清晰的纹理细节；而可见光图像则能够提供丰富的颜色和纹理信息，但对暗环境下的目标识别能力较弱。因此，如何有效地融合这两种模态的信息，成为图像融合研究的重要课题。TCIGFusion通过分阶段处理图像特征，实现了对全局和局部特征的协同提取和交互融合，从而在保留可见光图像纹理细节的同时，增强了红外图像中目标的可见性。

本文提出的TCIGFusion方法在多个方面进行了创新。首先，它采用两阶段结构，将特征提取和交互融合过程分开，消除了对人工设计融合规则的依赖。这种设计使得模型能够更灵活地适应不同模态图像之间的特征差异，从而提升融合质量。其次，动态大核卷积块（DLKB）的设计使得模型能够根据图像内容自动调整卷积核的大小，从而更全面地捕捉多尺度的全局特征。这一特性在处理复杂场景时尤为重要，因为它能够适应不同尺度的目标和背景信息，提高融合的准确性和鲁棒性。

最后，跨注意力引导模块（CAGM）通过空间和通道注意力机制，实现了对异质特征的动态融合。该模块能够根据跨模态特征的相关性，自动调整不同特征在融合过程中的贡献权重，从而确保融合结果既保留了可见光图像的细节信息，又突出了红外图像中的目标特征。这种动态融合机制不仅提高了融合效率，还增强了模型对不同环境和任务的适应能力。

综上所述，TCIGFusion方法通过分阶段处理、动态特征提取和交互融合机制，有效解决了传统图像融合方法中存在的问题。实验结果表明，该方法在多个公开数据集上的表现优于现有的深度学习方法，为红外与可见光图像融合提供了新的思路和技术支持。未来，随着深度学习技术的不断发展，图像融合方法将进一步优化，为更多实际应用提供更高质量的图像数据。