基于卷积神经网络与Transformer融合结构的红外偏振图像融合方法

《Image and Vision Computing》：An infrared polarization image fusion method based on the fusion structure of convolutional neural network and transformer

　　

**摘要亮点**

- 多尺度融合网络结合了卷积和Transformer特征。
- 轴向注意力机制以较低的算力代价捕捉长程依赖关系。
- 交叉注意力实现了偏振模态之间的有效交互。
- 该模型无需重新训练即可泛化至红外-可见光融合任务。
- 实验表明，该模型在融合质量与效率之间实现了良好的平衡。

**引言**

红外成像技术利用物体的热辐射差异来形成图像，使其能够在全天候、昼夜条件下工作。然而，由于热扩散的物理限制和长波长特性，红外图像通常存在对比度低、边缘模糊和纹理细节缺失等问题，这阻碍了精确的目标识别。相比之下，偏振成像能够捕捉目标的表面粗糙度和几何信息，提供强度图像中不可见的互补细节。因此，将红外强度信息与偏振信息融合是突破传统热成像瓶颈的一种有前景的解决方案[1]。

在军事应用[2]中，该技术为对抗红外隐身和伪装提供了强大的解决方案。在民用领域——如智能驾驶和安防监控[3]——它提高了低对比度条件下的目标识别能力。与传统成像方法相比，红外偏振融合技术展现出优越的环境适应性和目标判别能力，为复杂场景下的检测任务提供了有前景的方案[4]。

2016年，马佳仪等[5]提出了一种基于梯度传输和全变分最小化的红外与可见光图像融合方法。该方法通过优化框架，在保留红外目标信息的同时增强了可见光图像的细节。2017年，马金雷等[6]开发了一种结合视觉显著性图与加权最小二乘优化的红外和可见光图像融合方法。该方法通过自适应融合方案增强了显著目标特征并保留了图像细节。然而，由于依赖手工设计的显著性检测，该方法可能难以应对复杂场景。

2018年，刘宇等[7]引入了一种基于卷积神经网络（CNN）的红外和可见光图像融合方法。该方法利用CNN强大的特征提取能力学习模态特异性表示，并有效融合红外和可见光图像的互补信息。2019年，马佳仪等[8]提出了FusionGAN，一种用于红外和可见光图像融合的生成对抗网络。该方法利用对抗训练生成既保留热目标又包含丰富纹理细节的融合图像。虽然该方法有效，但可能面临训练不稳定以及在多样化环境中泛化能力有限的问题。

2020年，孙长奇等[9]综述了红外和可见光图像融合的深度学习方法，强调了特征提取和融合方面的进展与挑战。同年，李辉等[10]提出了NestFuse，一种使用嵌套连接和空间/通道注意力机制的红外和可见光图像融合网络。该方法增强了特征提取和互补信息的自适应融合。然而，其嵌套结构增加了模型复杂度，可能影响实时性能。

2022年，王志喆等[11]提出了SwinFuse，一种基于残差Swin Transformer的红外和可见光图像融合网络。该模型通过层次化注意力有效捕捉局部和全局特征。然而，由于其基于Transformer的架构，计算成本相对较高。同年，李昆源等[12]提出了TIPFNet，一种基于Transformer的红外偏振图像融合网络。该方法增强了特征融合，但可能缺乏实时效率。

2023年，李昆源等[13]提出了一种使用注意力引导滤波的噪声感知融合方法。该方法改善了噪声抑制，但在复杂场景中可能面临困难。2024年，李昆源等[14]提出了一种偏振先验引导的红外偏振图像融合网络。该方法利用偏振先验来增强特征融合和细节保留，提高了融合质量，但可能增加计算复杂度。同年，李雪等[15]提出了HDCCT，结合CNN和Transformer以改善红外-可见光图像融合，提高了特征提取但增加了复杂度。

2025年，谭斌熙等[16]提出了一种结合Res2Net和多尺度Transformer的红外和可见光图像融合网络。该方法增强了多尺度特征提取和融合，但模型可能计算密集。同年，袁博等[17]分析了基于深度学习的红外-可见光图像融合的可解释性，强调了模型透明度，但指出了复杂场景中的挑战。与此同时，2024年至2026年的偏振专用研究越来越关注多尺度特征表示和显式跨模态交互。2024年，刘等[18]提出了DT-F Transformer用于偏振图像融合，该方法利用双转置注意力提取强度和DoLP特征之间的互补信息，并采用多尺度特征细化以保留局部细节。2025年，段等[19]提出了一种基于偏振形成的多尺度红外偏振图像融合方法，以抑制DoLP图像中的背景噪声并增强弱纹理信息。同年，刘等[20]开发了DCCFNet，引入了通道交叉融合策略以改善偏振特征流之间的交互。最近，杨等[21]在2026年提出了FDMSFuse，结合多尺度特征提取、Swin Transformer和共享键值注意力用于红外-偏振特征交互。

本文的主要贡献如下：(1) 我们将改进的轴向注意力模块引入编码器以增强特征提取能力；(2) 我们设计了一个交叉注意力融合模块（CAFM）以充分整合DoLP和Pol-I图像的特征；(3) 我们采用并行融合结构，将提取的特征同时输入到注意力和融合模块中，最终融合特征通过逐元素求和获得。

本文其余部分组织如下：第2节"相关工作"综述了相关工作。第3节"图像融合网络模型"详细介绍了所提出的模块。第4节"红外偏振图像融合实验"报告并分析了实验结果。第5节"结论"对全文进行总结。

**第2节：相关工作**

图像融合作为计算机视觉领域的一个重要研究方向，近年来在医疗诊断、遥感和安防监控等多个领域展现了巨大的应用潜力。随着深度学习的发展，大量融合网络被提出以应对特征提取和多源信息集成方面的挑战。

2023年，王红梅等[22]提出了一种基于的红外和可见光图像融合方法。

**偏振信息解算**

1) 数据采集：偏振图像以六个不同的偏振角度捕获：0°、30°、60°、90°、120°和150°。各角度对应的强度值分别表示为I?、I??、I??、I??、I???和I???。

2) 总强度计算：总强度I的计算公式为[29]：
$$I = \frac{1}{3}(I_0 + I_{30} + I_{60} + I_{90} + I_{120} + I_{150})$$

3) 斯托克斯参数Q的计算：
$$Q = \frac{2}{3}I_0 - I_{90} + \frac{1}{3}(I_{30} - I_{120}) + \frac{1}{3}(I_{150} - I_{60})$$

4) 斯托克斯参数U的计算：
$$U = \frac{3}{3}(I_{30} - I_{120}) + (I_{60} - I_{150})$$

5) 线性偏振度（DoLP）的计算：
$$DoLP = \frac{\sqrt{Q^2 + U^2}}{I}$$

**第3节：图像融合网络模型**

**数据集配置与实验设置**

为了全面评估所提出的MSFE-PFFN的性能，我们在两个公共基准数据集TNO和RoadScene以及一个自建的红外偏振数据集上进行了实验。

1) 公共TNO数据集：我们使用了广泛使用的TNO数据集来验证方法的泛化能力。该数据集包含不同军事和民用场景的多光谱图像。我们从该数据集中选择了30对典型的红外和可见光图像对，涵盖……

**第5节：结论**

本文提出了一种基于多尺度特征提取的并行特征融合网络（MSFE-PFFN）用于红外偏振图像融合。该网络在编码器中集成了改进的轴向注意力模块以增强空间特征表示，并引入了交叉注意力融合模块以实现DoLP和Pol-I特征之间的深度对齐。并行融合策略进一步加强了模型保留精细细节和集成语义上下文的能力。

**CRediT作者贡献声明**

孙宏宇：写作——审阅与编辑、监督、资助获取、概念设计。

李小雅：写作——审阅与编辑、验证、软件、方法论。

李军：验证、方法论。

郭银晶：监督、资源。

刘强：监督、资源。

**利益冲突声明**

作者声明，他们不存在已知的可能影响本文所述工作的相互竞争的财务利益或个人关系。

**致谢**

本工作得到了山东省自然科学基金（项目编号：ZR2022MF315）和青岛市自然科学基金（项目编号：24-4-4-zrjj-98-jch）的支持。孙宏宇分别于2003年和2008年获得山东科技大学电子信息工程学士学位和信号与信息处理硕士学位，并于2012年获得同济大学计算机科学博士学位。他目前是山东科技大学储能技术学院教授。他的当前研究兴趣包括……

孙宏宇 | 李小雅 | 李军 | 郭银晶 | 刘强