基于结构先验约束去噪与特征差异引导的长波红外极化图像融合方法

《Optics and Lasers in Engineering》：Long-wave infrared polarization image fusion method based on structural prior-constrained denoising and feature difference guidance

　　•我们提出了一种基于结构先验约束的去噪模块。•我们设计了一种由特征差异引导的自适应融合模块，以实现目标权重分配。•我们引入了一种基于交叉注意力的语义增强融合模块。•我们在复合损失函数中加入了极化约束项。

引言
极化描述了光在与其传播方向垂直的平面内电场矢量的振荡模式。与传统的红外成像相比，红外极化成像能够同时捕获场景的强度和极化信息，从而提供更丰富的物理特征描述。通过提取极化参数，可以得到强度图像（S0），以及线偏振度（DoLP）图像和其他相关的极化指标[1]。在原始的极化图像中，每个像素仅包含对应于单一极化方向的强度测量值。为了在每个像素位置恢复完整的极化信息（I0°,I45°,I90°,I135°），必须对原始的DoFP数据进行极化去马赛克处理。极化去马赛克的目标是通过插值、重建或基于学习的方法，利用具有互补极化信息的相邻像素，来估算缺失的不同极化方向的强度值。这一过程能够重建出四个空间上一致且在同一位置精确对齐的全分辨率极化图像。经过极化去马赛克处理后，就可以得到四个极化强度分量（I0°,I45°,I90°,I135°）。随后可计算出相应的斯托克斯参数：S0=0.5×(I0°+I45°+I90°+I135°)，S1=I0°?I90°，S2=I45°?I135°。基于这些斯托克斯参数[2]，可以计算出线偏振度（DoLP）和极化角（AoP）：DoLP=(S1)2+(S2)2/S0，AoP=1/2arctan(S2/S1)。这些定义量化了每个像素的极化强度和方向，为后续的极化分析和图像融合提供了必要的物理基础。整个处理流程及相关公式如图1所示。由于S1和S2是通过减去不同的极化分量得到的，因此检测器噪声、热波动噪声、读出噪声以及去马赛克误差都可能在这些差值中被放大。此外，由于DoLP是通过针对总强度分量S0的非线性归一化操作得到的，所以在低强度或低信噪比区域，噪声的影响更为显著。这可能导致DoLP值出现异常、局部结构失真以及高频伪影。

在融合阶段之前，会对原始的LWIR极化数据采用成像系统提供的标准校准和预处理程序进行处理，以降低检测器响应的不一致性以及采集噪声。除了这些标准校准和预处理步骤外，没有进行额外的手动极化校正。S0主要反映了场景中物体的热辐射强度分布，这使得它在白天、夜间以及能见度较低的环境下都能实现稳定成像，并能清晰地呈现目标轮廓和整体结构信息。然而，当目标与背景之间的温度差异较小时，S0容易出现对比度下降甚至目标识别困难的问题。相比之下，DoLP图像则反映了红外辐射经过目标表面调制后的极化特性，这些特性与材料属性、表面粗糙度、热辐射特性以及反射机制有关。在LWIR极化成像中，观测到的极化响应通常受到发射极化机制和反射极化机制的共同影响。对于被动式的车辆-道路LWIR场景而言，在大多数区域，由各向异性热辐射产生的发射极化通常是主导因素；而在平坦或高反射率的区域，如车辆表面、窗户、挡风玻璃以及在特定观察角度下的路面，由环境热辐射反射和菲涅尔效应引起的反射极化仍可能在局部起作用。此外，即使在温度对比度较小的情况下，极化信息仍然具有较高的区分度，从而有效弥补了S0在低温差场景下的不足[3]。如图2(a)和(b)所示，同一场景中的S0和DoLP呈现出不同的特征。

关于极化成像的特性，该领域仍存在若干挑战：(1)现有的融合方法往往侧重于强度或结构信息，而忽视了极化特征。如图2(c)所示，像DenseFuse[4]这样的方法可能会导致极化特征明显的区域被抑制或对比度降低，从而削弱极化特征在目标突出显示和场景感知方面的作用。(2)红外极化成像容易受到各种噪声源的影响，尤其是DoLP这类极化参数。正如CrossFuse[5]所展示的，如果不采用专门的去噪机制，直接使用带有噪声的极化图像进行融合，会导致噪声被放大，进而降低融合质量并影响后续任务。为了解决上述问题，我们提出了一种基于结构先验约束去噪和特征差异引导的长波红外极化图像融合方法。该方法利用不同模态的特征以及极化响应的差异，客观地在S0和DoLP之间分配注意力，同时有效抑制由极化噪声引起的局部不稳定性，从而弥补成像过程中有用信息的损失。其主要贡献如下：•我们提出了一种基于结构先验约束的去噪模块（SPCDM），并采用带有极化约束的复合损失函数来规范模型训练。通过将高信噪比的S0图像作为结构先验，可以补偿DoLP图像中的结构损失。通过结构约束、差异调制以及信息重建三种方式补充DoLP图像的信息，从而有效抑制异常值，同时保留极化特征明显的区域。我们还为LWIR极化图像融合构建了一个多维复合损失函数，从融合约束损失、结构约束损失以及极化损失三个层面共同约束融合过程。通过适当平衡多个层面的强度分配，该损失函数能够协同优化结构完整性的保持、像素特征的增强以及噪声伪影的抑制，有效解决传统方法中存在的多任务冲突问题。•我们设计了一种由特征差异引导的自适应融合模块（FDGAFM）。通过深入分析S0图像的热辐射分布特性以及DoLP图像的材料极化响应机制，我们提出了一种基于差异引导的动态权重分配机制。该策略能够在特征层面量化两种模态之间互补且可能存在冲突的信息，从而将融合过程从传统的像素级操作提升到材料属性识别层面。它在保持结构完整性和增强材料特征之间实现了最佳平衡。•我们引入了一种基于交叉注意力的语义增强融合模块（CASEFM）。为了解决DoLP图像中固有的高频极化噪声和结构伪影问题，我们设计了这种基于交叉注意力的语义增强融合模块。该机制能够在特征层面实现红外强度信息与极化信息之间的双向交互和动态调节。通过注意力权重的自适应性，它能够有效减轻由极化噪声、热波动以及非理想成像条件引起的异常响应，从而提高融合结果的鲁棒性和视觉真实性。

片段内容
基于传统方法的图像融合
传统方法主要依赖于人工设计的融合规则和数学模型。根据不同的信息表示方式，它们大致可分为空间域方法[6]、[7]、变换域方法[8]、稀疏表示方法[9]以及低秩表示方法[10]。空间域方法直接在像素层面对源图像进行加权或基于规则的融合，例如加权平均和区域选择。这些……

网络架构
所提出的网络架构如图3所示，主要由三个部分组成：特征提取、融合策略以及图像重建。我们采用了Swin Transformer[20]、[21]作为特征提取的主干网络。该网络首先将输入图像分割成固定大小的块，然后在局部窗口内进行多头自注意力计算，从而在保持建模能力的同时大幅降低计算复杂度。此外，……

实验设置
目前，公开可用的红外极化数据集较为有限，而且线性偏振的DoLP图像往往含有大量噪声。在本研究中，我们使用了公开可用的LDDRS数据集[23]以及自行构建的红外极化数据集来进行实验验证。LDDRS数据集包含了2113对道路环境中车辆的红外极化图像。而自行构建的数据集则包含了1266对来自不同场景的图像。

融合模块的有效性验证实验
我们重点研究了FDGAFM和CASEFM这两种核心策略，通过逐步移除这些模块来构建对比实验，从而定量分析它们对融合结果各自的贡献。为确保实验的公平性，所有参数设置和数据预处理流程在多次训练中都保持一致，仅移除模型中的特定模块。共比较了四种模型版本：完整模型（FDGAFM+CASEFM）、未加入FDGAFM的模型（w/o FDGAFM）、……

检测实验
为了进一步评估不同融合方法在下游感知任务中的有效性，我们在LDDRS数据集上采用了YOLOv11[40]作为统一的检测器。该实验的目的是判断不同的融合图像是否能为物体检测提供更具区分度和可靠性的信息。由于LDDRS数据集主要包含“汽车”和“道路”两类对象，因此我们进行了定性和定量分析。如图17所示，原始的S0图像和……

失效案例
尽管所提出的方法在LDDRS数据集上取得了不错的融合和检测性能，但仍然存在一些具有挑战性的案例。如图18所示，在极化响应较弱或DoLP图像噪声较大的情况下，极化模态所提供的区分信息就会变得不可靠。在这种情况下，虽然所提出的方法能够抑制大部分极化噪声并保留目标的主要结构，但某些局部细节可能仍无法得到充分增强。

结论
本文分析了长波红外极化成像所面临的诸多挑战，包括DoLP等极化参数图像中存在的显著噪声成分，以及融合结果中极化特征明显的区域容易被背景信息淹没或对比度下降的问题。为了解决这些问题，我们提出了一种基于特征差异引导和结构先验约束的长波红外极化融合方法。

CRediT作者贡献声明
段锦：写作——审阅与编辑，写作——初稿撰写，指导，资源提供，方法设计，资金获取。朱宗合：写作——审阅与编辑，写作——初稿撰写，可视化处理，验证，软件开发，方法设计，形式化分析。贾林峰：可视化处理，验证，资源提供，研究工作。胡奇：指导，项目管理，概念构思。荆文博：指导，形式化分析，概念构思。

利益冲突声明
作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢
本研究得到了国家自然科学基金项目的支持（项目编号：62127813）。
段锦 | 朱宗合 | 贾林峰 | 胡奇 | 荆文博