PEFusion：面向过曝光场景红外与可见光图像融合的光照先验与特征解耦方法

《Infrared Physics & Technology》：PEFusion: Illumination prior and feature decoupling for infrared and visible image fusion in overexposed scenes

　　

## 摘要

红外与可见光图像融合旨在将不同传感器获取的互补信息整合为单一图像。现有的融合方法在常规场景下已取得令人满意的性能，但夜间局部过曝仍然是红外与可见光图像融合中的一个重要退化问题。在过曝区域，高强度的可见光图案往往对应的是饱和光晕而非可靠的目标结构，这可能向融合过程引入误导性的视觉响应。因此，融合模型需要在退化区域评估模态可靠性，并优先保留稳定的红外目标结构。针对这一问题，我们提出了 PEFusion，一种基于光照先验和特征解耦的红外与可见光图像融合网络。首先，我们设计了一个光照先验模块（IPM），通过联合利用可见光光照分布和红外显著目标信息来生成光照先验软掩码。在该先验引导下，一种非对称特征重加权机制在浅层特征阶段抑制可见光过曝伪影并增强红外显著结构。此外，我们引入了一个边缘感知多头交叉注意力模块（MHCA）以及局部边缘感知前馈网络（LeFFN），以渐进式地实现红外显著结构解耦、有效可见光纹理补充和红外目标边界增强。我们还提出了一种掩码引导的过曝感知融合损失，对正常区域和过曝区域施加差异化约束。在 RoadScene、LLVIP、M3FD、TNO 和 MSRS 上的大量实验表明，PEFusion 能有效抑制光晕伪影、保留边缘结构并恢复关键目标信息。目标检测和语义分割实验进一步表明，生成的融合图像非常适合下游视觉任务。代码将在以下网址发布：https://github.com/Yiming-Yang/PEFusion

## 引言

红外与可见光图像融合是一种图像增强技术，它整合红外图像和可见光图像中的互补信息，生成一幅包含丰富场景纹理和显著目标结构的单一图像[1]。可见光图像包含丰富的纹理、边缘和场景细节，提供与人类视觉感知一致的空间信息；而红外图像则依赖目标热辐射，能够在低光照和复杂光照条件下保持相对稳定的目标响应[2]。针对两种模态的单模态处理，现有研究已开发了低光照图像增强[3]、红外小目标检测[4]和红外图像非均匀性校正[5]等技术。然而，单模态方法受限于单一传感器的成像机制和信息表征能力，图像质量也容易受到光照变化、噪声和复杂环境的影响。相比之下，红外与可见光图像融合利用两种模态在成像机制和信息表征上的互补性，来弥补单模态中的缺失信息，从而获得更完整、更稳定的场景表征。该融合技术已广泛应用于遥感、无人机、智能畜牧养殖和医学成像[6]、[7]等领域。

近年来，主流的红外与可见光图像融合方法通常采用卷积网络来提取局部纹理特征[8]，或利用自注意力和交叉注意力机制来建模长距离依赖并增强红外显著目标信息与可见光纹理细节之间的互补表征[9]。在此基础上，一些方法引入了光照、语义或文本先验来调节融合过程并提高对复杂场景的适应性。然而，在夜间局部过曝场景下，融合模型需要判断哪种模态能在退化区域提供更可靠、更有价值的信息[10]。现有的先验引导方法主要关注在不同光照条件下对整体融合风格的自适应调节[11]、[12]，或利用高层语义信息来减轻退化对视觉任务的影响[13]、[14]，而对局部退化区域内模态可靠性在空间位置上变化的显式建模仍显不足。因此，过曝可见光区域的无效高强度信息可能进入融合结果，削弱关键目标信息并降低视觉质量。

在夜间道路、城市监控和复杂交通场景中，车灯和路灯等强光源容易造成传感器饱和、光学散射和镜头眩光，从而导致可见光图像出现局部过曝。与低光照场景中亮度不足不同，局部过曝区域通常表现为大面积平滑亮区、光晕扩散和局部对比度降低。尽管这些区域的像素强度很高，但真实纹理、梯度和目标边界可能已经被扭曲甚至丢失。因此，明亮的可见光区域并不一定提供有效的结构信息；相反，过曝伪影可能引入误导性的强度线索并干扰融合过程[15]、[16]。相比之下，红外图像通常能在夜间场景中保留相对稳定的热目标轮廓和显著结构。换句话说，可见光图像在正常区域仍然提供丰富的纹理和背景细节，而在局部过曝区域，红外模态对于行人和车辆等关键目标往往更为可靠。因此，夜间局部过曝下的红外与可见光图像融合本质上要求在局部退化区域进行模态可靠性评估和关键结构保留。

为了解决上述问题，我们提出了一种基于光照先验和特征解耦的红外与可见光图像融合网络，称为 PEFusion。具体而言，我们首先设计了一个光照先验模块（IPM），它联合利用可见光图像中的光照分布和红外图像中的显著目标信息，生成光照先验软掩码。该掩码定位了可见光纹理受损而红外目标结构仍相对可靠的退化区域，从而实现对退化区域中模态可靠性的显式评估。然后，我们在浅层特征阶段引入了一种非对称特征重加权机制。在光照先验软掩码的引导下，该机制抑制可见光过曝伪影并增强红外显著结构，从浅层阶段就减少了退化区域对后续融合的影响。此外，在跨模态交互过程中，红外和可见光特征包含共享特征、冗余背景信息和模态特有的关键结构。直接融合仍可能将可见光高强度伪影与红外目标结构混合，导致关键结构保留不足。因此，我们设计了一个边缘感知多头交叉注意力模块（MHCA）。通过红外显著结构解耦和渐进式跨模态交互，MHCA 首先从红外模态中提取比对应可见光过曝区域更稳定的关键目标结构，然后从非退化的可见光区域补充有效纹理信息。一个局部边缘感知前馈网络（LeFFN）被嵌入 MHCA 中以增强融合特征中的局部边缘和高频结构。最后，我们提出了一种掩码引导的过曝感知融合损失。该损失在正常区域保持红外与可见光图像的柔和亮度平衡，引导融合结果在过曝区域与红外结构对齐，并通过梯度约束保留清晰的目标轮廓和边缘信息。

主要贡献总结如下：

1. 我们设计了一个光照先验模块和非对称特征重加权机制。通过联合利用可见光光照分布和红外显著目标信息，IPM 生成光照先验软掩码，以定位可见光信息退化而红外结构仍相对可靠的区域。光照先验随后对浅层红外和可见光特征进行差异化重加权，从而在浅层特征阶段抑制过曝伪影并增强红外显著结构。

2. 我们设计了一个边缘感知多头交叉注意力模块（MHCA）和一个局部边缘感知前馈网络（LeFFN）。通过三阶段渐进式跨模态交互，MHCA 依次执行红外显著结构解耦、有效可见光纹理补充和红外目标边界增强。LeFFN 进一步引入局部卷积归纳偏置，以增强边缘和高频结构表征，并减轻全局注意力交互对局部细节的平滑效应。

3. 我们提出了一种掩码引导的过曝感知融合损失，并在多个红外与可见光图像融合数据集上进行了定性、定量、消融和下游任务实验。实验结果表明，PEFusion 能有效抑制局部过曝干扰，同时保留正常区域中的关键目标结构和纹理，具有良好的跨场景适用性。

## 节选

### 多模态图像融合

红外与可见光图像融合旨在整合来自不同传感器的互补信息，生成同时包含可见光纹理细节和红外热目标结构的融合图像[17]。得益于成像机制和信息表征上的互补性，红外与可见光融合能够提高复杂环境下的场景感知能力，并逐渐应用于无人机遥感、目标感知和场景解析等实际任务中。

### 方法

夜间局部过曝导致模态可靠性在空间位置上发生变化，使得退化的可见光信息能够进入融合过程并干扰红外模态中的可靠目标结构。为了解决这个问题，我们提出了 PEFusion，一种基于光照先验和特征解耦的红外与可见光图像融合网络。PEFusion 显式估计局部模态可靠性，以引导互补信息的选择和交互，从而……

### 实验

为了验证 PEFusion 在夜间局部过曝场景下的有效性，我们从三个角度开展实验：融合图像质量、模块消融和下游视觉任务。实验并不简单地比较融合图像的整体亮度或纹理强度，而是关注退化区域中的模态可靠性评估和关键结构保留，评估不同方法能否抑制可见光……

### 结论

针对夜间局部过曝场景中可见光局部退化、红外目标结构相对可靠以及关键结构保留不足的问题，我们提出了 PEFusion，一种专为夜间局部过曝设计的红外与可见光图像融合网络。通过引入光照先验模块、非对称特征重加权、边缘感知跨模态交互模块以及掩码引导的过曝感知融合损失，PEFusion 显式评估模态……

## CRediT 作者贡献声明

穆慧宇：形式分析。杨一鸣：原稿撰写。李铁柱：调查研究。党兰雪：概念化。

## 利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

穆慧宇 | 杨一鸣 | 李铁柱 | 党兰雪
河南大学大数据分析与处理省重点实验室，河南开封 475004，中国