RAWFusion：一种基于区域感知的红外与可见光图像融合方法

《Infrared Physics & Technology》：RAWFusion: A region-aware fusion method for infrared and visible images

　　

摘要

红外图像与可见光图像的融合是多模态图像融合领域的研究热点。然而，现有的融合方法大多侧重于全局信息的整合，而忽视了对局部区域，尤其是突出目标和关键结构的精细建模。这导致融合图像在重要区域的表达能力有限。为解决这些问题，本文提出了一种基于区域感知的红外与可见光图像融合方法。该方法引入了区域感知的前景-背景分解模块，该模块利用预训练模型对源图像中的前景和背景进行分离建模，从而得到具有不同区域语义的特征表示。在此基础上，区域感知调制模块会根据红外图像与可见光图像在前景目标表征和背景结构描述方面的差异，对不同区域的特征进行自适应调制。最后，区域感知融合模块将经过调制的多源区域特征整合在一起，生成能够在保持目标显著性的同时确保整体视觉一致性的高质量融合图像。大量实验结果表明，所提出的方法在主观视觉质量以及多项客观评估指标上均优于现有的多种先进图像融合方法。我们的代码可在https://github.com/tianzhiya/RAWFusion处获取。

引言

由于成像场景的复杂性，单个传感器捕获的图像往往难以完整呈现场景内容[1]、[2]。因此，使用多种类型的传感器来全面描述当前场景已成为一种常见解决方案[3]、[4]。红外图像对光照变化不敏感，能够突出显示场景中的重要热目标[5]，而可见光图像则包含丰富的纹理细节和结构信息[6]。图像融合通过有效结合两种模态的信息[7]、[8]，不仅能提升人类的视觉感知质量，还能为物体检测[11]、跟踪[12]以及场景理解[13]等高级视觉任务提供更可靠的输入数据。

近年来，研究人员提出了许多用于融合红外图像与可见光图像的方法，这些方法既包括传统的信号处理算法[14]、[15]，也包括基于深度学习的融合模型[16]、[17]。例如，苏等人[18]提出了一种多分支异构图像融合框架，通过多分支异构编码模块和差分卷积增强模块实现全局特征与局部特征的联合提取。在另一项研究中，孙等人[19]则将Mamba模型与生成对抗网络相结合，通过并行视觉Mamba模块实现多尺度特征建模。此外，在恶劣天气条件下进行红外与可见光图像的融合也逐渐成为研究热点。李等人[20]建立了全天气场景融合框架以及大规模基准数据集。刘等人[21]则通过统一模型实现了图像融合与复杂天气条件的恢复。李等人[22]则利用全局与局部文本感知机制提升了恶劣天气场景下的跨模态信息融合效果。然而，现有的方法大多侧重于全局层面的特征建模与信息整合，通常采用统一的融合策略处理整个图像，而忽视了不同空间区域在语义重要性和成像特性上的显著差异。尤其是在复杂场景中，突出的前景物体与背景区域在信息表征需求上存在本质差异。如果没有针对性的建模，融合结果可能会出现目标对比度不足、关键结构模糊，或是冗余背景信息保留过多的问题，进而限制融合图像在关键区域的表达能力。图1表明，尽管采用了各种先进的融合方法，但在复杂场景中生成的融合图像仍然存在对比度不足、关键结构模糊等问题，尤其是在描述突出前景物体和背景区域时更为明显。

为解决这些问题，本文提出了一种基于区域感知的红外与可见光图像融合方法。该方法利用预训练模型自动对源图像中的前景与背景区域进行分割，从而获得具有明确语义引导的区域掩码。考虑到这两种模态在表现前景目标与描述背景结构方面的差异，该方法设计了不同的区域调制策略，以有效强化突出目标的信息，同时抑制冗余的背景干扰。最终，经过调制的多源区域特征通过区域感知模态融合模块进行自适应整合，从而生成能够在保持目标显著性的同时确保整体视觉一致性的融合图像。具体内容如下。

• 1.
  我们提出了一种区域掩码生成策略，该策略利用预训练模型自动区分前景与背景，无需人工标注，从而为基于区域感知的红外与可见光图像融合提供有效的空间先验知识。
• 2.
  利用红外图像与可见光图像在前景目标表征和背景结构描述方面的互补特性，设计了不同的区域调制策略。在前景区域，重点强化红外模态的显著性以及目标的辨识度；而在背景区域，则完整保留可见光模态的纹理与结构信息，同时抑制冗余的噪声干扰。
• 3.
  本文还提出了一种区域感知模态融合模块，该模块能够对经过调制的多模态区域特征进行自适应加权与协同融合，从而在确保目标清晰突出的同时，实现自然的视觉过渡以及整体外观的全局一致性。

章节节选

相关工作

关于红外图像与可见光图像融合的研究主要集中在基于卷积神经网络的融合方法上。不过，传统方法中的滤波器分解[24]、字典学习[25]以及稀疏表示[26]等概念，也为现有融合网络的设计提供了重要借鉴。与此同时，那些利用源图像的上下文语义信息的语义驱动型融合方法也逐渐兴起，成为研究方向之一

方法

本章首先介绍了基于区域感知的红外与可见光图像融合方法的整体框架与设计理念，随后详细阐述了区域感知的前景-背景分解模块、区域感知调制模块以及区域感知融合模块的功能。最后，还介绍了该方法的整体损失函数设计及其所起的作用。

实验

我们的RAWFusion方法是在MSRS数据集上训练的，并在MSRS[23]、M3FD[11]以及UMS数据集上进行了测试。MSRS数据集包含1083对红外图像与可见光图像，涵盖了白天和夜间的场景，分辨率为480×640。M3FD数据集则包含4200对配对的红外图像与可见光图像，涉及城市道路和自然环境等多种场景。为验证RAWFusion的性能，我们将其与九种主流的图像融合方法进行了比较：FPDE[45]，

结论

鉴于红外图像与可见光图像在成像机制和信息表征方面存在显著差异，我们提出了一种基于频域幅度调制与区域感知学习的红外与可见光图像融合方法。

本文提出了一种基于区域感知的红外与可见光图像融合方法。该方法通过明确区分前景与背景区域，并针对每个区域应用不同的特征处理策略，从而

CRediT作者贡献声明

肖泉泉：论文撰写——初稿编写、可视化、验证、方法设计、概念构思。刘竹芝：可视化、监督、概念构思。李荣：可视化、验证、资源协调、项目管理、形式化分析。韩瑞东：论文撰写——审阅与编辑、可视化、研究调查、资金获取、形式化分析。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知利益冲突或个人关系。

致谢

本研究得到了贵州省基础研究计划（自然科学类）（项目编号：黔科合基本青年-[2025]314）、山西省科学基金会（项目编号：202403021221206）、中国山西省留学人员奖励基金会（项目编号：2025-202）以及国家社会科学基金（项目编号：23&ZD204）的支持。

肖泉泉|刘竹芝|李荣|韩瑞东

中国贵州省贵阳市花溪区党武镇四雅路，贵州民族大学，邮编550025