RACFusion：一种基于残差注意力和色彩增强的红外与可见光图像融合方法

《Pattern Recognition》：RACFusion: A residual attention and colorization enhancement approach for infrared and visible image fusion

　　

• •
  RACFusion利用残差注意力和彩色化技术融合红外与可见光图像。
• •
  彩色化模块在融合图像中保留真实的颜色和纹理。
• •
  密集残差注意力机制增强特征并突出目标。
• •
  结合强度损失和梯度损失进行训练，以平衡彩色化效果、细节保留与目标突出。

引言

由于光学限制，单一传感器无法跨多个光谱波段捕获互补信息，从而限制了其在复杂视觉任务中的能力。图像融合通过结合同一场景的图像生成更具信息量的表示，以支持后续的人类或机器感知与决策[1]。

近年来，红外与可见光图像融合成为图像融合领域的重要方面，得益于红外与可见光图像的协同特性。红外图像捕获目标的热辐射，对光照变化和恶劣天气具有鲁棒性，但分辨率较低且纹理细节有限；而可见光图像捕获反射光，分辨率高，但对烟雾和弱光照等环境条件敏感。通过整合其互补特性，融合图像既能保留目标热辐射，又能丰富背景纹理，从而提升视觉感知和场景理解能力。红外与可见光图像融合已广泛应用于目标检测、跟踪、人脸检测、安防等领域。

研究者提出了多种图像融合方法，包括基于多尺度分解的方法[2]、基于神经网络的方法[3]、基于稀疏表示的方法[4]、基于显著性的方法[5]、基于子空间的方法[6]以及混合模型方法[7]。多尺度方法通过基-细节分解保留背景和高频细节，具有良好的可解释性和细节保留能力，但依赖手工设计的尺度和融合规则，在复杂光照、噪声或配准不准的情况下可能导致细节丢失和伪影。稀疏表示方法利用过完备字典的稀疏系数重建融合图像，而基于显著性的方法利用人类视觉感知增强重要区域。子空间方法通过低维表示降低冗余并提供紧凑特征，但其依赖线性变换或全局统计，限制了对红外目标与可见光纹理之间非线性关系的建模，尤其在弱光和复杂场景下。混合方法结合多种策略以提升融合性能。

近年来，基于深度学习的方法凭借多层神经网络强大的非线性建模能力，在图像融合领域占据主导地位。代表性范式包括基于自编码器（AE）、卷积神经网络（CNN）和生成对抗网络（GAN）的方法。尽管其性能令人瞩目，但仍面临诸多挑战。例如，大多数现有的红外与可见光图像融合方法主要生成灰度结果，或者仅在可见光图像本身包含颜色信息时才保留颜色，虽然它们在一定程度上能保留红外目标和可见光纹理。当可见光输入为弱光或灰度图像时，融合结果往往缺乏自然的颜色表示，降低了道路、植被、建筑物和行人等区域的语义区分能力。对于涉及人工观察的任务，包括安防监控、夜间驾驶和目标搜索[8]，颜色信息有助于提升视觉舒适度和场景可读性，帮助观察者更高效地区分目标与背景，从而提高后续判断与决策的效率。因此，在保留红外热目标显著性的同时，向融合结果中引入合理的颜色信息具有重要的实际意义。

然而，将彩色化直接应用于红外与可见光图像融合并非简单的后处理问题。通用彩色化方法从灰度亮度图和语义先验生成视觉上自然的图像，而非保留红外热响应。直接对融合图像或红外图像进行彩色化可能会用可见光外观掩盖显著的红外目标，削弱其可辨识度。此外，弱光或退化的可见光图像通常包含噪声、模糊和结构缺失，直接彩色化容易导致颜色不稳定和伪彩色伪影。例如，Zhong等人[8]和He等人[9]生成的红外彩色化结果几乎无法与可见光图像区分，这对图像融合而言是不可取的。受这些局限性的启发，本文利用彩色化增强的可见光图像作为融合前的颜色与纹理先验，以补充红外热显著性。此外，引入红外显著性引导的门控机制，自适应地调节跨模态特征贡献，在保留红外目标响应的同时利用可见光外观线索。

为应对上述问题，本文提出RACFusion，一种集成残差注意力和彩色化增强的红外与可见光图像融合方法，能够生成具有自然颜色表示、红外目标显著性和可见光纹理细节的融合结果，如图1所示。RACFusion将彩色化增强作为融合前的可见光颜色-纹理先验，并通过红外分支和融合约束保留热目标响应，避免了简单后处理彩色化带来的显著性退化。RACFusion并非简单级联现有的增强、彩色化和融合模块，而是将彩色化增强、红外目标保留和可见光纹理保留统一在面向融合的协作框架内。

本文的主要贡献总结如下：

(1) 我们提出一种将彩色化增强引入红外与可见光图像融合的框架。与融合后彩色化或基于增强的融合方法不同，所提框架将彩色可见光图像作为融合前的颜色-纹理先验，实现颜色迁移和纹理增强，同时提升颜色自然度和视觉感知质量。

(2) 我们提出一种残差注意力融合机制，整合空间-通道注意力模块、梯度残差特征传播和跳跃连接，以增强边缘和纹理特征。我们进一步引入红外显著性引导的门控机制，自适应调节跨模态特征贡献，共同提升红外目标显著性和可见光纹理细节。

(3) 我们将逐像素最大强度损失和最大梯度损失纳入彩色化增强融合框架，以在强度和结构层面保留更强的模态响应。这些损失降低了因颜色先验导致红外显著目标被削弱，同时保持可见光纹理细节的风险。

本文其余部分组织如下。第2节回顾相关工作。第3节介绍所提融合框架。第4节详细说明实验设置并分析实验结果。第5节总结全文并讨论未来工作。

章节摘要

基于增强的图像融合方法

在过去十年中，研究者提出了大量基于图像增强的融合方法，通过增强弱光区域、恢复退化信息和强化局部纹理细节，提升融合图像的视觉质量和场景可解释性。

现有的图像增强方法可大致分为传统手工设计的先验方法和基于深度学习方法两类。传统方法主要包括直方图均衡化、基于Retinex的

整体框架

RACFusion的整体架构如图2所示，由两个阶段组成：可见光图像彩色化增强以及可见光与红外图像融合。给定红外图像$I_{\mathrm{ir}}$和可见光图像$I_{\mathrm{vis}}$，第一阶段对$I_{\mathrm{vis}}$进行增强和彩色化处理，获得彩色化增强的可见光图像$I_{\mathrm{vis}}^c$，为后续融合提供颜色和纹理先验。第二阶段将$I_{\mathrm{ir}}$和$I_{\mathrm{vis}}^c$分别输入红外分支和可见光分支。各分支

数据集

为验证RACFusion的性能，实验在四个公开基准数据集上进行：TNO [30]、LLVIP [31]、VIFB [32]和MSRS [13]。这些数据集涵盖多样化的红外与可见光融合场景，包括弱光监控、道路交通、行人、车辆、建筑物、自然场景和军事目标。

LLVIP是一个大规模的弱光可见光与红外对齐数据集，包含30,976张图像。我们使用其官方训练集中的12,025对图像进行

结论

为获得具有自然颜色表示、显著红外目标和可见光纹理细节的红外与可见光融合图像，本文提出RACFusion，该方法集成了残差注意力和彩色化增强。与融合后彩色化策略不同，RACFusion将彩色化增强的可见光图像作为融合前的颜色-纹理先验，并结合空间-通道注意力、梯度残差特征传播、红外显著性门控以及

CRediT作者贡献声明

Chenxuan Yang：写作—初稿、验证、软件、调查、形式化分析、概念构思。Yunan He：写作—初稿、可视化、软件、方法论、数据整理。Ce Sun：写作—审阅与编辑、验证、项目管理、形式化分析。Qun Hao：写作—审阅与编辑、资源、项目管理、资金获取。Jie Cao：写作—审阅与编辑、验证、监督、资源、项目管理、资金

利益冲突声明

作者没有利益冲突需要声明。

Chenxuan Yang|Yunan He|Ce Sun|Qun Hao|Jie Cao