基于视觉提示的红外与可见光图像融合技术

《Infrared Physics & Technology》：Infrared and visible image fusion via vision-prompt mutual benefit

　　摘要：像CLIP这样的大型预训练视觉语言模型推动了图像融合技术的发展。在CLIP模型的支持下，文本引导融合方法能够利用文本描述提供灵活的语义信息，从而提升图像融合的性能。然而，现有的文本驱动融合方法主要依赖于人工指定的上下文词来突出融合图像的目标，这在满足多种主观和客观需求方面缺乏灵活性。为了解决这一难题，我们提出了一种基于自适应提示引导的新型图像融合框架——AppFusion。该框架创新地将人工指定的文本描述扩展为自适应提示增强策略，以提升面向任务的融合性能。具体而言，融合相关的提示会在融合约束下自适应生成，良好的融合结果会促使高质量提示的生成，反之亦然。此外，还采用了偏差残差引导机制，在提示的自适应引导下增强语义特征。同时，设计了一种语义引导的融合特征增强模型，利用增强的语义特征来提升融合特征，实现精准且具备语义感知的融合。实验结果表明，所提出的AppFusion框架在视觉和定量性能上均优于现有最先进的方法。

引言：红外图像与可见光图像的融合在图像融合领域具有重要意义。红外传感器能够捕捉目标的热辐射能量，但红外图像缺乏场景目标的结构纹理信息；而可见光图像虽然能够清晰呈现场景目标的结构信息，但其成像效果会受到环境条件的限制。红外与可见光图像融合技术可以通过整合红外图像的热辐射信息与可见光图像的光谱信息，从而实现对周围环境的更全面感知或识别，进而提升系统的感知能力。目前，该技术已广泛应用于自动驾驶、军事监控以及遥感勘测等领域。深度学习在红外与可见光图像融合领域展现了出色的性能，人们开发了众多方法来提升特征提取能力，进而改善融合效果。例如，Li首次采用了密集连接卷积结构来实现纹理结构信息与热辐射信息的整合；TSFusion则利用师徒学习机制，在保证高融合质量的同时实现高效计算；DSSFusion旨在复杂退化条件下保持语义与结构的一致性。Zhang运用OOPF将特征提取与融合简化为统一的一流处理流程，有助于源图像之间的特征交互。基于Transformer的模型能够处理多模态信息，逐渐成为红外与可见光图像融合领域备受关注的研究方向。比如，SwinEIF在Swin Transformer架构中整合了显式与隐式融合技术，用于特征提取与自适应特征融合；SwinFuse则采用纯Transformer网络进行全局特征提取，具有更强的表征能力。红外与可见光图像融合的重要价值在于其在下游视觉任务中的应用。然而，以往的融合框架并未将下游高级视觉任务纳入融合网络，导致其在下游语义感知任务中的适应性不足。下游任务驱动的融合方法可以通过将融合任务与语义分割、物体检测等下游任务联合训练，从而丰富语义信息。典型的方法包括TarDAL、IRFS、SeAFusion等。在TarDAL和IRFS中，融合网络受到特定于物体检测的损失函数约束，从而生成高质量的融合结果。Tang和Liu则试图将高级任务的语义表示注入融合网络，通过任务间的交互提升融合性能。近年来，像CLIP这样的大型预训练视觉语言模型的发展进一步推动了图像融合技术的进步。在CLIP模型的支持下，文本语义引导方法能够利用文本描述提供灵活的语义指导，助力图像融合。Text-IF利用语义文本引导的图像融合模型，实现具备退化感知能力的交互式图像融合任务；Ma提出了Text-DiFuse，用于自适应去除退化效应并实现多模态信息融合。在该方法中，设计了文本控制的融合重调策略，允许用户根据需求定制文本描述，为提升图像融合性能提供灵活的语义指导。TSPFusion提出了一种文本引导的语义感知方法，通过标注过的下游分割任务生成物体级文本提示。CLIPFusion则利用图像-文本大型模型学习提示作为标签，再利用生成的融合图像对提示进行微调。TMCN引入了Mamba-CNN双编码器网络，充分利用Mamba与CNN的特征提取能力，同时引入文本语义信息，为解决纹理细节弱、对比度低、视觉感知差等问题提供针对性解决方案。总体而言，文本引导的融合方法能够以文本描述的方式灵活控制融合过程。因此，文本输入对融合性能起着关键作用。不过，现有的文本引导融合方法通常依赖人工编写的文本描述来丰富语义表示，这不仅耗时较长，而且在满足多种主观和客观需求方面缺乏灵活性。此外，现实世界的图像融合任务十分复杂且具有明确的任务导向性，不同场景对融合结果的要求各异，需要关注的信息也不尽相同。通常情况下，用户需要随着场景变化调整文本输入，而文字表述的细微改动都可能对融合性能产生巨大影响，这就增加了人工设计文本的难度。如图1所示，文本引导的融合方法在处理复杂场景时会在一定程度上丢失纹理和对比度信息。为了解决这些难题，我们提出了一种基于自适应提示引导的新型图像融合方法——AppFusion。该框架创新地将人工指定的文本描述扩展为自适应提示引导策略，从而提升融合性能。具体而言，融合相关的提示会在融合约束下自适应生成，良好的融合结果会促使高质量提示的生成，反之亦然。随后，通过设计偏差残差引导机制，在自适应提示的引导下增强语义特征。这样一来，无需使用预先指定的文本重新训练网络，即可根据融合指令动态微调提示，从而使该方法更具灵活性和鲁棒性，能够更好地应对不同场景下的融合需求。这一方法为当前融合研究中所面临的“无标签条件下缺乏强大语义引导”这一问题提供了新的解决方案。此外，我们还设计了语义引导的融合特征增强模型，利用BRG输出的增强语义特征来进一步提升最终的融合特征，实现精准且具备语义感知的融合。该模型通过跨模态注意力机制增强语义特征，并实现融合特征的整合，从而提升融合精度与语义理解能力。图2展示了我们的方法与现有文本引导融合方法之间的差异。我们的工作贡献可总结为以下几点：（1）我们提出了AppFusion，这是一种基于自适应提示引导的新型图像融合方法，它将人工指定的文本描述扩展为自适应提示引导的融合策略，从而减少对人工文本描述的依赖，提升不同场景下融合任务的适应性及鲁棒性。（2）我们设计了偏差残差引导机制，用于在提示自适应引导下增强语义特征，这些特征是根据融合任务指令自动生成的。此外，我们还设计了语义引导的融合特征增强模型，通过将增强的语义特征融入融合处理流程，进一步提升融合效果。（3）定性与定量实验表明，与其它方法相比，我们的方法取得了最先进的性能表现。

深度学习驱动的融合方法：深度学习已成为红外与可见光图像融合领域的常用方法，且表现极为出色。人们开发了众多基于CNN的方法，旨在提升特征提取能力，进而改善融合效果。DenseFusion采用密集连接卷积结构，实现纹理结构信息与热辐射信息的整合；Li进一步设计了RFN-Nest，以避免信息损失，并利用语义功能...

概述：与现有的文本引导图像融合方法不同，我们为红外与可见光图像融合提出了自适应提示引导机制。无需手动设计文本描述，我们的提示词是通过训练方式用可学习向量来建模的。这种新范式使得单个融合网络无需重新训练即可动态生成提示引导，从而在各种融合场景下保持良好的适应性与鲁棒性。图3展示了所提出的AppFusion方法的整体架构...

设置：该网络在PyTorch框架上实现，使用NVIDIA GeForce RTX 4090 GPU进行运算。批量大小设置为4，初始学习率设定为2e?5，最小学习率为1e?6，采用Adam优化器。参数γ设为0.9，β设为0.999。学习率调度策略采用余弦退火法，训练开始时会有3个周期的线性预热阶段，该过程由Grad Warmup Scheduler控制。所有输入图像都会被裁剪为224 × 224的固定尺寸...

结论：本文不同于传统文本引导融合方法中依靠人工经验设计文本描述来作为语义先验的做法，我们提出了一种通过自适应提示生成实现的自动提示引导融合框架，命名为APPFusion。具体而言，自适应提示会在融合约束下自动生成，可根据融合指令动态微调，无需使用预先指定的文本重新训练网络。同时，我们还设计了偏差残差引导机制...

作者贡献声明：Hao Liu负责原文撰写与方法部分内容；Kehao Ma负责可视化展示与结果验证；Hengshuai Cui也负责可视化展示与结果验证；Fan Zhao负责文章审阅与编辑以及方法部分内容；Wei Chen同样负责文章审阅与编辑。

利益冲突声明：作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。

Hao Liu | Kehao Ma | Hengshuai Cui | Fan Zhao | Wei Chen
中国上海交通大学集成电路学院