在恶劣天气条件下，考虑频率特性并基于文本信息的红外与可见光图像融合技术

《Neurocomputing》：Frequency-aware and text-guided infrared and visible image fusion in adverse weather conditions

　　• 提出了一种频率感知和文本引导的融合网络，用于在复合退化条件下进行红外和可见光图像融合。该网络在小波域中明确考虑了跨频率相互作用，增强了结构和纹理的互补性表示。渐进式的文本引导约束在复杂退化条件下提高了目标显著性、结构保持性和特征一致性。

引言
红外和可见光图像融合（IVIF）旨在将红外和可见光图像的互补特性整合到一个统一的表示中，以提高感知质量和场景信息的丰富性。红外图像能够捕捉物体发出的热辐射，在低照明和视觉退化条件下突出显示目标，而可见光图像则提供了丰富的纹理、结构细节和自然外观。通过有效结合这些互补特性，IVIF可以同时保留目标显著性和场景细节，从而提供比单一模态更全面的视觉信息。因此，IVIF已被广泛应用于智能监控、自动驾驶、夜间感知、安全监控等安全关键视觉任务中。除了改善视觉感知外，高质量的融合还有潜力为后续任务（如目标检测、目标跟踪、语义分割和场景理解）提供更有信息的表示。

在实际应用中，特别是在涉及复杂环境条件和灵活传感平台的情况下，IVIF的实用性尤为明显。例如，安装在无人机（UAV）上的RGB-T成像可以从灵活的空中视角提供互补的可见光和热成像信息，这对环境监测、目标识别和精细场景分析非常有益。最近的研究表明，双光谱UAV成像在下游感知任务中非常有效。Yi等人开发了一种交互式的RGB-T融合网络，用于分割双光谱UAV图像中的地表温泉液体，证明互补的热和可见光信息可以提高目标边界特征的分割可靠性[1]。Zhang等人进一步研究了红外-可见光UAV图像拼接，并表明跨模态的上下文交互可以在UAV成像的挑战性条件下改善图像配准和构图[2]。这些研究表明，双光谱成像不仅可以产生视觉上增强的表示，而且对于实际UAV应用中的鲁棒感知也非常重要。

然而，现实世界的成像环境通常受到多种退化因素的影响，包括雾霾、雨水、低照明、模糊和传感器噪声，这些因素会严重损害可见光模态并削弱两种模态之间的互补关系。这种退化对于下游视觉系统尤其成问题，因为它可能导致目标边界的丢失、纹理细节的抑制以及语义区域的模糊。尽管红外图像对光照变化相对具有较强的鲁棒性，但它们通常包含的结构信息有限，细粒度纹理细节也不足。因此，在复合退化条件下实现鲁棒的IVIF对于在恶劣环境中保持可靠的视觉感知非常重要，特别是在夜间监控、自动驾驶、UAV遥感和紧急侦察等应用中。

在过去的几十年中，人们投入了大量努力来改进IVIF的特征表示和跨模态信息整合。早期方法主要依赖于多尺度变换、稀疏表示和手工制作的融合规则，在相对简单的成像条件下保持结构信息和目标显著性[3]、[4]、[5]。然而，手工制作的特征表示在模拟异构模态之间的复杂非线性相关性方面存在固有限制，导致鲁棒性和泛化能力受限。随着深度学习的快速发展，卷积神经网络（CNN）通过端到端优化显著提高了局部特征提取和图像重建能力[6]、[7]。随后，基于Transformer的架构通过利用自注意力机制和长距离依赖性建模进一步增强了跨模态表示学习[8]、[9]。最近，文本引导的视觉-语言框架将文本先验引入图像融合中，实现了更有效的语义表示和跨模态交互[10]、[11]。除了这些主流架构外，还广泛探索了轻量级和多注意力优化的融合流程，以平衡推理速度和特征提取能力。Li等人设计了配备分层多注意力模块的MAFusion来捕获细粒度的跨模态互补特征[12]。Sun等人提出了适用于边缘侧部署场景的轻量级实时融合网络LightIVIF[13]。混合CNN-Transformer架构也引起了广泛的研究关注。Li等人构建了HTF混合Transformer，结合了局部卷积纹理建模和全局长距离依赖性捕获[14]。Guo等人开发了密集型混合Transformer DHFT，以加强多层跨模态特征聚合[15]。研究人员进一步探索了更深层次的特征建模策略，以挖掘潜在的跨模态相关性。Zheng等人提出了一种高阶交互学习范式SHIP，以打破传统一阶特征融合带来的性能瓶颈[16]。尽管取得了这些显著进展，但大多数现有方法都是为相对理想的成像条件设计的，在多种退化因素共存的情况下，它们的鲁棒性有限，其中严重的纹理退化、结构扭曲和语义歧义显著增加了多模态特征表示和信息融合的难度。

复合退化的存在引入了现有融合框架无法有效解决的额外挑战。尽管基于Transformer的网络（如Restormer[17]和SwinIR[18]在恢复退化视觉内容方面表现出色，且考虑退化的融合框架[19]进一步增强了鲁棒性，但两个根本限制仍然存在。第一个挑战在于未能充分利用异构模态之间的互补频率信息。在恶劣的环境条件下，可见光图像的高频成分容易受到退化噪声的污染，而低频成分则保持相对稳定的语义结构。现有方法通常侧重于空间域特征增强，而对低频语义信息与高频纹理细节之间的明确交互关注不足。最近的研究探索了频域和自适应特征建模，以提高融合的鲁棒性。频率感知架构（如FGFT[20]和DBFF[21]）明确区分不同频率成分以保留结构和纹理信息。AFFusion进一步结合了大气散射增强和傅里叶域空间通道注意力，以减轻照明退化和纹理丢失[22]。D2Fusion采用区分化的双分支特征提取和动态交叉注意力，然后进行基于潜力的扩散重建，以改善多模态特征整合和泛化[23]。尽管取得了这些进展，现有方法主要关注频率分解、光谱增强或自适应模态交互。低频结构表示与高频细节表示之间的明确双向交互，以及专门的跨模态共同/差异频率融合，仍然不够充分。

另一个关键挑战是在分层重建过程中保持语义约束。最近的文本引导融合方法表明，语言信息可以为图像融合提供有用的语义先验。例如，TextFuse引入了从源图像和任务要求生成的文本描述来指导融合过程，提高下游任务性能[24]。OmniFuse进一步将语言驱动的语义融入到复合退化鲁棒融合中，证明了语言引导对灵活语义控制的价值[25]。这些研究证实了文本先验对于语义感知图像融合的有效性。然而，在多尺度重建过程中持续保持语义引导仍然具有挑战性，特别是当分辨率逐渐提高且需要恢复细粒度结构细节时。因此，一种能够从粗略表示连续传播语义约束到高分辨率细节的重建机制对于恶劣天气下的IVIF仍然具有吸引力。

一些先前的工作试图从单阶段表示和权重调整的角度优化语义特征融合。Chen设计了具有渐进式多层表示学习的PFNet来提高分层特征融合质量[26]。Zhang提出了AFW自适应加权融合策略，以动态平衡语义和纹理特征的贡献[27]。

为了克服上述挑战，我们提出了一种频率感知和文本引导的融合网络（FTFNet），用于在复合退化条件下进行红外和可见光图像融合。其核心思想是在融合流程的不同阶段共同建模频率互补性和语义一致性。具体来说，开发了一种频率感知的跨模态表示学习策略，在小波域中建立低频结构信息与高频纹理信息之间的明确双向交互。另外引入了一个自适应的互补频率融合模块，在傅里叶域中选择性地增强共享和模态特定的信息。在这些频率感知表示的基础上，采用文本引导的重建策略，在解码过程中逐步传播语义先验，从而在重建分辨率提高时保持目标感知的结构和细粒度细节。

本文的主要贡献如下：
- 提出了一种端到端的FTFNet，用于在复合退化条件下进行红外和可见光图像融合。该框架在一个统一的协作架构中共同建模了频率感知表示学习和文本引导重建，从而在复杂的成像环境中提高了融合的鲁棒性。
- 开发了一种频率感知的跨模态表示学习策略，在小波域中明确建立低频结构信息与高频纹理信息之间的双向交互。进一步引入了一个互补的傅里叶域融合模块，以自适应地建模红外和可见光模态之间的共享和模态特定光谱信息。
- 提出了一种渐进式的文本引导重建策略，将文本先验连续注入多尺度特征解码中。该策略有效增强了语义一致性、结构完整性和细粒度纹理重建，在复合退化条件下获得了更可靠的融合性能。

**部分摘录**
红外和可见光图像融合（IVIF）旨在将红外图像中的互补热辐射信息与可见光图像中的丰富纹理和结构细节结合，生成更具信息量和区分度的融合表示。现有方法可以大致分为基于传统模型的方法、基于卷积神经网络的方法和基于Transformer的框架。
早期方法依赖于手工制作的变换，如拉普拉斯金字塔分解、小波变换。

**整体网络架构**
图1展示了所提出的FTFNet的整体框架。该网络主要由两个部分组成，即频率感知的跨模态表示学习和文本引导的融合重建。

FTFNet的设计受到了关于复合退化下IVIF的三个观察结果的启发。首先，恶劣天气条件主要通过抑制局部对比度、破坏纹理和引入与退化相关的高频成分来干扰可见光模态。

**实验设置**
实验使用PyTorch深度学习框架在Ubuntu操作系统上实施。所有实现都是使用Python 3.10.19和PyCharm集成开发环境开发的。实验环境配备了NVIDIA RTX 3090 GPU（24 GB内存）、Intel(R) Core(TM) i9-10900X CPU和128 GB的系统内存。软件栈包括PyTorch 2.4.1和CUDA 12.1，用于GPU加速，确保了高效的训练。

**讨论**
FTFNet针对一个实际但未被充分探索的场景，即在恶劣天气条件下的红外和可见光图像融合。实验结果支持了所提出的两种机制的有效性，并揭示了它们之间的互补性。
在通用基准数据集（MSRS、RoadScene和TNO）上，FTFNet在EN、VIFF和Qabf分数上获得了与ControlFusion相比具有竞争力或更优的成绩，反映出在清晰成像条件下更强的信息内容和结构保真度。

**结论**
本研究提出了FTFNet，用于在恶劣天气条件下的红外和可见光图像融合。现有方法中的两个持续存在的问题激发了该设计。首先，频率成分通常单独处理，没有明确的跨频段交互。其次，文本引导仅在单个编码阶段应用，而不是在整个重建过程中应用。为了解决这两个挑战，FTFNet引入了一个频率感知的跨模态表示学习阶段。

**CRediT作者贡献声明**
Jinzheng Lu：验证、软件、方法论、资金获取、概念化。
Qinglong Cai：撰写——原始草案、验证、软件。
Xinting Zhou：撰写——审阅与编辑。
Xianhao Shen：撰写——审阅与编辑。

**利益冲突声明**
作者声明他们没有已知的可能影响本文报告工作的竞争性财务利益或个人关系。

**致谢**
本工作得到了国家自然科学基金（项目编号62362017）和西藏自治区科技项目（项目编号XZ202501YD0008）的支持。
Jinzheng Lu获得了曲阜师范大学的学士学位、成都工艺大学的硕士学位以及2012年与中国科学院联合培养的电子科技大学博士学位。他目前是西南科技大学的副教授。他的研究兴趣包括小目标检测、图像处理和嵌入式应用、工业机器视觉等。

**作者信息**
Jinzheng Lu | Qinglong Cai | Xinting Zhou | Xianhao Shen