CROWNFuse：利用边缘频率重新校准实现红外图像与可见光图像的跨模态记忆交互与融合

《Neurocomputing》：CROWNFuse: Recurrent cross-modal memory interaction with edge-frequency recalibration for infrared and visible image fusion

　　

摘要

红外与可见光图像融合旨在将热显著性信息与可见纹理结合，以实现更强的视觉感知能力。现有方法通常分别对空间交互、语义引导和频率增强进行建模，导致长距离跨模态交流与细节重新校准之间的耦合较弱。我们提出了CROWNFuse，这是一种具有边缘频率重新校准功能的循环跨模态记忆交互框架。基于RWKV的分层跨模态融合（RWKV-HCMF）模块通过双向循环空间混合和通道选择调制，实现了高效的长距离交互，而无需密集的成对令牌匹配。门控边缘频率重新校准（GEFR）模块将融合特征分解为小波子带，并通过边缘感知门控和跨子带交互来适应性重新校准低频结构和高频边缘。一个综合目标约束了强度、结构、边缘和语义的一致性。在TNO、RoadScene和M3FD数据集上的实验表明，CROWNFuse能够实现具有竞争力的融合质量，并为下游的对象检测和语义分割提供有效的融合表示。

引言

图像融合将来自多种模态的互补信息整合到一个统一的表示中。在各种融合任务中，红外与可见光图像融合（IVIF）受到了越来越多的关注，因为红外图像能够在光照退化条件下突出显示热目标，而可见光图像则提供了丰富的纹理、边界和场景外观。通过结合这些线索，IVIF可以改善视觉质量，并为下游的感知任务（如对象检测、语义分割和场景理解）提供有用的输入[1]、[2]、[3]、[4]、[5]。然而，实际场景往往包含复杂的照明条件、低对比度、背景杂乱以及结构边界不明显的问题。因此，理想的融合模型应在保持全局场景一致性的同时，保留热显著性和可见纹理。

随着深度学习的发展，IVIF方法已经从手工制定的融合规则演变为数据驱动的表示学习。基于CNN和图的方法通过大核卷积、图交互、自适应选择或细节-场景协调来增强局部特征提取[6]、[7]、[8]、[9]。最近的研究从几个互补的角度进一步展示了这一趋势：语义注入的双流学习和基于模型的协同优化可以提高任务感知能力[4]、[5]，隐式多分辨率查询聚合有助于结构保留[10]，自适应频率解耦可以细化多模态细节响应[11]，而扩散先验模型驱动的学习可以改善分布建模[12]。尽管取得了这些进展，但许多方法仍然将全局交互、细节增强和语义一致性视为弱连接的阶段。因此，核心挑战不仅在于如何提取更强的特征，还在于如何在一个统一的融合机制中结合长距离跨模态依赖性和频率感知的细节重新校准。

首先，长距离跨模态交互难以高效且选择性地进行建模。如图1所示，卷积操作主要受局部感受野的控制，这可能会削弱红外目标与可见结构之间的长距离关联。基于变换器、注意力机制和查询的融合架构通过令牌关联或跨模态强化来加强全局建模[10]、[13]、[14]、[15]，但密集的成对匹配会增加成本，并在杂乱场景中引入对噪声敏感的关联。最近的RWKV风格融合模型为全局感受野提供了高效的循环令牌混合[16]、[17]；然而，许多设计主要将RWKV或Mamba用作全局编码器或扫描主干。在这种设置中，互补模态通常在特征提取后才进行融合，而不是作为一种指导接收模态的显式组织形式。如何将红外-可见光交互表述为具有空间依赖性和通道选择性的循环记忆交换，目前仍然研究不足。

其次，频率感知的细节保留应该与跨模态交互协调，而不是作为一个独立的位置进行增强。融合图像应同时保留显著的红外响应、可见边缘、纹理和结构一致性。由于低频成分描述了全局照明和粗略结构，而高频成分包含边界和细微细节，如果均匀处理所有特征响应，可能会模糊边缘或放大无信息的纹理。语义和模型驱动的方法通过注入高级先验或优化约束来提高任务兼容性[4]、[5]，而空间-频率和扩散先验方法则模拟频域互补性或数据分布先验[11]、[12]、[18]。然而，这些设计仍未完全指定长距离跨模态交换后频率响应应如何重新校准。这导致相互作用后的低频结构和高频细节之间的协调不够充分。

基于这些观察，我们提出了CROWNFuse，这是一种具有边缘频率重新校准功能的循环跨模态记忆交互框架。CROWNFuse认为IVIF不应被视为独立的特征提取后跟随启发式增强，而应被视为循环跨模态记忆交换和边缘频率重新校准的耦合过程。RWKV-HCMF首先通过双向循环记忆注入来对齐长空间范围内的红外显著性与可见结构，然后应用通道选择性调制来细化互补的响应。GEFR随后将交互后的表示分解为小波子带，并在边缘感知门控和跨子带交互下重新校准低频结构和高频边缘细节。轻量级的多尺度残差块为这个空间-通道-频率过程提供了稳定的局部上下文。

因此，CROWNFuse的独特之处不在于单独使用RWKV或小波分析，而在于它们有序的结合：互补模态特征在空间-通道交互过程中作为循环记忆，从而产生的交互表示随后经过边缘感知的子带重新校准。

本工作的主要贡献总结如下：

• •
  我们将红外-可见光融合表述为一个耦合的空间-通道-频率过程，其中循环跨模态记忆交换和边缘频率重新校准是共同设计的，而不是作为独立的全局编码和细节增强阶段。
• •
  我们引入了双向循环跨模态记忆注入机制，每种模态都贡献WKV聚合的上下文记忆，通过解耦的空间依赖建模和通道选择门控来引导另一种模态。
• •
  我们设计了一种边缘频率重新校准机制，该机制将交互后的表示明确分解为小波子带，并在跨模态记忆交换后适应性协调低频结构和高频边缘细节。
• •
  我们通过定量比较、定性可视化、下游对象检测和语义分割以及对TNO、RoadScene和M3FD数据集的成分级消融实验来验证所提出的机制。

本文的其余部分组织如下。第2节回顾了红外和可见光图像融合的相关工作。第3节详细介绍了所提出的方法。第4节报告了实验设置、比较结果和消融研究。第5节总结了本文。

章节片段

红外与可见光图像融合

传统的图像融合方法依赖于显式的分解和手工制定的融合规则来整合互补特征。代表性的研究将源图像分为结构/细节组件、低秩/稀疏组件或频率子带，然后设计显著性增强、FPDE增强、NSCT增强或基于优化的规则来提高对比度、目标显著性和纹理保留[19]、[20]、[21]。这些方法通常具有明确的物理或信号处理动机，因为

整体流程

为了有效融合红外和可见光图像，我们提出了一个统一的框架，该框架整合了多尺度局部上下文、循环跨模态记忆交互和边缘频率重新校准。如图2所示，首先将红外和可见光输入映射到特定模态的浅层特征空间中。MDR模块通过并行膨胀卷积丰富局部细节和上下文响应，为后续交互提供稳定的局部先验。然后RWKV-HCMF

实验结果与分析

在第4.1节中，我们介绍了实验设置和评估协议。第4.2节在多个数据集上对我们的方法与现有方法进行了定量和定性比较，并进行了下游任务的性能验证。第4.3节对所提出的模块进行了消融研究。第4.4节在统一的评估协议下报告了模型复杂性和推理效率。

结论

在本文中，我们提出了CROWNFuse，这是一种具有边缘频率重新校准功能的循环跨模态记忆交互框架，用于红外和可见光图像融合。该方法围绕长距离模态交互和频率感知细节保留的耦合构建。RWKV-HCMF将红外-可见光交互表述为带有解耦的空间和通道混合的双向循环记忆注入，而GEFR则在明确的

CRediT作者贡献声明

张鹏晨：撰写 – 原稿撰写、方法论、形式分析、概念化。孙桂玲：撰写 – 审稿与编辑、资金获取。刘家伟：撰写 – 审稿与编辑、数据整理。刘世豪：撰写 – 审稿与编辑、可视化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文报告的工作。

致谢

本工作部分得到了天津市自然科学基金（24ZYCGYS00680）的支持，部分得到了天津市光电子传感器与传感器网络技术重点实验室的支持，以及国家自然科学基金重大研究计划（编号92473208）的支持。

张鹏晨于2022年获得天津南开大学的学士学位。他目前正在南开大学攻读电子科学与技术博士学位。他的研究兴趣包括人工智能算法、图像处理、自动驾驶和红外成像技术。

Pengchen Zhang|Guiling Sun|Jiawei Liu|Shihao Liu

天津南开大学电子信息与光学工程学院，中国天津300350