SEPAL-Fuse：红外-可见图像融合的语义保持对齐

《Neural Networks》：SEPAL-Fuse: Semantic-Preserving Alignment for Infrared–Visible Image Fusion

　　论文提出了SEPAL-Fuse：一种通过对比交互实现语义保持的IVIF方法。在patch级别通过注意力引导采样对齐任务语义与融合语义。解耦语义子空间与视觉子空间，将交互限制在语义子空间内。在MSRS、M3FD和RoadScene数据集上提升了视觉质量和下游任务性能。## 引言红外成像依赖于热辐射，能够在低光照、雾霾以及夜间等恶劣条件下稳定捕捉目标的轮廓和显著区域，但通常缺乏精细纹理细节。相比之下，可见光成像擅长描绘丰富的纹理和高分辨细节，却在昏暗光线下难以生成清晰图像。两种模态的互补特性为图像融合提供了坚实的理论基础。红外-可见图像融合（IVIF）旨在结合两种信息源，生成既保留红外图像热显著性又保持可见图像精细局部纹理的融合图像（Marpaung, Yao, Capmany, 2019, Wu, Tang, 2025, Yao, Pei, Zhang, Jiang, Zhou, 2026）。随着深度学习的快速发展，基于神经网络的融合方法取得了显著进展（Cui, Ren, Knoll, 2024, Wang, Cui, Li, Ruan, Zhu, Ren, 2024b）。早期研究主要关注感知质量的提升，如边缘锐度、纹理丰富度和强度分布。然而，近期研究表明，仅提升感知质量不足以增强下游视觉任务的语义级性能（Liu, Wu, Liu, Wang, Jiang, Ma, Zhong, Fan, Liu, 2025a, Tang, Yuan, Ma, 2022b, Yuan, Zhu, Chen, Zhou, Tang, Shu, Liu, 2026）。针对这一局限，研究人员探索了三类语义引导方法。第一类是基于损失的监督方法，从高级任务（如分割或检测）中注入训练信号，间接引导融合学习（Liu, Fan, Huang, Wu, Liu, Zhong, Luo, 2022, Tang, Deng, Ma, Huang, Ma, 2022a）。尽管结构简单，该方法往往无法使融合网络充分获取与任务相关的语义（Tang et al., 2023）。第二类是直接语义注入方法，将任务网络特征送入融合网络以获得更强引导（Liu, Liu, Wu, Ma, Liu, Zhong, Luo, Fan, 2023, Sun, Cao, Zhu, Hu, 2022）。然而，语义（任务）特征与视觉（融合）特征之间巨大的领域差距常常导致空间不对齐和分布不匹配，引发信息冲突，最终降低融合性能。第三类是知识蒸馏方法，通过教师-学生框架传递语义（Yang et al., 2025）。该方法虽在一定程度上缓解了领域差异，但其对齐通常发生在特征图级别，忽略了任务网络与融合网络之间细粒度的语义对应关系。此外，蒸馏引起的刚性模仿往往迫使学生的语义空间过拟合教师的分布，破坏其内在结构，降低其与视觉子空间的互补性——从而损害感知质量和下游任务性能。这些局限性表明，现有的交互方法要么过于薄弱，无法有效驱动融合网络学习高级语义；要么过于强烈，导致融合网络过拟合高级任务的语义空间，从而引发语义与视觉融合之间的不兼容。因此，设计一种更有效的语义一致性交互机制已成为当前IVIF研究的关键挑战。为应对上述挑战，我们提出了一种任务驱动的IVIF框架，其中对比学习作为任务网络与融合网络之间的核心交互机制。与先前的特征级交互设计不同，我们的框架在任务网络学到的高级语义表示与融合网络编码的低级语义之间建立细粒度的patch级对应关系。与主流蒸馏方法相比，所提出的对比交互施加了更温和且更灵活的语义一致性约束。此外，当与注意力感知的patch采样策略结合时，交互集中于少量与任务相关的区域。这不仅实现了有效的语义对齐，还更好地保留了融合网络固有的语义分布，从而提升其融合过程中与视觉表示的兼容性，最终生成感知质量更高、下游任务性能更强的融合图像。我们的方法与现有方法的比较概述见Fig. 1。具体而言，我们首先设计了一个解耦模块，将初始融合表示显式分解为视觉子空间和语义子空间。跨域交互被限制在语义子空间内，从而减轻语义对齐与视觉表示学习之间的相互干扰。在此基础上，我们进一步提出了由注意力感知采样驱动的patch级对比交互方案。对于每对红外-可见图像，我们计算任务网络中间层特征图的香农熵以获得基于熵的注意力图，并选择低熵位置进行对比对齐。由于较低的熵意味着注意力分布更加尖锐，这些采样位置更可能对应于对高级视觉任务最终预测至关重要的任务显著区域。以采样任务侧位置作为空间参考，取融合网络对应位置的语义patch作为锚点，任务侧同一位置的patch作为正样本，任务侧其他位置的patch作为负样本。在表示空间中，每个锚点向其正样本靠近，远离负样本，从而实现细粒度的跨域语义对齐。Figure 2展示了不同配置下的t-SNE可视化结果。在(a1)中，低级语义特征不被允许与高级语义特征交互。在此情况下，低级和高级语义特征的分布模式几乎完全不同。在(a2)中，低级语义特征的分布模式变得更接近高级语义特征的分布。然而，视觉-语义干扰仍导致整体结构相对混乱。在完整模型中，如(b1)-(b4)所示，SVD和对比交互贯穿整个训练过程，使特征分布逐渐呈现出更清晰的组织结构及更好的语义一致性。在(b4)的晚期训练阶段，低级语义特征的分布与高级语义特征的分布基本一致，同时仍保留了部分与(a1)中低级语义分布的结构相似性。具体而言，两者均表现出在右下角区域相对明显且狭窄的分布模式。这些观察结果表明，所提出的方法实现了语义一致性，同时适当地保留了融合网络的固有语义分布，从而提升了融合过程中语义与视觉的兼容性。## 本文主要贡献本文的主要贡献总结为以下四个方面：(1) 为实现融合过程中的细粒度语义引导，同时适度保留融合网络的固有语义，我们提出了一种基于对比学习的交互式融合框架，在任务网络的高级语义空间与融合网络的低级语义空间之间建立patch级对应关系。我们将该框架命名为语义保持的对齐（SEPAL-Fuse）...## 任务驱动的红外与可见图像融合方法红外和可见图像存在固有差异：前者强调热显著目标，后者包含更丰富的纹理和精细细节。融合这两种模态可生成既保留显著目标又保持精细纹理的高质量图像。传统IVIF方法严重依赖手工设计的多尺度变换和稀疏表示，对专家知识依赖性较强，且往往面临计算成本高和图像质量不稳定的问题...## 所提方法本节组织如下：4.1节概述整体架构；4.2节介绍语义-视觉解耦与融合模块；4.3节提出注意力引导的patch级对比对齐模块（APCA）；4.4节总结所使用的损失函数。## 数据集与评估指标**数据集。** 我们在三个公开的红外-可见基准数据集上开展实验。M3FD包含4,200对对齐的IR-VI图像对，采集于中国大连的三种场景，标注有六个类别：行人、汽车、公交车、摩托车、路灯和卡车。MSRS包含1,444对白天和夜间城市道路场景的配对图像，标注有行人和汽车。RoadScene包含221对对齐良好的IR-VI图像对，涵盖道路行驶场景（如道路、行人等）。## 结论我们提出了SEPAL-Fuse，一种旨在同时提升图像质量和下游任务性能的红外-可见图像融合框架。我们的方法基于两个关键组件：(i) 语义-视觉解耦模块及定制损失函数，该模块将表示显式分离为视觉子空间和语义子空间以减少相互干扰；(ii) 注意力引导的Patch级对比对齐，在融合网络与任务网络之间执行patch级交互...## CRediT作者贡献声明**李显帅：** 撰写——审阅与编辑，撰写——初稿，可视化，验证，软件，项目管理，方法论，调查，正式分析，数据管理，概念化。**梁书清：** 撰写——审阅与编辑，项目管理，正式分析。**张建：** 撰写——审阅与编辑，监督，资源，项目管理，资金获取。**赵荣昌：** 撰写——审阅与编辑，项目管理。## 利益冲突声明作者声明不存在任何已知的可能影响本文所报告工作的竞争性经济利益或个人关系。## 致谢本工作得到国家自然科学基金委员会资助（项目编号62472446和62272485），以及湖南省自然科学基金资助（项目编号2024JJ5445）。李显帅 | 梁书清 | 张建 | 赵荣昌