HyTraFuse：一种融合全局语义与局部细节的混合图像融合框架

《Infrared Physics & Technology》：HyTraFuse: A hybrid image fusion framework integrating global semantics with local details

　　

摘要

图像融合旨在将同一场景的两张图像合并成一张高质量的图像，同时保留热辐射信息和丰富的纹理细节。现有方法主要基于卷积神经网络（CNN）或Transformer。虽然CNN在建模局部特征方面效果显著，但在处理长距离依赖关系时存在不足，而Transformer虽然具备全局建模能力，但计算复杂度较高。为了解决这一权衡问题，本文提出了一种新型的混合图像融合框架HyTraFuse。该框架通过分层特征聚合有效融合了全局语义和局部细节。HyTraFuse采用轻量级的自上而下特征聚合路径，分层融合多级特征表示，从而在语义一致性和细节完整性之间取得平衡。在编码阶段，使用CNN-Transformer混合编码器共同建模局部结构和全局上下文。此外，引入了基于语义的聚焦注意力（SGFA）机制，在降低计算复杂度的同时增强关键细节的表示。为了实现无监督训练，通过整合梯度保持损失、强度保持损失和基于语义的保真度损失，构建了复合损失函数来共同约束融合结果。在多个公开数据集上的实验结果表明，HyTra Fuse在纹理细节保留和整体融合质量方面表现优异。

引言

随着多模态感知技术的进步，可见光和红外图像融合（VIIF）已成为在复杂环境中增强目标感知的关键技术，并已广泛应用于安全监控[1]、[2]、[3]和遥感侦察[4]、[5]、[6]等领域。可见光图像包含丰富的纹理细节和高空间分辨率，而红外图像能够在低照明、雾或遮挡条件下捕捉热辐射信息，突出目标轮廓[7]、[8]、[9]。然而，单一模态图像无法完全表示场景语义，因此迫切需要融合方法来在增强目标显著性的同时保留细节，这对高质量的VIIF提出了明确的技术挑战[10]。

尽管先前的研究已经证明了VIIF在多模态感知中的重要性，但实现高质量融合仍面临三个核心挑战。首先，局部细节和全局语义的协同建模仍然不足[11]、[12]。现有方法难以在统一框架内平衡这两个方面，导致融合 output 中的对象边界模糊或背景纹理失真。其次，注意力机制的效率和聚焦能力有限[13]、[14]。尽管主流的全局自注意力能够捕捉长距离依赖关系，但计算成本较高，并且在关键区域缺乏动态聚焦，使得在资源受限的情况下难以实现高效融合。第三，现有损失函数对不同空间区域施加统一约束[15]、[16]，没有根据语义显著性区分保真度要求。这种约束削弱了对显著目标的响应，同时保留了冗余的背景信息，从而限制了复杂场景中的融合质量。

针对上述三个挑战，现有VIIF方法在架构设计和优化机制方面仍存在局限性。在局部细节和全局语义的协同建模方面，基于CNN的方法（如DenseFuse[17]）可以提取局部纹理，但受到有限感受野的限制，难以建模全局语义相关性，这通常会导致复杂场景中语义不对齐或红外目标边界模糊。尽管随后引入的Transformer架构能够捕捉全局上下文，但其自注意力机制在高分辨率图像上计算成本过高，难以在融合准确性和实际效率之间取得平衡[18]、[19]、[20]。后续的CNN-Transformer混合方法试图结合两者的优势，但大多数方法依赖于简单的堆叠或并行结构，缺乏对多尺度特征之间语义相关性的细粒度指导，因此其协同建模能力仍然有限[21]、[22]。在注意力效率和聚焦能力方面，现有方法通常采用全局或粗粒度注意力策略，对整个特征图进行无差别计算，导致大量计算资源浪费在冗余的背景区域[23]。尽管Mei等人[24]提出了一个组注意力模块，但其注意力机制仍对所有区域不加区分地分配权重，无法根据图像内容动态聚焦于最具区分性的空间区域和特征通道，从而难以在效率和细节保留之间实现理想平衡。在无监督损失函数的适应性方面，Zhang等人[25]提出了一个基于感知损失的卷积框架，但其损失函数对所有空间位置施加统一约束，无法根据语义显著性区分对待不同区域，导致在涉及红外目标遮挡或复杂可见光纹理的场景中模型泛化能力下降。

为了解决这些问题，本文提出了一种新型高效的可见光和红外图像融合框架HyTraFuse，该框架从网络架构、注意力机制和优化目标三个方面进行了系统设计，以克服现有方法的结构性局限。本文的主要贡献如下：

(1) 提出了一种非对称的CNN-Transformer编码器，采用自上而下的分层特征聚合路径，在统一框架中捕获局部纹理细节和全局语义表示，为高质量的多模态融合提供了架构基础。

(2) 引入了一种基于语义的聚焦注意力（SGFA）模块。该模块采用两阶段动态聚焦策略，包括区域选择和像素级分配，降低了计算复杂度，同时增强了语义区域的细节保留能力。

本文的其余部分安排如下：第2节回顾了当前基于深度学习的多模态图像融合方法。第3节详细描述了提出的HyTraFuse框架，包括整体架构、关键组件和损失函数。第4节在四个融合数据集上进行了定性和定量实验，并将HyTraFuse与现有的最先进方法进行了比较。第5节提出了讨论和结论。

章节片段

相关工作

本节回顾了最新的基于深度学习的图像融合方法，并将其分为三类：端到端训练（第2.1节）、基于Transformer的框架（第2.2节）和平行分支架构（第2.3节），分析了每类的子目标、局限性和研究空白，为后续创新方法的设计提供了理论基础。

基于语义的融合框架

为了解决局部细节丢失、全局语义建模的计算成本高以及在多模态图像融合中难以聚焦于关键信息的问题，本节提出了HyTraFuse融合网络，其架构如图1所示。该网络采用逐步建模策略，从局部到全局、从粗略到精细的表示进行演化。首先，使用卷积局部特征编码器（LFE）提取细粒度结构

有效性和性能评估

本文证明了HyTraFuse能够在多样化和具有挑战性的场景中实现稳健且高质量的跨模态图像融合。第4.1节介绍了实验设置、数据集和评估指标，为后续实验提供了基准。第4.2节从定性和定量角度比较了HyTraFuse与现有主流方法在多个公开基准数据集上的融合性能

结论

为了解决局部细节丢失、全局语义建模不足以及在红外和可见光图像融合中关键区域关注不足的问题，本文提出了一种名为HyTraFuse的混合特征和语义引导的图像融合方法。所提出的方法通过局部和全局特征编码器的协同建模，在细粒度细节表示和全局一致性之间取得了平衡。同时，引入了基于语义的聚焦注意力机制

CRediT作者贡献声明

Cai Xingying：撰写 – 原始草稿、可视化、验证、软件、方法论、概念化。Yao Biyuan：撰写 – 审查与编辑、验证、监督、资金获取。Li Caimao：撰写 – 审查与编辑、监督、项目管理、资金获取。Chen Shaofan：项目管理。Li Zeyi：研究、形式分析。Zhang Xin：研究、形式分析。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响到本文报告的工作。

致谢

本工作得到了中国国家自然科学基金（资助编号：62566020）、海南省自然科学基金（资助编号：625QN269）和海南大学项目（资助编号：XJ2500001761）的支持。

海南大学计算机科学与技术学院，海口570100，中国