用于图像融合的多尺度注意力门控循环单元网络

《Pattern Recognition》：Multi-scale attention-gated recurrent unit network for image fusion

　　

• •
  MA-GRUNet 通过多尺度交互来保留目标与空间细节。
• •
  多阶段损失通过像素、梯度和结构项来最小化失真。
• •
  评估表明其在结构完整性和视觉保真度方面达到了最先进（SOTA）的性能。

引言

图像融合旨在通过整合多幅源图像中的互补信息来生成一幅高质量的融合图像。在众多融合任务中，红外（IR）与可见光（VIS）图像融合（IVF）因其能够提供更全面的场景表征并克服单模态成像固有的局限性而受到广泛关注。

现有的红外-可见光图像融合方法大致可分为两类：传统方法和基于深度学习的方法 [1]。传统方法通常采用多尺度变换、稀疏表示或子空间分解进行特征提取。然而，随着成像技术的不断发展，传统方法在处理高分辨率、噪声和对比度等复杂因素时面临日益严峻的挑战。此外，它们对人工制定规则的依赖也限制了其适应性和融合性能。

基于深度学习的方法凭借其卓越的特征表征能力彻底革新了图像融合领域 [1], [2]。尽管取得了这些进展，但重大局限性依然存在。首先，大多数现有方法在单一尺度上进行图像融合。然而，由于目标与传感器之间的距离差异，图像本身包含不同尺度的目标和细节。因此，有效融合多尺度信息是至关重要的。其次，虽然当前方法利用密集块或残差块等架构提取多层次特征，但它们往往无法有效地建模不同特征层之间的长期依赖关系。不受约束的信息传播可能导致无效或冗余信息的积累，从而引发梯度消失或梯度爆炸。基于Transformer的融合模型虽然能够捕获全局依赖关系，但通常会引入更高的计算成本，并且可能仍然缺乏层次特征之间的显式递归交互 [3], [4]。多尺度递归架构也展示了在相关预测任务中将层次表示与递归信息传播相结合的优势 [5]。因此，如何在不同层次之间有效地传递充足的信息仍然是一个具有挑战性的问题。

为解决这些问题，我们提出了一种多尺度注意力门控循环单元网络（MA-GRUNet）用于 IVF，通过丰富多尺度信息并增强多层次特征之间的长期依赖关系来实现。

有必要将所提出的方法与相关范式区分开来。多尺度注意力方法 [6] 通常在静态特征金字塔上采用注意力机制，以前馈方式聚合跨尺度信息，但它们并不显式建模特征层之间的序列依赖关系。基于Transformer的方法 [3] 通过自注意力捕获全局依赖关系，但成对令牌交互可能计算开销较大，并且并不显式提供 GRU 式的针对层次特征层的可选择性门控。基于扩散的模型 [7] 利用迭代去噪过程生成融合输出，虽然能够提供高质量的生成结果，但以多步推理延迟为代价。相比之下，MA-GRUNet 通过其 AGRU 机制显式建模跨层特征依赖关系，该机制使用可学习的更新门和重置门，在每个阶段自适应地决定保留、丢弃或转换哪些信息。这种门控递归设计提供了一种结构归纳偏置，这是纯注意力机制或前馈架构所不具备的，从而能够实现更受控且更具可解释性的跨融合阶段特征细化。

具体来说，MA-GRUNet 集成了不同膨胀率的膨胀卷积和多层次注意力门控循环单元（AGRU）模块。AGRU 模块通过将注意力机制与门控单元相结合，增强了不同尺度和层次之间长期信息的交互。与直接堆叠 CNN 或 Transformer 块不同，MA-GRUNet 将多尺度感受野与门控递归传输相结合，使网络能够选择性地保留有用的跨层信息，同时抑制冗余传播。此外，我们引入了一种多阶段渐进损失函数，以在图像处理流程的全过程中保留有价值信息。本文的主要贡献总结如下：

• •
  我们提出了一种名为 MA-GRUNet 的 IVF 模型，以在不同尺度和层次之间交互长期信息。通过利用源图像的互补信息，所提出的模型能够在融合图像中保留关键目标和空间细节。
• •
  我们设计了一个注意力门控循环单元（AGRU）模块，将 GRU 的动态门控机制与通道和空间注意力协同结合。它在跨尺度和层次之间建立了自适应交互范式。
• •
  我们提出了一种多阶段损失函数，以在三个尺度上最小化图像失真。每个阶段包含像素损失、梯度损失和结构损失。这一设计策略增强了源图像与最终输出之间的一致性。
• •
  全面的实验表明，所提出的模型在保持原始图像的结构和细节信息以及满足视觉保真度要求方面，超越了最先进（SOTA）的竞争方法。

章节摘要

基于 CNN 的 IVF 方法

基于 CNN 的方法采用卷积层从输入图像中提取特征，并通过精心设计的模块进行融合。其主要优势在于无需人工干预即可自动学习特征。此外，CNN 模型可以被定制和微调以满足特定的融合需求。例如，Zhao 等人 [4] 提出了 TUFusion，一种混合编码器架构，将基于 Transformer 的全局上下文建模与 CNN 驱动的局部特征相结合

网络架构

MA-GRUNet 的总体架构如图 1 所示。它由三个相同的阶段组成，每个阶段包含一个原始特征提取器（OFE）、一个浅层特征提取器（SFE）、注意力门控循环单元（AGRU）模块、一个图像重建模块（IRM）以及具有不同膨胀率的膨胀卷积。

具体来说，我们采用门控循环单元（GRU）作为递归骨干网络，因为它具有多种架构优势。GRU 仅采用两个门，即更新门和

数据集与实现细节

我们使用了三个公开可用的数据集，即 MSRS [27]、RoadScene [28] 和 TNO [29]，来评估 MA-GRUNet 的性能。具体而言，我们使用 MSRS 数据集中的 1083 对图像进行模型训练。为了进行性能基准测试，采用了来自 MSRS 的 361 对、RoadScene 的 221 对和 TNO 的 40 对组成的测试集。所有训练图像被裁剪为 128 × 128 的补丁，步幅为 200，以确保充足的训练数据量。采用 Adam 优化器

结论与未来工作

在本文中，我们引入了一种名为 MA-GRUNet 的图像融合模型。所提出的架构利用具有不同膨胀率的膨胀卷积来捕获丰富的多尺度信息。为了解决长期依赖关系带来的挑战，引入了一种 AGRU 模块以增强多尺度和多层次特征之间的交互。此外，通过整合跨

CRediT 作者贡献声明

高明良：方法论、调研、形式化分析、数据整理、概念构思。宋文浩：验证、指导、软件。潘金峰：数据整理、概念构思。黄飞：资源。

生成式 AI 披露

在本工作的准备过程中，作者使用了 Gemini 来提高稿件的英语语言、语法和整体可读性。使用该工具后，作者对内容进行了审核和编辑，并承担出版物内容的全部责任。未使用生成式 AI 或 AI 辅助工具来创建、修改或增强任何图像。

利益冲突声明

作者声明不存在已知的可能影响本论文所述工作的竞争性经济利益或个人关系。作者声明以下经济利益/个人关系，可能被视为潜在的利益冲突。

致谢

本工作部分由 山东省本科教学改革项目（编号 Z2024184、Z2025262）和 山东省人工智能教育研究项目（SDDJ202501097）资助。

高明良|宋文浩|潘金峰|黄飞