一种基于混合空间-频率注意力引导的双域多焦点图像融合方法

《Neurocomputing》：A dual-domain multi-focus image fusion method based on hybrid spatial-frequency attention guidance

　　

• •
  我们提出了一种基于混合空频注意力引导的双域多焦点图像融合方法。其主要亮点总结如下：.
• •
  我们采用并行双分支特征提取并结合混合空频注意力机制，使其能够同时捕获空间域和频率域特征，从而充分利用图像的空间和频率域信息。
• •
  通过引入频率注意力机制来改进和增强传统的卷积块注意力模块，我们有效地增强了网络在图像融合任务中保留图像细节和提高视觉质量的能力。
• •
  包括与15种先进方法的对比研究以及详细消融分析在内的全面实验表明，所提出的模型在多个评估维度上表现出优越的性能。

引言

光学成像系统的发展受到固有景深（DOF）限制，无法同时对场景中的所有物体实现清晰聚焦。这严重阻碍了对成像结果的详细分析和准确解读。虽然优化光学组件[1]和系统架构[2]、[3]等基于硬件的方法提供了潜在的解决方案，但它们往往伴随着高成本和有限的适应性。尽管超表面技术在波前调制和光束整形方面展现出潜力——例如Mou等人[4]基于菲涅尔全息术设计的超表面阵列照明器，能够生成高分辨率的紧凑型自定义光斑阵列——但其在适应性和与计算成像工作流的集成方面仍面临挑战。因此，多焦点图像融合（MFIF）作为一种强大且灵活的计算成像技术应运而生。通过智能整合从同一场景不同焦平面捕获的多幅源图像中的互补信息，MFIF合成为一幅完全聚焦的图像，将有效景深扩展到光学硬件的限制之外。除多焦点场景外，图像融合技术在其他领域也展现了重要价值；特别是在多模态医学成像[5]、[6]中，多焦平面或多模态信息的综合集成至关重要。例如，Diwakar等人[7]提出了一种使用非下采样剪切波变换（NSST）和聚类字典学习的多模态医学图像融合方法，实现了卓越的边缘保持和临床细节保留。

现有的多焦点图像融合方法主要分为三类：变换域方法[8]、[9]，空间域方法[10]、[11]，以及基于深度学习的方法。变换域方法将图像转换为频率域系数进行融合和重建。虽然能够有效地分离频率成分，但容易产生空间信息丢失和细节退化。空间域方法直接在像素级别进行操作，根据边缘和纹理等局部特征区分对焦区域。它们保留空间信息并提供计算效率，但对噪声仍然敏感。在复杂场景中，它们容易出现分类错误，从而影响融合质量。此外，Zuo等人[12]探索了一种结合随机特征嵌入与集成学习的方法，以实现更低的计算复杂度下的融合。与传统方法相比，基于深度学习的MFIF方法能够自动学习图像特征，具有更强的自适应能力和更优越的融合性能。Liu等人[13]率先将深度学习引入MFIF领域；他们开创性地使用卷积神经网络（CNN）来生成决策图以识别融合区域。虽然这种监督范式能够学习高精度的决策边界，并且在有充足标注数据时表现出强大的性能，但其有效性紧密依赖于训练标注的质量与规模。在实践中，从真实场景获取真实的多焦点图像对是困难的，这可能会限制其在多样化现实场景中的泛化能力。为了减轻手动标注的负担并进一步增强结果的视觉真实性，随后提出了无监督学习框架[14]。通过利用对抗训练和基于无监督指标的损失函数，这些方法使网络能够直接从源图像中自适应地学习融合规则。尽管取得了这些进展，早期的基于CNN的方法仍然受限于其有限的感受野，难以捕获全局上下文信息——而全局上下文信息对于准确区分对焦与失焦区域至关重要，尤其是在复杂边界附近。为解决这一问题，研究人员将Transformer架构引入MFIF领域[15]。通过利用自注意力机制，Transformer能够建模整幅图像的长程依赖关系，从而有效地处理复杂场景结构和散景扩散效应。

然而，尽管取得了这些进展，大多数先进（SOTA）方法仍然主要聚焦于空间特征，未能充分利用频率域信息。因此，关键的高频纹理细节和边缘往往被模糊化，因为现有模型缺乏对这些分量的显式优先处理和重建机制。针对上述问题，本文提出了一种新颖的网络，主要包含两条通路：双分支特征提取和决策。特征提取通路通过扩散多尺度块（DMSB）捕获多尺度感受野信息。随后，多方向卷积块（MDCB）增强特征表达力；一个专门的频率特征提取模块利用快速傅里叶变换（FFT）和可学习的频率域滤波器显式增强高频分量——这对图像细节和纹理至关重要。提取的空间和频率特征随后被输入到混合空频注意力模块（HSFAM）中。在传统通道和空间注意力机制的基础上，该网络创新性地整合了频率注意力分支。通过分析并加权多尺度频率分量，它在通道、空间和频率维度上实现自适应特征融合。融合后的特征经过决策通路处理生成决策图，该决策图用于合并多焦点源图像并合成高质量的全聚焦图像。主要贡献总结如下：

• •
  我们采用并行双分支特征提取并结合混合空频注意力机制，使其能够同时捕获空间域和频率域特征，从而充分利用图像的空间和频率域信息。
• •
  通过引入频率注意力机制来改进和增强传统的卷积块注意力模块，我们有效地增强了网络在图像融合任务中保留图像细节和提高视觉质量的能力。
• •
  通过与15种先进算法的对比实验，我们全面验证了模型在多个评估指标上的优越性。

本文的其余部分组织如下：第2节回顾了相关基本技术的已有工作。第3节详细描述了所提出的模型架构和损失函数。第4节讨论了相关融合性能对比实验、消融实验以及先进视觉任务上的超参数调优实验。最后，第5节对本文进行了总结。

章节摘要

相关工作

MFIF技术的研究可追溯到20世纪80年代，现有方法通常可分为传统方法和基于深度学习的方法。

所提出的方法

本文引入了一种新的MFIF方法。融合框架如图1所示，由两条通路组成：特征提取和决策。首先，源图像通过权重共享的特征提取通路进行处理，该通路利用DMSB提取多尺度特征。随后，频率域特征提取模块和空间域特征提取模块分别被激活，以有效捕获图像的精细尺度和结构信息。这些

数据集

数据集的选择在深度学习模型性能中起着至关重要的作用，但由于拍摄条件的限制，获取充足的多焦点图像具有挑战性。为了克服这一限制，我们使用高斯滤波器结合α-半透明边界散焦模型[44]对Pascal VOC 2012数据集[43]进行处理，以模拟真实的散焦效果。我们选取了分割导向的Pascal VOC 2012数据集中的2913张高分辨率图像来生成多焦点图像数据。

结论

针对光学成像系统固有的景深限制——使其无法实现全视场聚焦——我们提出了一种基于混合空频注意力引导的双域多焦点图像融合方法。通过引入权重共享的扩展多尺度特征提取机制，我们有效地扩展了感受野并捕获丰富的多尺度信息，从而解决了传统方法中特征提取尺度有限的问题

CRediT作者贡献声明

Jing Fang：软件，撰写-初稿，撰写-审阅与编辑，项目管理。Xuran Liu：调查，软件，正式分析，撰写-初稿。Ruxian Wang：正式分析，方法论，软件，撰写-初稿。Xiaoli Han：资源，撰写-审阅。Jianhao Yan：正式分析。Jingjing Wang：验证，资金获取。Shuyun Teng：概念化，项目管理，撰写-审阅与编辑。

利益冲突声明

作者声明不存在任何可能影响本论文报告工作的已知竞争性经济利益或个人关系。

致谢

本研究由国家自然科学基金（批准号62002208和42271093）以及2024年山东省本科教学改革研究项目（M2024160）资助。所有作者声明不存在利益冲突。

Jing Fang于2019年获得北京交通大学计算机科学与技术学院博士学位，目前是山东师范大学通信与电子工程学院副教授。她的研究集中在光学信息处理、多源图像融合以及激光雷达信号检测与分析领域。

Jing Fang|Xuran Liu|Ruxian Wang|Xiaoli Han|Jianhao Yan|Jingjing Wang|Shuyun Teng