《Knowledge-Based Systems》：Multi-focus Image Fusion Based on Multi-scale Feature Extraction and Edge Preservation Techniques
编辑推荐：
多尺度上下文建模与几何感知边缘保留的决策图无监督多焦点图像融合方法，解决传统方法在上下文信息提取和边缘一致性方面的局限，通过三分支卷积编码和曼 fold 理论优化域变换实现2.8%的Q-mi提升。
赵宝军|罗飞|路易斯·罗哈斯·皮诺|丁伟超|张学勤
华东理工大学信息科学与工程学院，上海，200237，中国
摘要
作为一种流行的图像增强技术，基于决策图的多焦点图像融合（MFIF）可以将部分对焦的图像融合成完全对焦的合成图像，而不会出现图像失真的问题。然而，传统的基于决策图的方法面临双重限制：（1）现有的无监督方法中的编码器无法充分捕捉上下文信息，这削弱了活动级测量的鲁棒性。（2）后处理技术会导致决策图与源图像之间的边缘一致性丧失，这是由于对焦边界处的散焦效应造成的。为了解决这些问题，我们提出了EP-MFIF，这是一个结合了多尺度上下文建模和几何感知边缘保持的无监督框架。首先，我们提出了一个具有三分支感受野（5×5、9×9、13×13）的多分支卷积编码器，以捕捉多尺度上下文特征，从而在保持空间分辨率的同时实现鲁棒的活动级测量。其次，作为我们的核心贡献，后处理被设计为一个基于流形的细化模块，该模块重新定义了距离度量（曲率一致的三点测地线）并执行等距的一维域变换，使得递归联合滤波能够紧密贴合对焦边界，并在MFIF中优于引导/双边变体。第三，通过简洁的两阶段融合过程，将空间频率活动估计与边缘保持细化相结合，生成了边界一致的对焦和散焦掩模。在Lytro数据集上的评估表明，EP-MFIF达到了最先进的性能，将Qmi指标提高了2.8%。该方法有效地将多尺度特征集成与边缘保持理论相结合，为需要精确对焦边界确定的应用（如显微镜、计算摄影和光学检测系统）提供了实际价值。
引言
现代成像系统本质上受到景深物理限制的约束。因此，必须依次捕获多个部分对焦的图像以获得完整的场景细节。多焦点图像融合（MFIF）作为一种关键的计算成像技术，通过智能融合策略将这些局部对焦的捕获合成完全对焦的合成图像。作为一种重要的图像增强方法，MFIF在多种计算机视觉应用中展示了巨大的实际价值。例如，融合的显微图像可以提高检测或识别任务的准确性[1]。
当代基于深度学习的MFIF方法主要分为两类：端到端架构和基于决策图的方法[2]。虽然端到端方法通过直接的输入到输出映射展示了操作上的简便性，但它们在几何保真度方面存在固有局限性。这些架构中的非线性变换过程经常导致源图像和融合图像之间的特征位移[3]，这一固有缺陷表现为图像失真伪影，特别是在对焦边界处的伪细节生成和结构不连续性。
相比之下，基于决策图的方法通过选择性融合像素来避免失真，从而保持了原始图像的保真度。然而，这些方法面临两个由物理成像原理和算法限制带来的技术挑战：（1）有限的上下文特征提取。现有的编码器无法充分捕捉多尺度上下文信息，从而影响了活动级测量的鲁棒性。（2）后处理中的边缘一致性不足。传统技术在处理对焦边界处的决策图/源图像轮廓错位时存在问题，这是由于散焦效应[4]，导致过渡性模糊。这些限制严重限制了决策图方法的实际应用效果。此外，当前的监督方法面临重大的注释瓶颈。尽管需要精确的对焦区域标签，但由于两个物理因素（光学衍射限制和传感器噪声干扰），合成训练数据与真实光学成像场景存在本质差异。在显微镜和工业检测等对精度要求高的应用中，这种分布差异会导致模型泛化能力显著下降，直接影响融合的可靠性。
为了实现高质量决策图的生成，我们解决了两个基本子问题：（1）无监督框架内的优化决策图生成机制。（2）决策图边缘与源图像之间的结构一致性保持。我们系统地分析了现有方法，并提出了一种用于高质量决策图生成的新解决方案。它结合了特征提取中的多尺度上下文建模和基于流形理论的后处理中的几何感知优化。
为了解决子问题1，主流的无监督方法主要采用编码器-解码器架构。尽管许多研究强调细粒度特征捕获（例如，注意力机制[5]），但往往忽视了多尺度上下文信息在活动级测量中的关键作用。实证研究表明，全面的多尺度特征显著提高了对焦区域判别的信心[6]。基于此，我们设计了一个多尺度感知编码器来增强测量的可区分性。
关于子问题2，传统的后处理技术（形态学操作和引导滤波）存在固有局限性。尽管被广泛采用，但在强散焦边界条件下，引导滤波在边缘保持方面表现不佳[7]。受王等人在流形空间滤波方面的突破启发，我们提出了一种基于域变换理论的改进方案，通过重构的距离度量和维度压缩策略建立了增强的边缘一致性。
在实现流形滤波时出现了三个关键挑战：（Q1）如何构建有效的几何距离度量以保持边缘。（Q2）如何将高维度量进行等距映射到低维空间以确保计算效率。（Q3）如何选择最佳维度以平衡测量精度和计算效率。
为了解决这些挑战，我们提出了一个名为EP-MFIF的无监督框架。它基于多尺度上下文建模和几何感知边缘保持，具有以下三个关键创新：
1.构建了一个具有互补的5×5、9×9和13×13感受野的多分支膨胀卷积编码器，以增强多尺度上下文特征捕获。这种集成的多尺度表示增强了编码器生成鲁棒特征嵌入的能力，为后续的活动级测量提供了丰富的信息输入。
2.设计了一个基于流形理论的后处理模块，采用改进的曲率度量来消除冗余并实现高效的一维域变换。该后处理模块使决策图能够显示更清晰的对焦和散焦边界。
3.提出了一种综合的无监督两阶段融合机制，将空间频率分析与联合滤波相结合，以实现精确的对焦和散焦划分。实验验证显示，在Lytro数据集上，Q指标提高了2.8%，显著优于现有的无监督方法。
本文的结构如下。第2节简要回顾了基于决策图方法和流形理论的边缘保持滤波的相关工作。第3节将详细介绍我们的方法。第4节展示了实验结果以及与现有方法的定性和定量比较。最后，在第5节得出结论。
小节片段
基于决策图的MFIF
基于深度学习的MFIF方法通常可以分为端到端方法和基于决策图的方法。端到端方法简单，但由于非线性操作，往往会产生次优的融合结果。另一方面，基于决策图的融合方法避免了这个问题，但在对焦和散焦边界处的表现较差，需要进一步优化。最近关于基于决策图的方法的研究总结在表1中。基于决策图的研究分为
方法概述
所提出的EP-MFIF的架构如图1所示。该框架分为两个阶段：训练和推理。在训练阶段，我们训练一个编码器-解码器网络从图像中提取高维特征信息。在推理阶段，我们首先使用空间频率计算编码器提取的高维特征的活动级别，然后根据活动级别生成初始决策图。接下来，我们应用联合滤波过程
实验数据集
我们使用无监督学习框架构建了编码器-解码器架构。为了对其进行训练，我们利用了大规模的MS-COCO数据集[19]来提取高维图像特征。结果，82,738张图像被用作训练集，49,594张图像被用作验证集。常用的基准数据集Lytro [20]和MFFW被用作测试集来评估算法的性能，其中Lytro数据集包含20对彩色图像，MFFW
结论
在本文中，我们提出了一种基于多尺度特征提取和边缘保持滤波的无监督模型，以解决MFIF的问题。该模型的关键点主要体现在两个方面。首先，采用了具有不同感受野的三个特征提取分支，以捕获更丰富的图像高维特征信息，从而便于进一步的活动级测量。其次，基于流形理论和域变换思想
CRediT作者贡献声明
赵宝军：撰写 – 审稿与编辑，撰写 – 原稿，方法论，形式分析，概念化。罗飞：撰写 – 审稿与编辑，监督，资金获取。路易斯·罗哈斯·皮诺：撰写 – 审稿与编辑。丁伟超：撰写 – 审稿与编辑。张学勤：撰写 – 审稿与编辑。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
致谢
本研究得到了中国国家重点研发计划（2024YFC3307700）、上海自然科学基金（22ZR1416500）和上海基础研究特区计划（22TQ1400100-16）的支持。
