基于混合网络模型的深度图过滤方法，用于从焦点恢复形状

《Micron》：Depth Map Filtering Method for Shape-from-Focus Recovery Based on Hybrid Network Model

　　王月宗|张嘉伦
北京工业大学机械与能源工程学院，北京100124，中国

**摘要**
基于焦点的形状恢复（SFF）是一种经济高效的3D形状恢复技术。作为3D数字显微镜的核心模块，其主要目标是获取高质量的深度图。然而，该技术的性能高度依赖于图像纹理的丰富度，而这不可避免地会在生成的深度图中引入噪声，严重降低其质量。这已成为该领域的一个关键技术挑战。为了解决这个问题，本文提出了一种基于混合网络模型的深度图过滤框架。首先，设计了一种结合半高宽（FWHM）和高斯拟合的深度重建方法来生成初始深度图。其次，构建了一个用于焦点信号分类的混合网络模型，该模型提取不同信号的差异特征以识别带有噪声模式的焦点信号，并生成一个标志矩阵。最后，根据这个标志矩阵对初始深度图进行过滤，以获得高质量的深度图。实验结果表明，所提出的方法能够有效区分焦点信号的图案，过滤掉由信号失真引起的深度图噪声，同时保持深度图中结构细节的完整性，展现出优异的过滤性能。此外，本文提出的方法可以作为通用的SFF框架，适用于不同领域的3D形状测量或高端仪器设计。

**引言**
基于焦点的形状恢复（SFF）根据图像的焦点信息来恢复物体的三维（3D）形状。它不仅是3D地形重建的关键技术之一（Nayar和Nakagawa，1994），也是3D数字显微镜的核心技术。这项技术的优势包括适应小规模场景、设备成本低以及高效的重建质量。它已广泛应用于几何属性测量、微制造、缺陷检测和质量检验等多个领域（Shi等人，2024），因此具有重要的研究价值。SFF的典型技术框架如下：首先，视觉系统扫描物体表面并记录对焦-失焦过程，生成包含焦点信息的图像序列；其次，通过焦点测量（FM）将图像序列的像素空间转换为焦点体积（FV），其中FV可以被视为一系列焦点测量信号；然后，使用深度重建方法处理这些焦点测量信号序列，以预测每个信号中包含的深度值。这些深度值代表物体表面点的高度坐标，并形成深度图；最后，对深度图进行过滤以消除异常值和表面噪声，得到最终的深度图。上述典型框架的核心步骤用数学公式描述，其中FM过程的数学描述如下：
**Fki,j = FM ? fk(i, j)**
其中?表示卷积操作，fk(i, j)表示图像序列中的第k帧图像，FM表示焦点测量操作符，Fk(i, j)表示位置(i, j)处的焦点测量值，(i, j)表示第k帧图像中像素的位置坐标，k表示帧索引，i=1,…, M，j=1,…, N，k=1,…, K。Fk(i, j)构成焦点体积FV={Fk(i, j)|i=1,…, M; j=1,…, N; k=1,…, K}。此外，沿z轴增加的方向，Fk(i, j)在位置(i, j)处形成焦点测量信号F(i, j)={Fk(i, j)|k=1,…, K}，所有焦点测量信号构成信号集FS={F(i, j)∣i=1,…,M; j=1,…,N}。深度重建是在焦点体积中搜索表面点的过程。其理论基础是假设焦点测量信号具有钟形结构和单峰特性，其中峰值对应于焦点。峰值位置通常被视为表面点的深度坐标。因此，深度重建算法可以转化为峰值位置搜索问题，其数学描述如下：
**zp,i,j = argmax(Fi,j)**
其中argmax(·)表示深度重建方法，其目标是预测焦点测量信号的理想单峰峰值位置zp(i, j)。然后定义深度图为DEM={zp(i, j)∣i=1,…,M, j=1,…,N}。

现有的SFF技术主要集中在两个方面：焦点测量和深度重建，旨在提高深度图的质量。在焦点测量研究方面，(Pertuz等人，2013)总结了各种早期的焦点测量操作符，并根据数学原理将其分为六类：基于梯度的、基于拉普拉斯的、基于统计的、基于余弦变换的、基于小波（或曲线波）变换的以及混合操作符。近年来，不断有新的焦点测量操作符被提出。例如，为了解决大多数传统焦点测量操作符仅适用于灰度图像且抗噪声能力较差的问题，(Mahmood和Choi，2009)提出了一种基于主成分分析（PCA）和核回归的焦点测量和深度优化方法。与传统基于局部窗口的计算方法不同，该方法从全局角度分析焦点信息，有效抑制噪声干扰的同时保留详细特征。(Mutahira等人，2021)提出了一种直接处理彩色图像的焦点测量方法。由于无需进行灰度转换，这种方法可以直接处理彩色空间中的多通道信息，从而完全保留颜色特征。在深度重建研究领域，常用的基本深度重建方法包括最大值法（Wang等人，2023）、三点插值法（Nayar和Nakagawa，1994）和拟合法（Fu等人，2023）。此外，还基于基本深度重建方法的原则开发了优化的深度重建方法。这些方法首先使用基本重建方法生成初始深度图，然后建立优化规则来细化初始深度图，从而得到更精确的最终深度图(Muhammad和Choi，2010；Cou和Guennebaud，2024)。(Chen，2019)提出了一种基于最优区域选择的新型鲁棒深度重建方法，增强了抗噪声能力和结构保留性能。(Gladines等人，2023)提出了一种基于相位相关的新算法；该方法在噪声环境中比其他方法具有更高的精度，但计算复杂度更高。Maximov等人（2020）提出了DefocusNet，它利用域不变的模糊特征作为直接监督信号，通过融合分支和深度分支分别输出全焦图像和深度图。Yang等人（2022）构建了差分焦点体积网（DFV-Net），可以精确捕获焦点变化，并集成了概率回归机制，尽管计算成本较高，但仍能从稀疏采样输入中恢复高精度深度图。Wang等人（2021）使用全焦图像作为监督信号，或采用结合全焦图像和深度图的联合监督方法来训练深度估计网络。这降低了模型对真实深度标签的依赖，利用更易获得的全焦图像进行监督学习，显著降低了注释成本，并解决了无监督方法的尺度歧义问题。然而，这种方法依赖于高质量的全焦图像，网络复杂度高，仍需要少量注释数据。Ceruso等人（2021）通过预测相对深度来解耦相机光学参数的影响，并采用了能够处理可变输入大小的网络结构，大大增强了模型的泛化能力和实用性。然而，输出结果是相对尺度的，需要额外的后处理。Si等人（2023）提出了DAIFNet模型，该模型同时预测深度图和虚拟全焦图像，并结合高斯PSF光学模型来反渲染和重建失焦图像。通过利用重建损失和正则化损失，他们构建了一个无需真实值的自监督优化循环，实现了无需AIF真实标签的失焦深度估计。这种方法提供了物理可解释性和实际应用性，但在焦距精度和复杂场景方面的适应性有限。

“高质量”的定义是指深度图包含的噪声最少，表面平滑度好，且不损害结构细节。然而，在实际应用中，图像噪声（Jeon等人，2019）、机械振动（Jang等人，2020）、放大变化（Won和Jeon，2022）以及弱纹理（Noguchi和Nayar，2002；Fan和Yu，2017）等因素可能会导致大量噪声。尽管出现了各种SFF框架，它们都面临着相同的技术挑战：深度图数据不可避免地包含噪声，这降低了表面平滑度并损坏了结构细节。

图1(a)显示了由GLV操作符和最大值法组成的SFF框架生成的原3D点云。点云中含有大量噪声，主要包括异常值和表面噪声。图1(b)展示了具有低噪声水平的理想3D点云效果，反映了“高质量”的特征。深度图中的数据噪声来源于多种因素，但图像纹理的丰富度对3D点云的质量影响最大，具体噪声传播路径如下：图像纹理的丰富度影响焦点测量信号的形状，进而影响深度重建结果，而深度重建结果决定了点云的质量。图1(c)展示了几个纹理区域，包括纹理较弱区域、无纹理区域和纹理丰富区域。在纹理丰富区域生成的焦点测量信号通常符合钟形结构和单峰特性，被称为理想信号（如图2(a)所示）。然而，在纹理较弱区域、无纹理区域和边界区域，生成的焦点测量信号呈现复杂的形状。其中一些信号存在缺陷，但基本保留了钟形结构，称为可校正信号（如图2(b)所示）。其他信号完全失去了上述特性，被定义为无效噪声信号（如图2(c)所示）。显然，现有的SFF框架能够准确预测图2(a)中信号的峰值位置zp。对于图2(b)中的信号，不同的SFF框架在预测准确性上可能存在差异。然而，对于图2(c)中的信号，预测的峰值位置必然不准确，这必然会将噪声引入深度图。尽管已经投入了大量研究努力来改进现有SFF框架的方法论，但它们无法区分焦点测量信号之间的形态差异。因此，深度图中噪声的生成是不可避免的，这对当前的SFF框架来说仍然是一个无法克服的挑战。

**动机**
减少噪声对深度图影响的方法主要分为两类：传统滤波方法和基于深度学习的方法。传统方法包括SFF框架融合去噪和直接深度图滤波。在SFF框架中，(Jeon等人，2019)提出了Ring Difference Filter (RDF)来增强抗噪声能力，Ashfaq等人（Ashfaq和Mahmood，2023）添加了方向信息以优化重建。这些方法对于具有基本钟形结构的信号（如图2(b)所示）是有效的，但无法恢复图2(c)中类型的信号，这些信号倾向于将噪声引入深度图。直接深度图滤波（例如，空间域滤波、频率域滤波）是一种后处理技术：空间域滤波依赖于可能包含噪声的周围数据，导致准确性存疑；频率域滤波在消除高频噪声的同时往往会破坏深度图的高频结构细节。为了解决上述问题，近年来将深度学习原理应用于SFF深度图滤波。深度学习在处理信号变化方面表现出色，因为它可以从大规模数据集中学习复杂模式和高级抽象，并对信号模式进行分类。这种分类能力也适用于解决焦点测量信号的变化性问题。这些方法通常使用深度学习模型对焦点测量信号进行分类，识别噪声类型信号，并生成标签矩阵，然后用它来过滤深度图中的噪声数据。与传统滤波方法相比，它们展示了更优越的滤波性能。(Mutahira等人，2020)应用了深度神经网络（DNN）来预测焦点测量信号的最佳焦点位置，旨在减少由深度估计误差引起的噪声干扰。然而，由于在深度估计之前仍然存在噪声信号，处理这些噪声信号只会产生错误的深度信息。（Wang, 2025）设计了一种用于焦点测量信号的深度学习模型，该模型将这些信号分类为单峰信号、形态损坏信号和噪声信号，并针对不同信号类别采用不同的深度重建方法来实现深度图过滤。总结上述研究，主要存在的问题如下：
- 网络模型的特征提取能力不足。现有的两个模型（Wang等人，2025；Wang, 2025）采用了一种基于堆叠卷积层的简单设计。这种方法只能通过增加层数或增大核大小来扩展感受野。它们无法捕捉长期的时间依赖性，仅关注噪声信号的局部特征，而忽略了其长序列特性。
- 网络模型关注关键特征的能力不足。纯卷积网络对输入特征进行统一处理，不加区分。在滑动操作过程中，卷积核对所有位置的特征应用相同的权重，无法根据任务目标动态调整对不同特征的关注度。在信号识别和分类任务中，它们难以专注于每个信号类别的区分性关键特征，导致模型的区分能力有限，分类性能不佳。

受到之前关于基于深度学习的过滤研究（Wang等人，2025；Wang, 2025）的启发，并旨在解决这些方法的局限性，本文提出了一种基于混合深度网络模型的新深度图过滤方法。通过使用所提出的网络模型对焦点测量信号进行分类，并利用半高全宽（FWHM）高斯拟合方法计算深度值，可以实现更准确的分类和过滤性能。这种混合深度网络模型由三个模块组成：特征提取模块、注意力优化模块和分类决策模块。特征提取模块包括局部空间特征提取和时间特征提取，分别捕获焦点测量信号的局部结构特征和长期时间依赖性。注意力优化模块采用双层设计，结合了因果注意力和全局注意力，以动态关注关键特征并建立全局相关性。分类决策模块通过全连接层和Softmax实现焦点测量信号的准确分类。

本文的主要贡献如下：
- 为了解决网络模型特征提取能力不足的问题，设计了一个融合特征提取模块，该模块整合了卷积神经网络（CNN）和循环神经网络（RNN），能够更好地解析和提取信号的复杂特征。与单个信号特征提取模块相比，该模块展现出更强的信号特征提取能力，能更有效地学习不同类别信号的特征信息。
- 为了解决网络模型关注关键特征能力不足的问题，本文引入了一种注意力机制。该机制可以根据当前任务自动计算输入特征中每个部分的重要性，将权重集中在关键信息上，实现特征的动态加权，提高模型利用关键特征的效率。
- 针对焦点测量信号的深度估计问题，对高斯拟合方法进行了改进。该方法表现出准确的深度值预测性能。结合本文提出的深度图过滤方法，构建了一个新的通用SFF框架，可以生成更准确的深度图，这一点已通过实验得到充分验证。

本文的结构如下：
第2节详细阐述了所提出的方法。第3节展示了使用本文提出的网络模型在自建数据集上进行的实验，以及在模拟和真实图像序列上进行的实验，并对实验结果进行了比较和讨论。最后一节得出结论并概述了未来的研究方向。

本文提出的深度图过滤方法如图3所示，分为四个模块：焦点信号获取模块、深度估计模块、噪声识别模块和噪声过滤与恢复模块。与现有的去噪方法相比，本文结合了深度学习技术，并提出了一种基于CNN的多特征联合训练信号分类算法。该算法用于识别无效噪声。

本文的实验采用了自建的数据集。自建的焦点信号数据集来自真实样本，包括齿轮、硬币、量规块、BGA板、硅球和叶子。对于每种类型的样本，在拍摄过程中设置了不同的照明和振动条件，应用了多种焦点评估算法（如GLV、TEN、GLVM和SML），并配置了两种不同的窗口大小（5×5和15×15）。

本文提出了一种基于融合深度网络的深度图过滤框架。首先，该框架将FWHM原理与高斯拟合方法结合，构建深度估计算法并生成初始深度图。然后，依靠融合网络模型，实现对噪声信号的准确识别，从而实现了初始深度图的有效过滤和优化。与现有的焦点信号分类网络模型不同，本文...

未引用的参考文献（He等人，2016）

CRediT作者贡献声明
张嘉伦：撰写——原始草稿、验证、软件、方法学、数据管理。
王月忠：撰写——审稿与编辑、方法学、资金获取、概念化。

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢
我们衷心感谢国家自然科学基金（Grant No. 51975009）的财政支持。