利用方向性球面差分滤波器和向量到标量融合技术实现焦点深度测量

《Journal of Visual Communication and Image Representation》：Depth from focus using directional spherical difference filter and Vector to Scalar Fusion

基于多焦点响应向量，提出方向性球面差异滤波器（DSDF）和向量到标量融合（VSF）技术，通过计算局部差异向量的离散度作为标量缩放因子，生成增强焦点体积并提取更准确的深度图。实验表明该方法在五组数据集上优于19种基线方法，RMSE和CORR指标显著提升。

　　

Khurram Ashfaq|Muhammad Tariq Mahmood

未来融合工程，韩国科学技术院计算机科学与工程学院，韩国天安市

摘要

传统的焦距深度（DFF）方法将焦距测量（FM）应用于焦距变化的图像序列，以生成焦距体积（FV），该体积编码了每个像素的焦距信息。通常，使用单一的FM来获得每个像素的标量焦距响应；然而，依赖单一响应容易受到噪声和干扰的影响。一些方法提取每个像素的多个响应，从而生成多个FV，但这些方法通常使用简单的操作（如求和、中值滤波或选择最大响应）来组合FV，这会丢失有价值的焦距信息。为了解决这些问题，我们提出了一个新颖的框架，首先使用我们提出的方向球形差分滤波器（DSDF）生成多个FV，以获得向量焦距响应，然后使用新颖的向量到标量融合（VSF）技术将这些响应整合为单个标量值。在VSF过程中，通过从局部窗口内的向量中减去中心向量来计算差分向量，并使用这些向量的分布作为结果幅度的缩放因子，从而产生每个像素的增强标量焦距值，从而得到更精确的深度图。在包含1200多个场景和17,000多张图像的五个不同数据集上的评估表明，我们的方法在定量和定性比较中均优于19种成熟的方法。

引言

在过去几十年中，计算机视觉领域取得了显著进展，这得益于使机器能够像人类一样感知和解释世界的愿望。这一努力的一个重要方面是深度估计，它涉及确定场景中物体与观察者之间的距离。这种能力对于包括自动驾驶[1]、机器人技术[2]、增强现实[3]和医学成像[4]在内的各种应用至关重要。已经提出了多种深度估计技术，如立体视觉[5]、运动结构[6]和激光雷达[7]，每种技术都有其自身的优势和局限性，具体取决于应用和环境条件。在这些技术中，焦距深度（DFF）因其实用性和使用单个相机而受到广泛关注。DFF通过分析在不同焦距设置下捕获的图像来估计场景中物体的深度，利用了成像系统的光学特性。DFF首先计算焦距体积（FV），该体积表示图像序列中每个像素的焦距值。这是通过将焦距测量（FM）运算符应用于序列来实现的。生成FV后，通过定位FV中每个像素显示最高焦距值的帧来提取深度图。

FM是DFF系统中最重要的部分，用于计算图像序列中每个像素的焦距值。通常，单个FM运算符为图像序列中的每个像素提供一个（标量）焦距值响应，从而生成一个FV。在许多DFF方法中，使用多个运算符或核来获得每个像素的多个响应，从而生成多个FV。在这种情况下，需要额外的步骤将向量转换为标量值以获得单个FV。例如，修改后的拉普拉斯（ML）使用朝向$x$和$y$方向的多个核，并求和它们的响应[8]。类似地，简化Tenengrad（RT）应用朝向$x$和$y$方向的核，并求和它们的响应[9]。另一种方法使用不同的FM和窗口大小计算多个FV，对每个FV应用3D张量投票机制，并使用最大运算符聚合增强的FV[10]。还使用遗传编程方法来近似结合多个FM响应的函数[11]。此外，可以应用3D小波变换来计算不同级别的多个FV，其中每个FV使用3D加权最小二乘法进行增强，并使用求和、中值或平均值操作聚合增强的FV[12]。最后，可以应用六个单独的方向环形差分滤波器（DRDF）来获得六个FV，然后通过求和将它们聚合[13]。与上述方法一样，FV通常使用简单的操作（如求和、取中值或取核响应的最大值）进行组合。然而，这些方法可能无法为每个像素提供最佳的焦距值，并且往往会丢失有价值的焦距信息。图1直观地展示了这一限制，该图比较了使用相同流程但在合并每个像素的多个焦距响应的策略上有所不同时获得的深度图。

为了解决这些问题，我们提出了一个新颖的框架，首先使用我们提出的三维焦距测量方法——方向球形差分滤波器（DSDF）为每个像素生成多个焦距响应，该方法利用图像在焦距维度上的内在关系来产生稳健的向量响应。然后，使用我们新颖的向量到标量融合（VSF）技术将这些向量响应整合为单个增强的焦距体积。在VSF阶段，首先通过从中心向量中减去其局部邻居来计算差分向量，然后使用这些差分向量的分布作为调整结果向量幅度的缩放因子。这个调整后的标量值作为像素的增强焦距测量值，从中构建出精细的焦距体积并用于提取最终的深度图。如图1所示，这种融合产生的深度图比简单聚合具有更少的结构伪影，表明它提供了更可靠的焦距体积用于深度提取。在包含1200个图像序列和超过17,000张焦距变化图像的五个不同数据集上的全面评估证明了我们方法的有效性。与19种著名方法相比，我们的框架不仅在定性结果上更优，而且在均方根误差（RMSE）和相关性（CORR）方面也表现出色。

本工作的关键贡献可以总结如下：

• 1.
  向量到标量融合（VSF）：我们提出了一种焦距响应融合策略，使用基本的向量操作将每个像素的多个焦距响应转换为单个增强的标量焦距值，避免了简单聚合规则的信息丢失。
• 2.
  方向球形差分滤波器（DSDF）：我们引入了一种3D焦距测量方法，通过利用焦距堆栈中的帧间关系来产生稳健的多方向焦距响应。
• 3.
  全面评估：我们在五个不同的数据集上进行了评估，并与19个基线方法进行了比较，显示出一致的改进，并证明了VSF也适用于其他独立的3D焦距测量方法。

部分片段

背景

图2显示了DFF系统的一般流程。典型的DFF过程从获取图像序列开始，即在不同焦距设置下捕获的同一场景的一系列图像。DFF的主要任务是分析这些图像并确定每个感兴趣区域的最佳清晰度对应的焦距位置。因此，在下一步中，将这些图像应用焦距测量（FM）运算符，生成焦距体积（FV），这是一种体积数据

动机

我们论文的一个主要亮点是引入了一种用于不同核响应的融合过程。当将具有多个核的FM应用于图像序列时，每个核分别与图像序列进行卷积。每个核为图像序列中的每个像素产生特定的焦距值。因此，当使用多个核时，我们为每个像素获得多个焦距响应。为了管理这些响应，我们将每个像素的焦距值视为一个向量

提出的方法

所提出的方法包括几个关键步骤，如图4所示。首先，将图像序列与DSDF进行卷积，以产生每个像素的多个响应。这种卷积结果是一堆焦距体积。随后，将向量到标量融合过程应用于这堆体积，以生成每个像素具有增强焦距值的单个统一FV。最后，从这个统一的焦距体积中提取深度图。

实验设置

我们提出的框架包括一个3D焦距测量方法——方向球形差分滤波器（DSDF），以及用于聚合焦距响应的向量到标量融合（VSF）策略。实现设置总结在表1中。在离散的5 × 5 × 5实现中，单位体素间距下，距离从核中心测量为$r=\sqrt{\Delta x^2+\Delta y^2+\Delta z^2}$。因此，我们设置$r_1=0$, $r_2=1$, $r_3=\sqrt{5}$体素，分别对应于中心体素、直接相邻的面部间隙区域和

结论

本文提出了一种新颖的方法，用于融合来自多个核的焦距体积，以提高焦距深度任务的深度估计精度。通过将不同核的响应视为向量，并通过向量到标量融合（VSF）过程利用这些向量的变化，我们的融合技术在应用于不同的FM时显著提高了深度图的精度。此外，我们还提出了一种新的3D焦距测量方法

CRediT作者贡献声明

Khurram Ashfaq：撰写——原始草稿、可视化、软件、方法论、形式分析、数据管理、概念化。Muhammad Tariq Mahmood：撰写——审阅与编辑、验证、监督、资源获取、调查、资金获取、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本文得到了韩国科学技术院教育与研究促进计划（2025年）的支持。