《Digital Signal Processing》：Adaptive Depth Completion Optimization Based on Traditional Image Processing
编辑推荐：
深度补全通过自适应膨胀与区域滤波优化，动态调整膨胀核尺寸及结合梯度引导的滤波策略，有效提升低密度区域填充精度和边缘细节保留，实验验证其在KITTI数据集上优于传统方法。
作者：Man Jianli | Li Qingdang | Zhao Bing | Zheng Linwei | Zhang Mingyue
青岛科技大学自动化与电子工程学院，中国青岛 266061
摘要
深度补全是计算机视觉中的核心技术，在自动驾驶、机器人导航和3D重建等应用中发挥着至关重要的作用。为了解决传统图像处理方法在适应局部密度变化和保持边缘细节方面的局限性，本文提出了一种序贯联合优化方法，该方法结合了自适应膨胀和区域自适应滤波。该方法首先根据局部密度信息动态调整膨胀核的大小，以实现高效的孔洞填充。随后，利用图像梯度引导区域感知滤波，从而在增强结构细节的同时有效抑制噪声。这两个阶段相互补充，共同提高了全局准确性和局部保真度，增强了深度补全的鲁棒性和精度。该方法在KITTI数据集上进行了验证，实验结果表明，与经典方法相比，在补全准确性和边缘保持方面有显著改进，为传统图像处理框架提供了一种更稳健的优化方案。
引言
深度图表示三维场景的二维投影，是捕捉空间几何形状的基本方式。它为视觉系统提供了重要的感知线索，并已被广泛应用于自动驾驶[1]、增强现实[2]和3D重建[3]中。在实际场景中，由LiDAR传感器[4]或结构光设备[5]生成的深度图经常存在大量空洞区域和严重不连续性。这些问题在远处区域、物体边界以及低反射率表面上尤为明显，这些地方的空间信息通常不完整——有时整个地图中有效像素的比例不到10%[6]。为应对这一实际挑战，出现了深度补全技术，其目标是从稀疏输入生成高质量的密集深度图。通过基于可用像素估计缺失值，这些方法旨在重建完整且准确的深度表示[7]，从而支持下游的高级感知任务[8]。因此，在保持结构细节和几何一致性的同时实现高效的深度补全已成为当前研究的重点。
现有的深度补全技术通常分为两大类：引导式方法和无引导式方法。引导式方法同时使用稀疏深度图和相应的RGB图像（从相同视角捕获）作为输入，利用RGB数据中的结构和上下文线索来辅助补全过程[[9], [10], [11], [12]]。相比之下，无引导式方法仅依赖稀疏深度图，在没有额外视觉信息的情况下进行深度估计[13,14]。
在这两类方法中，实现策略可以进一步分为基于深度学习和基于传统图像处理的方法。深度学习模型擅长捕捉复杂特征和处理大规模场景；然而，它们通常需要大量的计算资源，依赖于大规模标注的数据集，并且在面对高度稀疏或不规则深度数据时往往表现不佳。相比之下，传统图像处理技术由于其高效性、无需训练的特点以及强大的可解释性而仍然非常相关。当设计得当时，这些方法在某些特定场景中甚至可以胜过基于深度学习的模型。
例如，Zhao等人[15]提出了一种利用表面几何形状和异常值去除算法进行深度补全的方法。Jason等人[12]提出了IP-Basic方法，该方法仅使用一系列基于传统图像处理的形态学操作和滤波器来完成深度图。
本文重点优化基于传统图像处理的深度补全技术。具体来说，我们提出了一种基于局部深度密度变化的自适应膨胀方法和一种基于梯度感知的自适应滤波策略，旨在提高整体补全质量，同时增强边缘保持和去噪能力。
本文的主要贡献如下：
•自适应膨胀优化：
我们提出了一种基于局部深度密度的自适应膨胀策略。该方法通过计算每个像素邻域内有效深度值的密度来动态调整膨胀核的大小。在稀疏区域，使用较大的核来增强填充空洞的能力；而在密集区域，使用较小的核来更有效地保持边缘细节。自适应滤波优化：
我们提出了一种由图像梯度信息引导的区域自适应滤波方法。首先，使用Scharr算子[16]准确提取图像梯度，然后利用这些梯度将图像分割成边缘区域和平坦区域。边缘区域经过锐化处理以增强结构细节，而平坦区域则进行更强的高斯平滑以抑制噪声。最后，引入了一种动态融合机制，根据局部边缘强度自适应地结合原始深度图和滤波结果。这使得可以对误差传播进行精细控制，并提高整体补全的鲁棒性。本文的其余部分安排如下：第Ⅱ节介绍深度补全的基本概念，并简要回顾了代表性方法IP-Basic。第Ⅲ节详细介绍了所提出的优化策略。第Ⅳ节在KITTI数据集上进行了实验验证，包括与几种主流方法的定量比较。第Ⅴ节总结了工作内容并讨论了未来研究的潜在方向。
深度补全
深度补全是指将稀疏深度图转换为完整且密集表示的过程。在实际应用中，获得的深度图通常包含大量缺失像素的区域，只有少量已知的深度值。深度补全技术旨在利用可用的深度测量数据（通常结合图像引导或学习模型）来推断缺失的深度值，以填补空洞。最终输出是一个密集的深度图
优化方法
基于局部密度的深度补全可以通过增强结构保持和细节恢复来提高重建质量[17]。传统的基于OpenCV形态学操作的方法[18]将图像划分为固定区域并应用统一的膨胀核。然而，由于场景中物体密度和尺度的变化，这往往会导致边界扩散或细节丢失。为了解决这个问题，本研究提出了一种基于局部密度的自适应膨胀方法
实验设置
为了系统地验证所提出的自适应膨胀和自适应滤波优化方法的有效性，本章设计并进行了多项比较实验。优化算法在KITTI数据集[34]上进行了测试。选择了1000个具有不同稀疏程度和结构特征的代表性场景作为验证样本。基于CPU的图像处理方法（IP-Basic、OG-DC和我们的方法）进行了评估
结论与展望
为了解决传统图像处理方法在结构适应性和误差控制方面的局限性，本文提出了两种深度补全优化策略。第一种是基于局部密度分布的自适应膨胀方法，该方法动态调整核的大小以更好地处理不同稀疏程度的区域，从而提高补全准确性和灵活性。第二种是梯度感知的自适应滤波方法，该方法区分了边缘和平坦区域
资助
本研究得到了中国博士后科学基金会（资助编号：2023M743757）、安徽省智能拆除设备工程实验室（APELIDE2024A004）开放项目和山东省自然科学基金（资助编号：ZR2021QF031）的资助。
作者声明
Man Jianli：概念化、方法论、撰写—初稿。
Li Qingdang：撰写—审阅与编辑、资金获取、监督。
Zhang Mingyue：撰写—审阅与编辑、资金获取、监督。
Zhao Bing：调查。
Zheng Linwei：调查。
