VoxDepth：在边缘设备上对深度图像进行校正

《ACM Transactions on Embedded Computing Systems》：VoxDepth: Rectification of Depth Images on Edge Devices

自主移动机器人依赖深度图像完成三维重建和视觉SLAM，但现有方法存在噪声和速度问题。本文提出VoxDepth方法，通过3D点云融合和2D模板投影，在边缘设备Jetson Nano上实现27 FPS，较现有方法提升31% PSNR，有效校正算法噪声和闪烁噪声。

　　深度图像在自主移动机器人领域扮演着至关重要的角色，例如三维重建和视觉SLAM（同时定位与建图）。然而，这些图像中存在不准确之处会严重限制应用效果，导致结果不理想。商业深度相机生成的图像常常伴有噪声，表现为闪烁像素和错误区域。基于机器学习（ML）的方法虽然在深度图像修复方面表现优异，但其计算需求较高，难以在计算资源有限的边缘设备上运行。而非ML方法则速度较快，但精度有限，尤其是在处理由遮挡和相机运动引起的误差时效果不佳。因此，研究一种既高效又准确的深度图像修复方法成为亟需解决的问题。

为应对这一挑战，本文提出了一种名为VoxDepth的新方法。该方法适用于边缘设备，如NVIDIA Jetson Nano板，具有较高的处理速度和出色的图像质量。VoxDepth结合了多项创新技术，包括三维点云构建与融合，以及利用点云生成二维模板来修复深度图像中的错误。通过实验验证，VoxDepth在合成和真实世界数据集上均表现优异，特别是在真实世界数据集上，其图像质量比现有方法提升了31%，同时保持了27帧每秒（FPS）的竞争力。

深度图像的获取方式多种多样，包括LiDAR、结构光和立体视觉等。其中，立体视觉因其成本低、精度高、体积小和重量轻，成为许多移动机器人开发者的首选。然而，立体视觉生成的深度图像也容易出现噪声和缺失区域的问题。本文深入探讨了深度图像修复的两种主要噪声类型：算法噪声和闪烁噪声。算法噪声通常由遮挡或纹理缺失引起，而闪烁噪声则表现为像素值的快速变化。修复这些噪声需要不同的方法，其中算法噪声的修复更为复杂，需要使用更高级的解决方案。

现有的深度图像修复方法大致分为两类：基于机器学习的方法和非机器学习方法。基于机器学习的方法在精度上表现优异，但计算资源消耗较大，难以在嵌入式设备上实时运行。而非机器学习方法虽然速度快，但修复效果有限，特别是在处理算法噪声时。本文提出的VoxDepth方法通过结合三维点云和二维模板，实现了对这两种噪声的有效修复。该方法利用三维点云的稳定性来提高修复的精度，同时采用二维图像处理技术来快速修复闪烁噪声。

VoxDepth的核心思想是构建一个稳定的三维点云，并将其转换为二维模板。该模板在深度图像修复过程中发挥关键作用，帮助识别和修复错误区域。点云的构建过程包括对多个连续帧进行融合，以生成一个更完整的三维场景表示。随后，将该点云投影为二维图像，作为修复的基础。该方法通过使用快速且高效的图像处理技术，如形态学变换中的膨胀和腐蚀操作，实现了对二维图像的修复。此外，VoxDepth还结合了运动补偿技术，以提高修复的准确性和实时性。

为了确保方法在嵌入式设备上的可行性，VoxDepth特别关注计算效率和内存使用。该方法利用并行计算和多线程技术，将不同的处理步骤分配到不同的硬件资源上，从而减少延迟并提高整体性能。实验结果显示，VoxDepth在Jetson Nano设备上能够达到26.71 FPS的处理速度，同时保持较低的功耗，平均功率消耗低于5瓦。这表明该方法在资源受限的边缘设备上具有良好的适用性。

此外，本文还评估了VoxDepth在不同深度图像修复任务中的表现。通过对比实验，VoxDepth在多个真实世界和合成数据集上均表现出色，尤其是在处理由遮挡引起的算法噪声方面。实验数据表明，该方法在PSNR（峰值信噪比）和RMSE（均方根误差）指标上均优于现有方法，说明其在图像质量和修复效果方面具有显著优势。

VoxDepth的实现分为几个关键步骤，包括点云融合、二维模板生成、运动补偿和图像修复。其中，点云融合是构建稳定三维场景表示的核心，通过多次融合多个连续帧来生成一个更精确的点云。随后，将该点云投影为二维图像，作为修复的模板。该模板在后续的修复过程中被用来识别和修复错误区域。此外，VoxDepth还利用了运动补偿技术，通过估计相机的运动来提高修复的准确性。

在实际应用中，VoxDepth展示了其在三维感知任务中的重要价值。例如，在无人机编队和语义分割任务中，深度图像的准确性直接影响到任务的执行效果。实验结果表明，使用VoxDepth进行深度图像修复可以显著提高这些任务的性能，减少由噪声引起的误差，从而提高整体系统的可靠性和效率。

本文还对VoxDepth的各个组件进行了详细的分析，包括点云融合、二维模板生成、运动补偿和图像修复。这些组件的优化使得VoxDepth能够在保证图像质量的同时，实现较高的处理速度。通过实验，我们验证了不同参数设置对图像质量的影响，例如点云融合窗口的大小和模板替换的阈值。这些分析为VoxDepth的进一步优化提供了依据。

综上所述，VoxDepth是一种高效且准确的深度图像修复方法，特别适用于资源受限的边缘设备。该方法结合了三维点云和二维模板的优势，通过多步骤处理流程，实现了对深度图像中不同类型的噪声的有效修复。实验结果表明，VoxDepth在处理速度、图像质量和功耗方面均优于现有方法，为自主移动机器人领域提供了一种新的解决方案。