基于SPN的深度补全的高斯溅射置信度监督方法

《Pattern Recognition》：Gaussian Splatting Confidence Supervision for SPN-based depth completion

　　

郭海鹏|李俊宝|刘焕宇

• •
  我们提出了GSCS，这是一种在训练阶段用于基于SPN的深度补全的置信度监督框架，它采用前馈式3D高斯散射技术。
• •
  通过可微的置信度-透明度耦合机制，借助输入视图重建实现密集的自监督置信度学习。
• •
  GSCS能够在不改变模型推理架构或计算成本的情况下提升现有的深度补全网络性能。
• •
  我们引入了PRLRA机制，进一步利用GSCS生成的重建残差、透明度以及局部关系特征来指导传播过程。
• •
  在NYUv2、TOFDC和VOID数据集上的实验验证了GSCS在不同基准模型、模型规模以及稀疏深度获取条件下的有效性。

引言

随着自动驾驶[1]、增强现实[2]、机器人感知以及具身智能[3]的快速发展，精确的密集深度估计已成为空间感知的关键。尽管激光雷达[4]、飞行时间相机以及结构光传感器这类主动传感器能够提供度量型深度数据，但由于硬件限制、表面反射、遮挡、感知范围以及环境干扰等因素，其输出数据往往呈现稀疏、含噪或不完整的特点。深度补全技术正是为了解决这一问题，它借助同步的RGB图像作为引导，从稀疏的测量数据中恢复出密集的深度图，从而为后续应用提供更可靠的几何感知能力[5]、[6]。

基于深度学习的深度补全方法已经取得了显著进展。早期的方法主要采用编码器-解码器架构来融合RGB图像与稀疏深度图，而近期的方法则引入了更强的RGB-D融合机制、几何先验、表面法线约束以及基于Transformer的骨干网络。除了骨干网络设计之外，空间传播网络（SPNs）[7]、[8]、[9]也成为了常见的优化策略。这类网络通过根据学习到的相似性[10]和置信度权重[11]聚合相邻的深度假设，不断迭代优化粗略的深度预测结果，从而更好地保留局部结构，减少过度平滑的边界现象。

尽管这些基于SPN的方法效果不错，但它们仍然存在一个尚未得到充分解决的缺陷：在传播过程中所使用的置信度往往缺乏有效的监督。如图1所示，相似性决定了哪些相邻像素应该参与优化，而置信度则决定了对应的深度假设是否足够可靠，可以继续被传播下去。现有的方法要么直接从融合后的特征中回归出置信度，而不进行密集监督[9]，要么从稀疏深度误差中推断置信度目标[12]。前者缺乏明确的优化信号，后者则只能在有效的深度位置提供有限的监督。因此，那些不可靠的深度假设可能会被赋予过高的置信度，进而被反复传播到周边区域。

为了解决这个问题，我们提出了高斯散射置信度监督（GSCS），这是一种在训练阶段用于基于SPN的深度补全的置信度监督框架。其核心思路是通过可微的单目3D重建过程，检验预测出的深度值和置信度是否能够解释观测到的RGB图像。GSCS会根据预测出的密集深度值和置信度构建一个前馈式的高斯表示，并将传播置信度与高斯透明度相结合。由于透明度能够控制渲染过程中每个高斯元素的可见性贡献，因此渲染结果与输入RGB图像之间的光度残差便可以为置信度校准提供密集型的监督信号。这样一来，GSCS就建立了从输入视图重建到传播置信度的明确梯度路径，而且在推理阶段会去掉高斯相关模块，不会带来额外的推理开销。

此外，我们还引入了光度残差引导的局部关系聚合（PRLRA）模块，进一步充分利用GSCS生成的重建线索。该模块会在一个紧凑的局部邻域内聚合重建残差、高斯透明度以及骨干网络特征，同时建模中心点与相邻点之间的关系，从而生成具备结构感知能力的传播引导信号。这一轻量级的扩展方案旨在探究GSCS优化得到的置信度与残差信号是否能够在真实的稀疏深度感知场景下进一步提升传播效果。

我们在NYUv2、TOFDC和VOID数据集上进行了大量实验，测试内容包括随机采样的稀疏深度数据、真实的飞行时间测量数据以及基于视觉惯性单元的稀疏重建结果。GSCS在多种基于SPN的基准模型以及不同模型规模上都展现出了良好的性能，包括NLSPN以及多种CompletionFormer变体，这说明它的有效性并不依赖于特定的架构或参数规模。我们还在这三个评估数据集上将GSCS与PRLRA以及现有的其他先进方法进行了对比。定量分析结果、定性可视化结果、置信度与误差的相关性分析以及消融实验都表明，GSCS带来的性能提升源自于其所设计的置信度-透明度耦合机制，而非普通的重建模块或过于灵活的透明度映射函数。综上所述，我们的主要贡献如下：

• •
  我们提出了GSCS，这是一种在训练阶段使用的置信度监督框架，它借助前馈式单目高斯重建技术，为基于SPN的深度补全任务提供密集型的自监督置信度估计功能，且不会改变模型的推理架构。
• •
  我们设计了一种可微的置信度-透明度耦合机制，并引入了PRLRA模块，该模块进一步利用GSCS生成的重建残差、透明度以及局部关系特征来为传播过程提供引导。
• •
  我们在NYUv2、TOFDC和VOID数据集上，针对不同的基准模型、模型规模以及稀疏深度获取条件开展了全面实验。定量对比、定性分析、置信度与误差的相关性分析以及消融实验都证明了我们所提出框架的有效性及其存在的局限性。

章节要点

相关工作

深度补全技术旨在从稀疏的观测数据中推断出密集的深度信息，通常会以RGB图像作为辅助引导。现有的方法主要通过更强大的骨干网络、基于传播的优化机制以及各种辅助约束来提升这一任务的性能。近期，前馈式3D高斯散射技术也为深度预测与图像重建之间的关联提供了高效的可微表示方式。我们回顾了这些研究方向，并阐述了我们的方法与它们之间的差异。

问题定义与基础理论

在本节中，我们首先明确了基于SPN的深度补全流程，并阐述了置信度在空间传播过程中的作用。随后，我们从可微重建的角度重新审视了前馈式高斯散射技术，说明了为什么高斯透明度能够为传播置信度的监督提供天然的接口。这些理论基础为第4节中提出的GSCS框架奠定了依据。

方法阐述

在本节中，我们将介绍高斯散射置信度监督（GSCS）框架，该框架将前馈式高斯散射技术整合到基础的深度补全网络中，从而能够通过输入视图重建来实现对网络置信度图的自我监督优化。

数据集与评估指标

我们在三个不同类型的数据集上对所提出的方法进行了评估，这些数据集涵盖了随机生成的稀疏深度数据、真实的飞行时间测量数据以及基于视觉惯性单元的稀疏重建结果。

NYUv2数据集 [43]：该数据集包含由Kinect传感器拍摄的464个室内场景。与以往的深度补全研究类似，我们随机选取了5万张图像用于训练，而在官方提供的654张测试图像上进行性能评估。原始的640×480分辨率图像会被进行半采样处理并居中裁剪为304×228分辨率。稀疏深度数据则是通过随机采样有效点来生成的

局限性分析与讨论

我们还在KITTI [4]数据集上使用NLSPN和LRRU模型对GSCS进行了进一步测试，相关结果如表11所示。我们使用官方提供的Velodyne激光雷达原始深度图作为稀疏输入数据，而相应的半密集标注深度图则用作监督信号以及性能评估的参考标准。所有实验都在相同的实验环境以及数据加载规则下，针对各个基准模型及其经过GSCS改进后的版本在公共验证集上开展。实验结果表明，GSCS能够略微降低两种模型的均方根误差

结论

在这项工作中，我们提出了GSCS，这是一种用于基于SPN的深度补全的高斯散射置信度监督框架。通过根据预测出的深度值和置信度构建前馈式高斯表示，并将传播置信度与高斯透明度相结合，GSCS实现了将输入视图重建转化为针对置信度校准的密集型自监督过程。这种设计不仅提升了训练过程中中间深度假设的可靠性，同时还保持了模型原有的推理效率

CRediT作者贡献说明

郭海鹏：论文撰写——审阅与编辑、论文撰写——初稿撰写、可视化处理、结果验证、软件工具开发、方法设计、问题研究、形式化分析、数据整理、概念构思。 李俊宝：资金筹集工作。 刘焕宇：课题指导、资金筹集工作。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

致谢

我们的这项工作得到了中国国家自然科学基金的支持（项目编号为62401177和62271166）。