面向自动驾驶的基于几何先验与非局部亲和性的深度补全方法

《Digital Signal Processing》：Depth Completion Method Based on Geometric Prior and Non-local Affinity for Autonomous Driving

　　

**摘要**

近年来，由于深度补全所提供的三维几何信息，在自动驾驶和机器人导航等领域的场景理解方面取得了显著进展。现有方法分别从RGB视觉信息和稀疏深度数据中提取多模态特征，并通过跨模态特征交互机制实现异构数据的协同表示。尽管取得了一定成就，但稀疏深度是三维深度点的降维表达，忽略了深度数据与真实三维空间之间的内在相关性，削弱了深度恢复后的物理一致性。基于这一洞察，我们针对RGB-D数据的编码实现了一种新颖的几何先验自注意力机制，该机制将稀疏深度的三维几何线索提取为先验，用于分配注意力权重，使模型不仅具有空间感知能力，而且在弱光、过曝等复杂条件下也能进行鲁棒的预测。此外，在解码器中，我们构建了一个多任务框架，并基于非局部亲和传播策略获取法线约束，以优化边界和细节的恢复。大量实验表明，我们的方法在KITTI和NYUv2基准测试中展现了最先进的性能。此外，我们还进行了实车测试，以验证模型在实际场景中的有效性。

**引言**

随着人工智能领域的快速发展，如增强现实[1,2]、机器人导航[3,4]和自动驾驶[5,6]，获取精确且密集的深度图以辅助场景理解变得越来越重要。深度补全凭借其高精度和长距离预测深度的优势而广受欢迎。在该任务中，三维激光雷达点被投影到二维像素平面形成稀疏深度图作为输入数据，并涉及来自各种传感器的多模态信息以辅助生成可靠的密集深度，如彩色图像[7,8]、表面法线[9,10]和置信度图[11,12]。

然而，当前研究侧重于整合RGB及其衍生特征以辅助补全过程，这使得模型高度依赖容易受到RGB外观干扰的语义信息。例如，在弱光、过曝和语义突变等复杂条件下，基于语义的模型的鲁棒性和泛化能力面临严峻挑战，往往导致性能显著下降或功能失效。二维表达的稀疏深度无法弥补这一不足，但挖掘潜在的三维几何特征有助于推断未测量区域的结构[13]。最先进的模型尝试捕捉几何线索，但在优雅且有效地整合三维全局几何上下文方面始终面临困难。例如，TPVD[13]提出了一个三视角分解框架，可以显式地建模三维几何。BP-Net[14]基于辐射差异和空间距离构建非线性模型，并将目标深度从邻近的深度测量值传播过来。上述方法引入了额外的视角数据和非线性模型，导致显著的额外计算开销和模型复杂度。

相比之下，本文在编码器和解码器中都设计了策略，可以在不依赖任何额外数据或模型的情况下高效访问三维几何线索。具体而言，基于我们利用全局几何特征（如平面和边界的分布）来指导未测量区域恢复的想法，本文提出了一种新颖的几何先验自注意力（GPSA）机制。该机制通过将稀疏深度数据的三维空间几何特征显式嵌入自注意力中，引导注意力权重的分配，从而使模型具备场景理解能力。此外，我们构建了一个多任务框架，同时预测深度图和法线图，然后引入了一种高效设计，利用非局部亲和将法线的几何约束传播到深度模态中，以优化边界和细节的恢复。总之，我们的模型被命名为基于几何先验和非局部亲和的深度补全网络（GPNA-Net）。

稀疏深度的三维几何特征在促进场景理解从而提高预测精度方面发挥着关键作用：1）几何先验：三维稀疏深度数据代表了关键观测点的真实坐标，包含关于场景几何结构的重要先验信息。通过显式建模观测点邻域内的深度分布，可以进一步推导出场景的几何连续性特征。2）全局场景布局：通过对离散三维空间点所携带的先验特征进行全局上下文建模，可以推断出宏观场景中各种几何结构的分布模式，从而为深度恢复提供关键的结构性指导。总体而言，通过拟合这些稀疏测量值的三维几何线索，可以对后续补全过程施加物理约束，有效确保输出严格遵循真实场景的物理布局。

基于上述考虑，我们实现了GPSA，将全局几何线索整合到自注意力中。首先，我们将稀疏深度投影到相机坐标系中，以恢复其在三维空间中的分布模式。随后，采用对稀疏和不规则数据具有鲁棒性的多膨胀可变形卷积来捕捉三维空间点所携带的结构特征。提取的几何特征随后被嵌入为一系列标记，作为几何先验显式地指导自注意力中的权重分配。在此过程中，补丁标记之间的全局几何上下文最终被整合到主干网络的特征表示中。由于提供了空间分布模式和物理约束，语义失效或突变的问题也得到了补偿，如图1所示。

另一方面，尽管Vision Transformer（ViT）[15]得益于自注意力的固有特性来建立长程依赖关系，突破了传统全局上下文建模的瓶颈，但仍存在两个固有缺点：1）分词过程中的网格化和线性投影破坏了细粒度的局部结构信息，使模型在捕捉局部表示方面存在固有局限。2）与CNN中显式嵌入的平移等变性和局部感受野不同，全局自注意力机制天生缺乏归纳偏置，导致泛化能力较弱[16,17]。针对上述问题，近期研究将ViT与CNN相结合[18,19]，但由于传统卷积与输入无关，无法适应不同的输入，因此与动态生成的自注意力权重之间存在表示差异和语义鸿沟。因此，当深度堆叠时，前一卷積的特征可以被ViT整合和利用，但卷积的静态特性使其无法适应前一ViT的特征，这也是两者无法完全融合的根本原因。

鉴于精确的深度预测依赖于全局上下文和局部细节的高效聚合，本研究旨在设计一种方案，系统地弥合CNN与ViT之间的表示鸿沟，从而有效协同自注意力和局部感受野的优势。考虑到动态权重的参数自适应机制是利用自注意力优势的重要途径，我们构建了一个具有与ViT类似输入数据自适应能力的卷积算子，命名为输入自适应卷积（IAConv）。最终，GPSA和IAConv被封装成一个编码单元，从而实现了全局与局部动态的优雅融合，即协同动态表示单元（CDRU）。多模态特征在作为金字塔架构编码器构建基本单元的CDRU中得到有效整合和实时交互。

在解码器设计中，场景几何约束仍然是影响深度恢复质量的核心因素。现有研究普遍采用标量监督范式[20,21]，该范式仅最小化预测深度与真值之间的绝对误差。我们指出，这种监督对x/y方向的偏移相对不敏感，不利于惩罚边界的畸变和模糊。针对这一局限性，本文提出构建深度信息的向量表示，该表示在继承传统标量监督对每个像素数值精度要求的同时，通过法线约束梯度和表面朝向。法线对深度的阶梯边界结构敏感，能够帮助模型区分深度不连续的边界区域并捕捉细微的表面起伏，从而增强边界和细节的恢复。此外，深度和法线都是描述三维场景的二维表示，两者具有共同的几何基础和内在相关性。尽管现有方法已尝试为深度预测提供法线监督[22,23]，但仅进行了深度和法线特征空间的简单融合，无法精确建模融合过程，也无法知晓特征的传播模式。此外，如DeepLiDAR[9]等方法中，额外使用的卷积神经网络来预测法线会大大增加计算开销。在本文中，我们构建了一个多任务解码器，同时预测深度图和法线图，并设计了非局部亲和融合策略来精确建模跨任务交互的过程和模式。任务之间的模式关系被表示为亲和矩阵，亲和的传播通过迭代扩散过程实现，在此过程中，梯度和表面朝向等几何约束被传播到深度模态的特征空间，以提高边界和细节的恢复效果。与DeepLiDAR[9]相比，多任务框架不仅能显著节省计算资源，还能通过交互策略分别优化每个任务的性能。

我们的主要贡献可以总结如下：

（1）我们引入了一种高效的深度补全模型GPNA-Net，主要创新在于引入稀疏深度的三维几何先验和法线的几何约束，取得了最先进的性能。

（2）我们提出了一种新颖的自注意力机制GPSA，通过将稀疏数据的几何先验纳入自注意力权重的分配中，使模型能够感知三维场景的结构信息，从而即使在弱光、过曝和语义突变等复杂条件下也能保持鲁棒的预测。

（3）我们开发了动态卷积IAConv，为GPSA提供归纳偏置，两者共同构成了双动态结构CDRU，从而优化了自注意力与卷积之间融合不足的问题。

（4）我们构建了一个同时预测深度和法线的多任务框架，并设计了亲和传播策略将法线约束引入深度模态，优化了边界和细节的恢复效果。

**章节片段**

**基于Transformer的方法**

高效建模和融合全局与局部特征是实现对深度恢复的关键。早期方法[24,25]仅依赖卷积神经网络来编码多模态特征。然而，由于固定核大小的限制，感受野倾向于局部化，难以实现优秀的全局感知，因此结果不尽如人意。近年来，视觉Transformer因其建立长程依赖的能力而受到广泛关注。

**方法**

GPNA-Net的整体架构如图2所示，GPSA和IAConv被集成到协同动态表示单元（CDRU）中。为了避免两者因共享相同输入特征而相互干扰，进而导致模型训练发散，我们将输入数据X解耦为两个独立分支：X1和X2，然后分别送入GPSA和IAConv。编码器共有4个阶段，每个阶段的CDRU块数量分别为[2, 2, 2,

**数据集**

KITTI数据集[46]是从移动车辆上采集的道路场景，主要用于自动驾驶研究。它为各种计算机视觉任务提供了基准。我们使用其中的深度补全（KITTI DC）数据集进行模型的训练和评估，并在三维物体检测（KITTI 3D）数据集上获得泛化的深度图，以进行基于伪点的检测，评估泛化能力。KITTI DC数据集提供了86K个训练样本、1K个评估

**结论**

在本文中，我们聚焦于探索三维几何，提出了GPNA-Net。在几何先验自注意力（GPSA）中，我们将稀疏深度的几何先验纳入自注意力权重的分配中，使模型能够感知三维场景结构，提高了预测性能和复杂条件下的鲁棒性。此外，为GPSA提供归纳偏置，我们设计了动态卷积IAConv，增强了自注意力与卷积之间的融合。

**作者贡献声明**

Jian Wu提供实验环境和实车平台。Siyuan Su进行实验并撰写论文。

Rui He 指导论文的撰写和修订。Jian Wu|Siyuan Su|Rui He