HFCE：一种用于 3D 部分点云配准的可靠混合特征提取与置信度估计网络

《Neurocomputing》：HFCE: A Reliable Hybrid Feature Extraction and Confidence Estimation Network for 3D Partial Point Clouds Registration

　　

摘要 3D 点云配准是计算机视觉领域的一项基本任务。然而，精确配准，特别是对于部分重叠的 3D 点云，一直是一个具有挑战性的问题。现有的基于学习的方法在这种情况下通常存在特征干扰问题。为了解决这个问题，我们提出了一种混合特征提取与置信度估计（HFCE）网络，用于提取局部形状和空间特征，同时避免不同类型特征之间的相互干扰。首先，提出了一种混合特征提取网络（HFNet）来独立提取形状特征和空间坐标。与现有方法不同，我们的 HFNet 网络可以大幅提高特征判别力，从而提高配准精度。此外，为了减少仅依赖形状特征（无空间约束）引起的误匹配，我们提出了一种置信度估计网络（CENet），用于计算形状特征匹配和空间坐标匹配的置信度，实现形状和空间引导的无冲突融合，这有利于网络抑制虚假匹配并提高配准的鲁棒性。在多个合成和真实数据集上的实验结果表明，我们的方法在“部分”数据上达到了最先进（state-of-the-art）的性能。

引言 3D 点云配准 [1], [2] 旨在实现源点云和目标点云在统一 3D 坐标系内的精确对齐。与 2D 点云不同，3D 点云可以提供更多的空间细节和深度信息，从而实现更精确的对象建模和结构分析。由于这个原因，3D 点云配准已广泛应用于计算机视觉和机器人领域，如 3D 重建 [3]、机器人导航 [4] 和自动驾驶车辆感知 [5]。然而，3D 点云配准的实际应用通常面临重大挑战，这是由于测量环境或数据获取过程中的固有限制所致。具体来说，一些问题，如传感器噪声、遮挡和受限的视角，往往导致点云不完整，存在部分重叠或密度分布不均匀的情况。因此，在 3D 点云之间建立稳定的对应关系一直是一项基本任务。

迄今为止，已提出许多方法来解决这一具有挑战性的问题。例如，Besl 等人 [6] 提出了迭代最近点（ICP）算法，使用迭代方法估计刚体变换。然而，其配准性能对初始条件高度敏感，并倾向于收敛到局部最优。此外，Bouaziz 等人 [7] 采用稀疏诱导范数来减轻点云数据中的异常值。Eckart 等人 [8] 将配准任务表述为概率匹配框架，以建立 3D 点云之间的对应关系。然而，基于高斯混合模型（GMM）的方法通常无法在部分数据丢失时准确估计概率分布。

为了解决初始化依赖问题，一些研究人员提出了全局配准，以充分利用候选点的相关性。例如，Chen 等人 [9] 使用采样点与对应平面之间的最短距离显著提高了收敛速度和配准精度。除此之外，许多学者提出了基于分支定界的方法，包括 GOGMA [10]、GO-ICP [11] 和 GoTS [12]。然而，这些方法不适用于实时任务，因为它们的计算复杂度高达 ???(??3)。近年来，基于学习的点云配准方法受到了广泛关注。例如，Wang 等人 [13] 提出了空间变换器来处理仿射和可变形变换。该方法可以通过根据几何和语义特征自适应调整局部邻域来有效学习相对特征。此外，S-LASSIE [14] 利用多角度投影损失函数来缓解单目重建中的深度歧义。所有这些方法都取得了很大改进，然而，它们在部分数据上面临巨大挑战 [15], [16], [17]。为了解决这一具有挑战性的问题，PointNetLK [18] 和 PCRNet [19] 从输入点云中提取两个全局特征，以直接回归变换参数。GeoTransformer [20] 提出了一种几何感知 Transformer，将全局注意力与局部几何约束相结合，用于编码成对距离和三元组角度。然而，形状特征和空间坐标的简单拼接将遭受特征干扰问题，导致配准效果不佳。为了解决这个问题，通过解耦形状和空间特征学习，我们提出了一种混合特征提取网络（HFNet）以最小化干扰。此外，我们提出了一种置信度估计网络（CENet），以在迭代优化期间利用相似性指标并减少误匹配。本文的主要贡献总结如下：
1) 我们提出了一种 HFNet 模型，在特征提取阶段明确解耦局部形状细节和空间坐标，有效防止部分重叠场景下的跨模态特征干扰。
2) 我们设计了一种 CENet 模型，利用动态硬阈值来减少严重的预测冲突。这种机制可以自适应地将匹配主导地位从形状特征转移到空间约束，从而产生无冲突的融合。
3) 广泛的实验结果表明，我们的方法在合成基准（例如，ModelNet40）上达到了最先进的性能。此外，在真实世界斯坦福 3D 扫描库上严格的零样本评估证明了所提方法具有稳健的 Sim-to-Real 泛化能力。

论文的其余部分组织如下：第 2 节介绍了一些关于 3D 点云配准任务的初步工作。在第 3 节中，详细说明了所提出的 HFCE 框架，包括 HFNet 和 CENet。第 4 节展示了与最先进方法的对比实验结果。第 5 节是相关的消融实验，主要关注每个所提模块的有效性、相关参数的选择以及对不同水平噪声和干扰的鲁棒性。第 6 节总结本文。

章节摘要
相关工作
本节总结了与 3D 点云配准相关的研究，特别是针对部分到部分的点云。传统的 3D 点云配准方法大致可分为精细配准和粗略配准方法。通常，大多数精细配准方法对初始姿态估计敏感。例如，ICP [6] 的性能在很大程度上取决于初始条件。同样，Bouaziz 等人 [7] 和 Segal 等人 [21] 提出的方法也是如此。

所提方法
在本节中，我们首先提出了所提出的 HFCE 的一般框架，然后详细介绍我们提出的两个模块，即 HFNet 和 CENet。

实验
第 4.1 节解决了后续实验选择的点云数据集和评估指标问题。第 4.2 节展示了实验的实施细节。在第 4.3 节中，在几个公共使用数据集上进行了多项对比实验，即 ModelNet40 和 Odometry KITTI，以展示所提方法相对于最先进方法的有效性。第 4.4 节展示了不同方法的可视化结果以及配准结果。

消融研究
在本节中，我们进行了多项消融实验，以评估所提出的"HFNet"框架中每个组件的贡献，关键超参数的最佳选择，以及对不同重叠比率、噪声和异常值干扰的鲁棒性。此外，为了全面评估模型对复杂现实世界退化的鲁棒性和泛化能力，评估在四种不同配置下系统地进行：1)

结论
为了实现部分重叠下的鲁棒 3D 配准，我们提出了一种新颖的 HFCE 框架，有效地将解耦特征学习和置信度感知匹配结合起来。此外，所提出的 HFNet 模型可以独立捕获局部几何签名和空间坐标模式，从而消除特征干扰并增强特征判别力。同时，我们的 CENet 模型可以对匹配进行可靠性选择。

作者贡献
Mingjuan Tian 和 Kai He 参与了概念化；Mingjuan Tian 贡献了方法论；Ziqi Yang 贡献了软件；Mingjuan Tian 和 Kai He 协助了验证；Ziqi Yang 帮助了形式分析；Shuai Yuan 参与了调查；Kai He 贡献了资源；Mingjuan Tian 贡献了数据管理；Ziqi Yang 和 Jiawei Huang 参与了写作——初稿准备；Kai He 贡献了写作——审查和

代码获取
我们的代码将在以下网站发布：https://github.com/yangzq8/HFCENet。

未引用参考文献 [52]

CRediT 作者贡献声明
Mingjuan Tian: 验证，方法论，数据管理，概念化。Ziqi Yang: 写作——初稿，软件，形式分析。Kai He: 写作——审查和编辑，验证，资源，概念化。Jiawei Huang: 写作——初稿。Shuai Yuan: 调查。

竞争性利益声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文报告的工作。

致谢
作者感谢编辑和匿名审稿人提供的富有洞察力的建议和评论，以提高论文的质量。这项工作得到了国家自然科学基金（编号：62171314）的支持。

利益冲突
作者没有需要声明的与该文章内容相关的利益冲突。

Mingjuan Tian 于 2022 年获得中国天津科技大学电子信息与自动化学院的工学学士学位。她目前正在天津大学电气与信息技术工程学院攻读学位。她的研究兴趣包括计算机视觉、图像恢复和深度学习。

Mingjuan Tian|Kai He|Ziqi Yang|Shuai Yuan|Jiawei Huang
天津大学电气与信息技术工程学院，中国天津 300072