利用 Beltrami 流增强图像到点云的配准效果

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Enhance Image-to-Point-Cloud Registration with Beltrami Flow

图像到点云的配准（I2P）是计算机视觉中的基础且困难的问题，传统深度学习方法在有限样本时存在对应精度不足。本文基于信息几何视角，提出基于Beltrami流的I2P配准方法Flow-I2P，通过引入B-flow跨模态特征交互层逐步优化流形对齐，并利用协方差注意力优化为C-flow以降低计算成本。方法集成法向特征、多层C-flow和两阶段训练策略，在五个室内外数据集上验证，其内点率（IR）和召回率（RR）显著优于SOTA方法。

　　

摘要

图像到点云（Image-to-Point Cloud, I2P）配准是计算机视觉中的一个基本且具有挑战性的问题。尽管深度学习取得了显著进展，但在训练样本有限的情况下，I2P配准在对应关系准确性方面仍面临困难。为了解决这一挑战，我们提出了一种基于贝尔特拉米流（Beltrami flow）的I2P配准方法，称为Flow-I2P。从信息几何学的角度来看，I2P配准可以被重新定义为流形对齐问题。我们的深入分析表明，贝尔特拉米流通过提高流形对齐质量来增强I2P配准的效果。在此基础上，我们引入了一个基于贝尔特拉米流的跨模态特征交互层B-flow，以逐步细化流形对齐。为了降低内存和计算需求，通过结合基于特征协方差的注意力机制，将B-flow优化为C-flow。我们进一步通过开发Flow-I2P来提升I2P配准的性能，该方法融合了法线特征、堆叠的C-flow层以及两阶段训练策略。为了评估Flow-I2P的配准性能，我们在五个室内和室外数据集上进行了广泛实验，包括RGB-D V2、7-Scenes、ScanNet、KITTI以及一个自收集的数据集。实验结果表明，Flow-I2P在相似点比率（Inlier Ratio, IR）和配准召回率（Registration Recall, RR）方面均优于现有的最先进方法。我们得出结论，Flow-I2P显著提升了I2P配准的能力。Flow-I2P的源代码是可用的。

图像到点云（I2P）配准是计算机视觉中的一个基本且具有挑战性的问题。尽管深度学习取得了显著进展，但在训练样本有限的情况下，I2P配准在对应关系准确性方面仍面临困难。为了解决这一挑战，我们提出了一种基于贝尔特拉米流（Beltrami flow）的I2P配准方法，称为Flow-I2P。从信息几何学的角度来看，I2P配准可以被重新定义为流形对齐问题。我们的深入分析表明，贝尔特拉米流通过提高流形对齐质量来增强I2P配准的效果。在此基础上，我们引入了一个基于贝尔特拉米流的跨模态特征交互层B-flow，以逐步细化流形对齐。为了降低内存和计算需求，通过结合基于特征协方差的注意力机制，将B-flow优化为C-flow。我们进一步通过开发Flow-I2P来提升I2P配准的性能，该方法融合了法线特征、堆叠的C-flow层以及两阶段训练策略。为了评估Flow-I2P的配准性能，我们在五个室内和室外数据集上进行了广泛实验，包括RGB-D V2、7-Scenes、ScanNet、KITTI以及一个自收集的数据集。实验结果表明，Flow-I2P在相似点比率（Inlier Ratio, IR）和配准召回率（Registration Recall, RR）方面均优于现有的最先进方法。我们得出结论，Flow-I2P显著提升了I2P配准的能力。Flow-I2P的源代码是可用的。