通过向量道路网络先验的非刚性校正实现漂移抑制的视觉定位

《Information Fusion》：Drift-Suppressed Visual Localization via Non-Rigid Rectification of Vector Road-Network Priors

　　

• •
  通过与非刚性校正地图融合实现抗漂移的视觉定位。
• •
  基于单目相机、IMU和矢量道路网络构建低成本视觉先验地图。
• •
  场景级地图识别可实现对劣化场景中的里程计漂移补偿。

引言

单目视觉SLAM（同时定位与建图）和里程计系统通过相对测量来估计状态[1]、[2]、[3]。由于缺乏绝对参考，它们的估计值会随时间出现漂移，这使得实现长期、全局一致且精确的定位变得困难[4]、[5]。为了在统一参考框架中获得6自由度姿态估计，通常需要引入额外的绝对约束源，最常见的就是全球导航卫星系统（GNSS）[4]或预先构建的全局先验地图（如[6]、[7]）。GNSS能够在开放环境中提供高效可靠的绝对定位，但其性能极易受到遮挡和多路径效应的影响[4]、[8]。而基于先验地图的定位方法则是通过将当前观测结果与预先构建的场景地图对齐，从而在统一参考框架中恢复绝对姿态[5]、[9]。因此，对于在GNSS信号不佳或无法使用的环境（如城市峡谷和隧道）中运行的自主移动系统而言，基于先验地图的定位方法已成为一种重要的技术方案[5]、[10]。

在那些将单目视觉SLAM或里程计与先验地图融合起来的全局定位框架中，现有的先验地图大致可分为跨模态地图和模态一致的视觉地图两类[5]、[10]。跨模态地图通常是由激光雷达点云或车道标线、路缘以及交通标志等高级语义元素构成的。这类地图通常具备准确的几何结构以及稳定的度量尺度[6]、[7]。然而，它们的构建往往依赖于成本较高的激光雷达、GNSS和IMU传感器，以及专门的移动测绘平台，这就导致了较高的数据收集和维护成本[5]、[11]。此外，基于视觉的在线定位与跨模态先验地图之间的模态差异，要求进行强大的特征关联和坐标对齐，而在复杂的城市环境中，这一任务仍然极具挑战性[5]、[10]。

相比之下，模态一致的视觉先验地图则是通过基于视觉的流程构建的，比如可重复使用的SLAM特征地图[2]、[9]或是大规模离线SfM重建技术[12]、[13]。这类地图的特征表示方式与在线单目定位天然兼容。不过，由SLAM生成的地图会积累漂移误差，即便是在有GNSS辅助的视觉SLAM系统中，当处于GNSS信号不佳或严重遮挡的环境中时，其全局精度也会下降[9]、[14]。SfM虽然可以通过全局束调整来提升几何一致性，但其 scalability却受到累积匹配误差、稀疏的视图重叠以及高昂的计算和存储成本的限制[12]、[13]。总体而言，现有的先验地图解决方案仍然难以在视觉质量较差的大规模环境中，同时实现低成本构建、全局一致性以及模态间的有效融合。

这些局限性引出了一个自然的问题：我们能否在不依赖昂贵测绘平台的情况下，为单目定位获取一个具有全局参考意义的先验地图，同时还能保持与在线视觉系统的模态一致性？我们通过一种以道路网络为引导的框架来回答这个问题，该框架利用矢量道路网络的几何先验在离线状态下对原始SLAM地图进行校正，然后再将在线里程计数据与该经过校正的视觉先验地图融合，从而实现全局一致的定位（见图1）。

在该框架中，我们首先提出了一种基于道路网络数据的视觉SLAM地图校正方法，名为VMR-RD，该方法能够大规模地构建出轻量级、低成本且模态一致的先验地图。VMR-RD利用带有地理坐标的道路几何信息作为轻量级的空间先验，以单目视觉或视觉惯性SLAM/里程计系统生成的原始视觉地图作为校正目标。随后，它引入了薄板样条（TPS）变形模型[15]、[16]，对原始地图的帧姿态进行非刚性校正，使其转换到统一的全局坐标系中。通过这种方式，原始SLAM地图就被转化成了一个具有全局参考意义且抗漂移的视觉特征先验地图。这一设计的优势在于道路网络数据覆盖范围广且易于获取，相比基于SfM的全局重建，基于TPS的校正方法计算成本更低，而且先验地图与在线定位系统属于同一视觉模态。因此，VMR-RD能够以较低的数据收集和计算成本，高效地生成用于重新定位和地图融合的校正后的视觉先验地图。

此外，在隧道等视觉质量较差的环境中，纹理稀疏或高度重复的情况会显著降低先验地图中视觉特征的独特性[3]。这样一来，在地图融合过程中就很难可靠地触发基于特征的重新定位，而视觉惯性里程计（VIO）或SLAM在劣化路段上积累的漂移误差也可能无法得到及时纠正。为了解决这一问题，我们在VMR-RD的基础上进一步提出了一种基于地图校正参数的在线里程计误差校正方法，名为OER-MRP。OER-MRP会将原始SLAM地图与校正后的视觉先验地图在劣化路段上的差异编码为误差校正参数，并将这些参数存储在校正后的地图中。在在线定位过程中，一旦识别出对应的劣化场景段落，就会利用这些参数来修正里程计的估计值。与需要精确地重新定位到某个特定的参考关键帧不同[2]、[14]，OER-MRP是通过场景级的软帧关联来实现逐段里程计校正的。因此，即便在重新定位成功率极低的视觉劣化环境中，OER-MRP依然能够有效抑制累积的漂移误差。

本研究的核心思想是利用道路网络的结构稳定性，来约束基于视觉的估算方法所固有的累积误差。本文的主要贡献可总结如下：

• •
  我们利用现有的矢量道路网络数据，提出了一种轻量级、抗漂移的视觉全局定位方法，该方法包括两个阶段：离线校正视觉地图的构建，以及基于融合的在线视觉全局定位。
• •
  该视觉地图是通过利用矢量道路网络数据中的几何约束，采用非刚性变换方式进行校正的，而这些道路网络数据可以从导航地图（如OpenStreetMap）中获取。
• •
  在获得了包含校正后的特征点以及OER-MRP参数的校正视觉地图之后，在线全局定位方法会在基于视觉地图的重新定位约束下，共同优化在线里程计的轨迹，从而实现大规模且低成本的抗漂移视觉定位。
• •
  我们通过在公共基准测试集以及使用自行开发的视觉惯性硬件平台采集的真实数据上进行的实验，验证了所提出的方法。实验结果表明，该方法在各种不同场景下都能显著提升定位的准确性和稳定性。

本文的其余部分结构如下。第2节将回顾有关全局参考视觉先验地图构建以及基于融合的定位方法的相关研究。第3节将介绍我们所提出的VMR-RD、OER-MRP方法，以及通过将在线里程计与经过道路网络校正的先验地图融合来实现全局定位的整体框架。第4节将在公共基准测试集以及我们自定义的视觉惯性平台采集的真实数据集上开展全面的实验评估，并进行相应的分析讨论。最后，第5节将对本文进行总结，并指出未来的研究方向。

章节要点

相关研究

将视觉SLAM或里程计与先验地图融合，以获得全局一致性的绝对姿态估计，是机器人学和计算机视觉领域的一个重要研究方向。相关研究大致可以分为两个方面：（i）全局先验地图的构建；（ii）基于融合的定位算法。本节将回顾这两方面的研究内容，明确所提出方法的定位。

方法论

所提出的框架如图2所示，采用离线-在线相结合的结构。在离线阶段，会利用矢量道路网络数据对单目视觉或视觉惯性SLAM系统生成的原始视觉地图进行校正，从而构建出具有全局参考意义的视觉先验地图。该校正后的地图包含了校正后的地图帧姿态、相关的视觉特征，以及针对劣化路段的地图校正参数。在在线阶段，则会将在线SLAM/里程计数据与该校正后的视觉先验地图进行融合

实验与评估

我们在公共基准测试集以及使用自行开发的设备采集的真实数据上，对所提出的方法进行了系统性的评估。VINS-Mono视觉惯性里程计[25]生成的映射结果被用作基于道路网络进行校正的原始视觉地图。道路网络数据则来自OpenStreetMap[36]，这类数据仅提供2D的平面道路几何信息。为了构建3D道路网络，我们从OpenTopography[37]获取高程数据，然后使用ArcGIS Pro v3.0软件进行处理

结论与未来工作

为了解决目前缺乏低成本、可扩展的、适用于单目或单目惯性SLAM的全局参考视觉先验的问题，本文提出了一种基于道路网络的视觉SLAM地图校正及全局定位框架，该框架可将在线SLAM的估计结果与经过校正的视觉先验地图相融合。首先，我们提出了VMR-RD地图构建方法。通过利用道路网络数据所提供的全球几何约束，并应用TPS变换，VMR-RD能够有效校正

关于手稿准备过程中生成式AI及AI辅助技术的声明

在撰写本文的过程中，作者们使用了ChatGPT来协助修正语法并提升文本的可读性。在使用该工具/服务之后，作者们对内容进行了必要的审核和修改，并对最终发表文章的内容负全责。

CRediT作者贡献说明

雷杰涛：写作——初稿撰写、软件应用、方法设计、概念构思。刘京斌：写作——审稿与编辑、资源整理、方法设计。韩 Luming：写作——审稿与编辑、数据整理。陈亮：写作——审稿与编辑、资源整理。Antero Kukko：写作——审稿与编辑。Juha Hyypp?：写作——审稿与编辑。陈瑞志：写作——审稿与编辑、资源整理。

利益冲突声明

作者声明，他们不存在任何可能影响本文所述研究的已知财务利益关系或个人关系

Jietao Lei|Jingbin Liu|Luming Han|Liang Chen|Antero Kukko|Juha Hyypp?|Ruizhi Chen