AGI2P：基准测试 基于大规模数据集的空中-地面图像到点云定位技术

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：AGI2P: Benchmarking Aerial– Ground Image-to- Point cloud localization with a large-scale dataset

航空-地面跨模态定位基准AGI2P通过整合武汉、香港、旧金山三地的地面影像与ALS点云构建大规模数据集，提出基于移动LiDAR与ALS对齐的间接地面truth生成方法，并验证现有I2P算法在跨平台场景中的局限性。

　　

杨彦迪|李建平|廖友琦|李宇豪|牛瑞哲|张一哲|董震|杨碧生|纳赛尔·埃尔-谢米

卡尔加里大学地理信息工程系，加拿大卡尔加里，T2N 1N4

摘要

在密集的城市环境中进行精确的视觉定位是摄影测量学、地理空间信息科学和机器人技术中的基本任务。虽然图像是一种低成本且易于获取的传感方式，但其视觉里程计的效果常常受到无纹理表面、视角变化剧烈以及长期漂移的限制。随着机载激光扫描（ALS）数据日益公开，可以利用ALS作为先验地图，为可扩展和精确的视觉定位开辟了新的途径。然而，基于ALS的定位潜力尚未得到充分探索，主要受到三个关键限制的制约：（1）缺乏多样化的平台数据集；（2）缺乏适用于大规模城市环境的可靠真实值生成方法；（3）现有的图像到点云（I2P）算法在空地跨平台环境中的验证不足。为了解决这些问题，我们提出了AGI2P，这是一个大规模的空地图像到点云定位基准测试，它整合了来自武汉、香港和旧金山的移动测绘系统的地面图像与ALS点云。该数据集包含12个序列和超过69,000对图像-ALS对。为了解决空地激光雷达配准中的重大挑战，我们首先通过地面分割、立面重建和多传感器姿态图优化，将移动激光雷达扫描（MLS）与ALS数据对齐，从而间接获得了精确的6自由度（6-DoF）地面真实值姿态。由于激光雷达和相机之间的固定安装，优化后的MLS轨迹被转移到图像流中，实现了可靠的图像-ALS定位。定量评估显示，生成的地面真实值在武汉、香港和加利福尼亚序列上的平均检查点误差分别为0.09米、0.11米和0.16米。我们进一步在具有挑战性的空地跨视图环境中对代表性的最先进I2P定位方法进行了基准测试，包括AE-Spherical、LIP-Loc、SaliencyI2PLoc和CoFiI2P。在全球定位方法中，LIP-Loc表现最佳，在香港序列上的召回率为60.19%，在武汉序列上为54.85%。结果还表明，现有方法在大规模真实世界跨模态定位方面仍存在显著困难。AGI2P为全球和细粒度空地定位提供了一个标准化的基准测试，预计将促进跨模态配准、多源数据融合和城市规模摄影测量应用的研究。数据集和基准测试可在以下链接公开获取：https://yandiyang.github.io/aerial_ground_cross_modal/

引言

在城市环境中的精确定位是摄影测量学、地理空间信息科学和机器人技术的核心任务，支持着多种应用，如城市移动测绘（Schwarz和El-Sheimy，2004年）、自主导航（El-Sheimy和Youssef，2020年）以及机器人配送（Li等人，2024b年，Li等人，2025b年）。在建筑密集的区域，由于高建筑物和狭窄街道造成的信号遮挡和多路径效应，全球导航卫星系统（GNSS）信号通常会严重衰减或完全不可用（Nassar和El-Sheimy，2006年）。尽管惯性导航系统（INS）可以保持短期的定位连续性，但在缺乏可靠的外部校正的情况下，它们会遭受累积漂移（El-Sheimy和Youssef，2020年）。在各种传感方式中，消费级相机因其低成本、紧凑的形态以及在全球移动平台（包括智能手机、车辆和自主系统）中的广泛集成而得到广泛应用。作为一种被动、节能且语义丰富的传感方式，图像在有预构建参考地图的复杂城市场景中具有强大的定位潜力，例如点云（Zou等人，2025年，Li等人，2026年）、地面视图图像（Warburg等人，2020年）、机载图像（Jende等人，2018年）和OpenStreetMap（OSM）（Liao等人，2024年）。

在高度城市化的环境中使用预构建地图进行视觉定位仍然是一项具有挑战性的任务。尽管提出了许多视觉地点识别算法，但大多数现有的地面视图图像参考数据（如Mapillary的数据）是由游客或地面车辆非均匀收集的，导致空间覆盖稀疏且不均匀（Warburg等人，2020年）。基于卫星图像和OpenStreetMap（OSM）的重新定位仅限于3自由度（3-DoF）姿态估计，尽管它们易于获取和使用（Liao等人，2024年，Sarlin等人，2023年）。相比之下，使用3D预构建地图（如点云和网格）可以实现6自由度（6-DoF）定位，提供更好的几何保真度。此外，随着世界各国政府机构发布的机载激光扫描（ALS）点云的日益公开（CEDD，2020年，美国地质调查局，2023年），利用ALS作为先验地图进行可扩展和精确的6自由度视觉定位成为了可能。此外，与对光照、阴影和遮挡高度敏感的机载图像不同，ALS点云提供了对光照不变且稳定的长期定位参考。

尽管具有潜力，但由于三个主要挑战，基于ALS的城市环境视觉定位仍未得到充分探索。首先，大多数公开可用的数据集缺乏平台多样性，特别是地面和空中传感平台的整合。到目前为止，还没有专门为使用ALS数据进行城市环境中的基于图像的定位设计的数据集。其次，地面真实值轨迹通常通过循环闭合技术获得，或依赖于高端IMU等外部参考系统（Li等人，2023b年）。然而，这些方法对于在大型城市环境中运行的地面平台来说变得不可靠或不切实际（El-Sheimy和Youssef，2020年）。第三，现有的图像到点云（I2P）方法主要是为地面平台场景开发的（Li等人，2025a年），限制了它们在空地和地面平台之间的通用性。

上述挑战凸显了需要一个全面的基准测试来严格评估跨视图和跨模态定位方法。为了解决这些问题，我们提出了一个空地图像到点云（AGI2P）定位数据集。本文的主要贡献如下。

• (1)
  我们提出了一个新的大规模数据集，通过结合移动测绘系统的地面图像和ALS点云，实现了空地跨模态定位。该数据涵盖了三个具有代表性的城市区域——武汉、香港和旧金山，并将向研究社区公开。
• (2)
  我们提出了一种间接但可扩展的方法来生成精确的6自由度（6-DoF）地面真实值图像姿态。这是通过使用地面分割和立面重建将移动激光雷达子图与ALS数据对齐，然后进行多传感器姿态图优化来实现的。
• (3)
  我们建立了一个统一的基准测试套件，用于全局和细粒度的I2P定位，并在具有挑战性的跨视图和跨模态条件下评估了最先进的方法。根据评估结果总结了未来的研究趋势。

本文的其余部分组织如下。第2节回顾了与跨视图和跨模态定位相关的现有算法和数据集，以及生成地面真实值轨迹的方法。第3节详细描述了所提出数据集的组成和特征。第4节描述了地面真实值轨迹生成的方法，第5节对其进行了定性和定量评估。第6节在空地跨模态环境下对最先进的图像到点云（I2P）定位算法进行了基准测试。第7节讨论了空地跨模态定位中剩余的挑战。最后，在第8节得出结论。

章节片段

跨平台定位和数据集

卫星图像（Ye等人，2024年）和OpenStreetMap（Wu等人，2024年）由于其广泛的覆盖范围和易获取性而被广泛用于视觉定位。然而，它们仅限于估计3自由度（3-DoF）姿态，且精度有限。各种形式的3D地图也可以用来提高定位精度，其中点云（Zhang等人，2023年）是一个广泛采用的选择。此外，还开发了几种用于空中/地面激光雷达配准的算法（Liang等人

AGI2P数据集描述

我们的数据集AGI2P整合了在三个主要城市——香港、旧金山和武汉——收集的地面图像和机载激光扫描（ALS）数据，使用了多种移动测绘系统。本节概述了每个地区的地理覆盖范围、传感方式和平台配置。

AGI2P的地面真实值生成

为了获得图像的精确6自由度（6-DoF）地面真实值姿态，我们采用了一种间接策略：首先将移动激光雷达扫描（MLS）数据与ALS点云对齐。由于MLS和相机固定在同一平台上，因此优化后的MLS轨迹通过应用校准参数作为代理，提供了精确的图像姿态。为此，通过聚合所有激光雷达帧来初始化系统状态。然后提取特征对应关系：

AGI2P的地面真实值评估

为了评估生成的地面真实值轨迹的准确性和有效性，进行了定性和定量评估。选择了三个代表性场景进行评估：UrbanNav中的中等规模数据集（Hsu等人，2023年）、UrbanLoco的湾桥数据集（Wen等人，2020年）以及武汉的Loop 1数据集。

I2P全局定位

选择了三种基于学习的基线方法来评估我们数据集上的图像到点云（I2P）全局定位性能。不同全局定位方法的效率分析总结在表4中。我们在配备NVIDIA 4090 GPU和Intel i7-13700KF CPU的桌面上进行了实验。

AE-Spherical（Zhao等人，2023年）是第一个实现端到端跨模态视觉定位的方法。它使用多波束车载激光雷达生成的点云

挑战问题与未来方向

我们的实验结果强调了当前最先进方法在应用于大规模、真实世界和跨平台场景时的局限性。接下来，我们强调了该领域中的关键开放问题，并讨论了提高跨模态定位系统的鲁棒性、可扩展性和实用性的潜在研究方向。

结论

我们提出了一个新的空地跨模态定位基准测试，将移动测绘图像与ALS点云整合在三个主要城市中。为了支持准确评估，我们提出了一种基于MLS–ALS对齐和姿态图优化的间接地面真实值生成流程。实验结果表明，现有的I2P方法在大规模、跨视图和跨模态条件下仍面临显著挑战，而基于ALS的定位提供了有希望的解决方案

CRediT作者贡献声明

杨彦迪：撰写——原始草稿、可视化、验证、软件、方法论。李建平：撰写——原始草稿、可视化、方法论、数据管理、概念化、资金获取。廖友琦：软件、方法论。李宇豪：软件、方法论。牛瑞哲：撰写——审稿与编辑、数据管理。张一哲：软件、数据管理。董震：撰写——审稿与编辑、监督。杨碧生：撰写——审稿与编辑、监督、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。