用于增强无人机视觉地理定位的多源地理空间融合

《Neural Networks》：Multi-Source Geospatial Fusion for Enhanced Visual Geo-Localization of Unmanned Aerial Vehicles

　　**摘要**目前，尽管无人机（UAV）的自主导航取得了显著进展，但在卫星导航信号失效时，可靠的地理定位仍是一个挑战。现有研究主要集中于跨视图图像检索、特征点匹配以及基于三维（3D）重建的视觉定位。虽然这些方法在小规模飞行场景中配合预采集的图像数据效果良好，但在缺乏先验信息的大规模环境中则难以应对。为弥补这一差距，我们提出了一种基于多源地理空间融合的视觉地理定位框架，该框架包含两个主要阶段：离线多源数据库构建阶段和在线分层地理定位阶段。在离线阶段，通过旋转和平移变换对卫星图像进行多视角增强，随后利用神经网络提取全局和局部特征以构建特征数据库。同时，保留卫星图像范围内的地形高程数据，用于在线阶段的定位推理。在线阶段采用级联匹配：首先，基于全局描述符的粗搜索快速缩小潜在位置范围；其次，通过局部特征匹配获取匹配特征点在航拍图像和卫星图像中的像素坐标；然后，从卫星图像和地形高程数据中推导匹配特征点的地理坐标，并利用立体投影几何实现无人机地理定位。我们在地理环境不同的测试场地上进行了实验验证，覆盖面积为26.9 km × 7.03 km，使用在约500 m高度拍摄的航拍图像，包括垂直下视角度（90°）和斜视角度（45°倾斜）。实验结果证实了我们所提出方法的有效性。**引言**导航作为飞行任务的核心技术，直接决定了复杂环境中的飞行安全性和任务有效性。全球定位系统（GPS）是无人机的主要地理空间参考，但容易受到多路径干扰和大气异常的影响，导致信号衰减（Alkhatib, Nayfeh, Al Shamaileh, Kaabouch, Devabhaktuni, 2025；Ye, Luo, Lin, 2024）。因此，在GPS拒止条件下采用替代定位方法至关重要（Chen, Jin, Shao, Wang, He, Stojanovi?, Bahri, Wang, 2024；Nafea, Alameri, Majeed, Khalaf, Al-Ani, 2024）。多光谱卫星观测数据日益便捷的可获得性推动了基于图像的视觉定位方法的发展。现有研究主要集中于多视图图像检索和不变特征提取，但基于图像的地理定位系统仍不够成熟。一些研究人员（Chen, Wu, Mueller, Sreenath, 2021；Lin, Zhang, Tian, Yu, Ye, Zhuang, Lan, 2025）利用任务前的高程测绘建立三维地形模型进行特征匹配，从而实现无人机的视觉定位。然而，稠密重建的计算开销限制了其可扩展性，特别是在需要实时处理的大面积飞行区域，且该方法不适用于缺乏航拍数据且无法预先飞行的未测绘区域。为了解决这些关键局限性——包括对预建三维地形模型的过度依赖、大规模稠密重建的高昂计算成本、与未测绘区域的不兼容性以及对非严格下视摄影的缺乏支持——我们关注在低可用性条件下（即GPS不可用、无先前飞行区域图像且无法预先飞行）的大场景无人机视觉地理定位。本工作旨在满足以下几项要求：支持非严格下视航拍、实现三维（纬度、经度、高程）定位，以及在不了解无人机起飞点先验信息的情况下实现地理定位（包括长时间故障后的重新定位）。为此，我们提出了一种利用卫星遥感图像和地形高程图像来增强无人机地理定位的多源地理空间融合方法，如图1所示。该方法包括离线多源数据库构建和在线分层地理定位。离线多源数据库构建：通过旋转和水平裁剪方法生成多视角增强的卫星图像，并利用深度神经网络提取全局特征和局部特征以构建特征数据库。此外，我们提取并存储地形高程数据用于在线定位推理。在线分层地理定位：首先，空间分辨率自适应（SRA）方法调整航拍图像的像素尺寸，使其空间分辨率与卫星图像对齐，有效减少因分辨率差异导致的特征匹配偏差。然后，航拍图像通过特征提取网络处理，生成全局图像描述符和局部关键点描述符。利用全局描述符，通过余弦相似度检索一组与航拍图像相似的候选卫星图像。同时，将来自上一张航拍图像的最佳匹配卫星图像加入候选集，利用航拍图像之间的空间连续性来降低检索遗漏的风险。随后，根据局部特征匹配构建不变矩提取（IME）模块，以判断航拍图像是否适合定位。如果适合，则联合卫星图像和地形高程数据提供匹配点的地理坐标，从而实现无人机的视觉地理定位。否则，该图像将被丢弃。- 我们提出了一种多源地理空间融合框架，用于低可用性条件下（GPS故障、缺乏先验飞行数据和无法测绘区域）的无人机视觉地理定位，将传统的二维平面定位扩展为三维空间定位。- 我们的方法基于特征点立体投影原理与地形高程先验约束，使其适应于各种倾斜角度的相机配置。- 我们的方法可以在GPS长时间故障后实现无人机的重新定位，无需任何无人机起飞位置和飞行路径的先验信息。- 我们引入了一种集成相机倾斜角、SRA和IME的方法，用于评估从下视角度和斜视角度获取的航拍图像是否适合定位。本文结构如下：第2节介绍视觉地理定位的相关工作；第3节阐述我们的方法，包括离线多源数据库构建和在线分层地理定位；第4节进行实验；第5节总结全文并讨论未来研究方向。**部分摘要****背景与相关工作**地理定位问题是计算机视觉和遥感领域的经典研究课题。早期研究主要利用数字高程模型（DEM）进行地形特征匹配，以实现基于地形轮廓的定位估计。这些方法依赖于高精度的地形信息，而获取高质量DEM数据通常依赖于昂贵的遥感设备和复杂的数据处理流程，这限制了其应用。此外，**方法论**为准确确定无人机的位置，我们建立了基于墨卡托投影的世界坐标系。x轴与经度方向对齐，原点设在零子午线；y轴与纬度方向对齐，原点设在赤道；z轴垂直向上，遵循右手定则，以参考椭球体为基准面。选择参考椭球体作为基准面的原因是确保……**实验细节**我们在一个大区域进行了两次不交叉的飞行实验来评估我们所提出的方法。飞行区域宽度为26.9 km，高度为7.03 km。无人机配备了云台式光学相机，以每秒30帧的速度拍摄航拍图像，分辨率为1920 × 1080像素。在第一次飞行中，无人机以相对于起飞点500 m的稳定高度飞行，绝对高度约为1064 m，从下视角度拍摄图像。此外，**结论**本工作的主要贡献是设计并实现了一个实用的系统级框架，用于在卫星导航被拒止且无法通过预先飞行获取准确先验信息和图像数据的情况下进行无人机视觉地理定位。该框架创新性地集成了：(1) 用于特征表示的深度神经网络（OpenIBL, SuperPoint）；(2) 支持分辨率自适应处理和匹配验证的新型算法模块（SRA，**CRediT作者贡献声明****邱雄（Xiong Qiu）：** 写作——审阅与编辑，写作——初稿撰写，软件。**廖守义（Shouyi Liao）：** 方法论，概念化。**杨东方（Dongfang Yang）：** 调查，数据管理。**李婷（Ting Li）：** 软件，调查。**王世诚（Shicheng Wang）：** 软件，方法论，概念化。**利益冲突声明**作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。**作者：** 邱雄 | 廖守义 | 杨东方 | 李婷 | 王世诚