基于线框引导的多细节层次三维城市地图的六自由度空中视觉定位

《ADVANCED ENGINEERING INFORMATICS》：Wireframe-guided 6-DoF aerial visual localization with Level-of-Detail 3D city maps

　　

**摘要**

空中视觉定位（AVL）是无人机（UAV）在全球导航卫星系统（GNSS）信号不可靠时实现自主运行的基本且具有挑战性的问题。然而，当前的 AVL 研究通常依赖于纹理丰富的三维（3D）表示，这导致了高存储需求、可观的维护成本以及隐私担忧。为解决这些挑战，我们提出了一种名为 WGVL 的新方法用于空中视觉定位。与现有的 AVL 算法不同，WGVL 仅使用细节层次（LoD）3D 地图来估计无人机的 6 自由度（6-DoF）位姿，通过将 LoD 地图投影的线框与神经网络预测的线框进行对齐来实现。具体来说，给定一个查询图像、一个先验位姿和一个 LoD 城市地图，WGVL 由三个模块组成：特征提取、粗略位姿估计和精细位姿优化。特征提取模块从查询图像中提取线框特征并将其输入到下一个模块。粗略位姿估计模块在均匀采样的位姿假设上分层构建代价体，以近似位姿似然分布并选择最可能的位姿。最后，精细位姿优化模块基于高斯 - 牛顿法，通过可微的 6-DoF 优化进一步改进选定的位姿。由于缺乏该任务的公共数据集，我们构建了两个数据集，分别包含 LoD 3.0 和 LoD 2.0 地图，每个数据集都包含真实的 RGB 和热红外图像以及真值位姿标注。大量实验表明，WGVL 实现了强大的定位精度，并为全球空中视觉定位提供了一种实用的解决方案。

**引言**

无人机的快速发展正在催生广泛的低空空中服务 [1]，为城市物流 [2]、巡检 [3]、[4]、[5] 和应急响应 [6] 提供可扩展、成本效益高且灵活的解决方案。这些应用从根本上依赖于准确且鲁棒的定位，以确保在复杂城市环境中安全自主运行。作为核心能力，空中视觉定位（AVL）旨在估计查询图像相对于预建地图的相机位姿，在 GNSS 信号不可靠或退化时提供可行的替代或补充方案，从而支持低空空中服务的可靠导航。

受这些需求驱动，人们提出了许多 AVL 方法，可大致分为基于 2D 影像的方法和基于 3D 地理参考地图的方法。对于基于 2D 影像的方法，一种常见的框架将 AVL 视为卫星正射影像上的跨视角检索。SDPL [7] 通过密集区域划分和动态平移机制缓解了由跨视角差异引起的尺度和空间错位，但在低光照条件下性能下降。而 Xiao 等人 [8] 引入热红外线索以提高光照受限场景下的鲁棒性。此类基于检索的方法主要依赖于跨视角检索对齐，难以进一步恢复准确的位姿。为了提高定位精度，GLVL [9] 从正射影像中检索候选区域，然后执行局部关键点匹配以估计单应性矩阵，从而实现更准确的定位。Chen 等人 [10] 采用离线 - 在线方案，离线渲染合成视图，在线执行检索 RANSAC-PnP 以获得精细位姿。然而，这些方法仍然严重依赖纹理丰富的卫星影像，这在实际部署中可能会引起隐私担忧。最近，矢量语义地图作为一种存储效率高且隐私友好的替代方案得到了探索。AirGeoNet [11] 和 VecMapLocNet [12] 将查询图像与加权 OSM 矢量进行对齐以估计 3-DoF 位姿。总体而言，由于平面运动和/或已知海拔等简化假设，基于 2D 参考的流程通常更适用于 4-DoF 位姿估计，而完整的 6-DoF 恢复仍然具有挑战性。

为了实现 6-DoF 估计，基于 3D 地理参考的方法依赖于 3D 地理参考地图，通常表示为 SfM 点云或密集纹理网格。在 SfM 范式中，位姿通过建立 2D-3D 对应关系并在 RANSAC 下求解 PnP 来恢复 [13]、[14]，但在外观变化大或查询 - 地图重叠有限（可靠 2D-3D 匹配稀缺）的情况下，该流程变得脆弱。基于网格的方法则遵循渲染 - 匹配策略。Zhang 等人 [15] 通过将查询与渲染视图进行匹配并优化位姿，并使用 LO-RANSAC [16] 进行优化，但对初始化敏感。MeshLoc [17] 通过分层检索消除了对初始位姿的需求。将该思想扩展到跨视角设置，Render-and-Compare (R&C) [18] 由带有噪声传感器先验引导采样多个视角，使用 LoFTR [19] 匹配查询和渲染图像，并基于内点一致性选择最终估计，但其鲁棒性取决于采样策略和先验的可靠性。ATLoc [20] 利用 TIR 网格将该框架扩展到低光照设置。尽管改进了完整位姿估计，但带纹理的 3D 模型在存储和维护上仍然成本高昂，且其丰富的外观细节也引发了更强的隐私担忧，这阻碍了可扩展部署。

现有研究揭示了 AVL 研究中地图效率与完整位姿定位能力之间的根本差异。轻量级地图表示对于可扩展部署具有吸引力，但通常对完整 6-DoF 位姿恢复提供的支持有限。相比之下，准确的完整位姿定位仍然主要依赖于纹理丰富的 3D 表示，这涉及高昂的存储、维护和隐私成本。细节层次（LoD）[21]、[22] 城市地图为缩小这种差异提供了一种潜在手段。如图 1 所示，LoD 模型提供了城市场景的以几何为中心的 3D 表示，抽象了纹理和外观，主要保留建筑物结构 [23]。然而，使用 LoD 地图进行定位比使用带纹理的 3D 模型要困难得多，因为缺乏外观线索造成了严重的跨模态差距，传统的依赖纹理的方法无法跨越。因此，本研究围绕三个关键研究问题组织，以解决未解决的问题。(1) 弥合外观丰富的空中影像与几何简化的 LoD 模型之间巨大的表示差距，对于可靠的跨表示定位至关重要。(2) 有效利用 LoD 模型中保留的结构信息，对于提供足够的几何约束以恢复准确的完整 6-DoF 相机位姿至关重要。(3) 建立可扩展且可靠的基准是必要的，以支持基于 LoD 的空中视觉定位的开发和系统评估。

为了回答这些研究问题，我们的新颖性在于利用线框表示将查询图像抽象为几何骨架，并将其与 LoD 模型的线框进行对齐，从而利用无纹理模型中线段突出的几何特性，为位姿估计提供鲁棒的约束。基于这一思想，我们提出了 WGVL，一种利用 LoD 3D 城市地图估计无人机拍摄的空中图像 6-DoF 位姿的线框引导视觉定位（Wireframe-Guided Visual Localization）算法。

具体来说，WGVL 从单个查询图像和机载测量中估计无人机的 6-DoF 位姿。该框架完全可微，包括三个阶段：特征提取、粗略位姿估计和精细位姿优化。从查询图像中，神经网络预测建筑物线框线索作为几何观测。对于粗略位姿估计，假设 IMU 重力方向可靠，因此横滚和俯仰被固定，其余 4-DoF 变量（位置和航向）在传感器先验周围进行采样以形成候选假设。对于每个假设，LoD 模型线框被投影到图像平面上，并与预测的线索进行比较以产生对齐分数。生成的 4D 位姿代价体通过 softmax 归一化为概率分布，用于基于分类的假设选择。以选定的假设初始化，精细位姿优化应用可微的高斯 - 牛顿优化器来最大化线框对齐目标，从而产生最终的 6-DoF 估计。由于粗略估计和精细优化都相对于网络输出是可微的，该流水线支持基于真值位姿监督的端到端训练。

贡献总结如下：
• 据我们所知，我们首次解决了使用 LoD 城市地图进行空中视觉定位的问题，并提出了一种名为 WGVL 的新方法，以弥合空中图像与无纹理 LoD 模型之间的表示差距。
• WGVL 被设计为一种由粗到细的可微网络，通过神经线框对齐利用 LoD 模型的结构信息，在仅使用位姿监督的情况下准确估计完整的 6-DoF 相机位姿。
• 我们收集了两个全面的多模态无人机定位数据集，包含 RGB 和热红外（TIR）查询图像、相应的 LoD 城市地图以及位姿标注，从而建立了可扩展且可靠的基准。
• 大量实验表明，与 SOTA 基线相比，所提出的 WGVL 方法具有有效性和优越性。

本文其余部分组织如下：第 2 节介绍预备知识，第 3 节展示提出的方法，第 4 节描述数据集，第 5 节报告实验设置和结果，第 7 节总结全文。

**章节片段**

**预备知识**
本节介绍不确定性感知估计和高斯 - 牛顿位姿优化，作为后续章节的预备知识。

**提出的方法**
给定 3D 城市 LoD 地图 ?、查询图像 ?? 及其传感器位姿 ????，所提出方法的目标是计算绝对的 6-DoF 位姿 ???。首先，使用卷积神经网络提取查询图像 ?? 在多个层级的线框概率图（第 3.1 节），以弥合空中影像与 LoD 模型之间的表示差距。其次，在每个阶段，采用均匀位姿采样和 3D 线框投影来为各种位姿假设构建代价体，

**数据集**
为了解决基于 LoD 的空中视觉定位缺乏基准的问题，我们构建了两个数据集，包含两个不同部分，UAVD4L-LoD 和 Swiss-EPFL，分别提供 LoD3.0 和 LoD2.0 模型。UAVD4L-LoD 数据集覆盖面积为 2.5 平方公里，源自基于 UAVD4L [27] 数据集的网格模型生成 3D LoD 地图的半自动过程。该数据集包含多样的建筑结构，包括摩天大楼，

**实验**
在 UAVD4L-LoD 和 Swiss-EPFL 数据集上进行了大量实验，以证明我们提出的模型的有效性，如第 5.3 节所述。此外，在第 5.4 节中在 UAVD4L-LoD 数据集上进行了消融研究。

**讨论**
所提出的 WGVL 框架表明，LoD 模型可以作为空中视觉定位的有效结构先验。具体来说，线框引导的对齐弥合了空中影像与 LoD 几何之间的表示差距，而由粗到细的定位框架有效地利用了 LoD 结构信息进行准确的完整 6-DoF 位姿估计。连同构建的多模态基准，这些发现为基于 LoD 的

**结论**
本文介绍了 WGVL，一种将空中图像与细节层次（LoD）3D 城市地图配准的视觉定位框架。与依赖于重型、纹理丰富的 3D 重建的先前方法不同，LoD 地图提供了一种轻量级且广泛可用的表示，具有改进的隐私特性。给定来自机载传感器的粗略位姿先验，WGVL 通过单个端到端流水线估计完整的相机位姿，该流水线集成了多尺度特征提取、基于代价体的

**CRediT 作者贡献声明**
Juelin Zhu：写作 - 审阅与编辑，写作 - 原始草稿，可视化，验证，方法论，调查，形式分析，数据管理，概念化。Yuxiang Liu：数据管理。Shen Yan：监督，资金获取，概念化。Yu Liu：监督，资金获取。Fengsong Hu：监督。Maojun Zhang：监督，概念化。

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Shen Yan 报告称获得国家自然科学基金融资支持。如果有其他作者，他们声明没有已知的可能影响本文所述工作的竞争性财务利益或个人关系。

Juelin Zhu|Yuxiang Liu|Shen Yan|Yu Liu|Fengsong Hu|Maojun Zhang