RIM：面向无人机跨域全局视觉定位的检索即匹配框架

《Knowledge-Based Systems》：RIM: A Retrieval-In-Matching framework for cross-domain global visual localization of UAVs

　　

•RIM共享一个DINOv2-B骨干网络，同时用于全局检索和局部匹配。
•基于姿态感知的3D Tiles减少了无人机与参考视角之间的视角失配。
•两阶段适配将Urbanscape的三维R@1提升了8.55个百分点。
•在可比的重排序精度下，RIM比独立的DeDoDe快1.2倍。
•与独立的DeDoDe（K=5重排序）相比，RIM减少了72%的参数量和53%的乘加运算次数。

引言
无人机的可靠导航主要依赖于全球导航卫星系统（GNSS）。然而，GNSS信号容易受到多径效应和射频干扰的影响，同时也可能遭受故意的干扰或欺骗，从而严重损害飞行可靠性。在GNSS拒止环境中，无人机不仅需要抑制短期的低漂移，还需要长期的全局绝对定位能力。视觉惯性里程计和即时定位与建图（SLAM）作为抑制短期漂移的方法已经取得了长足进步（[1], [2]），但全局重定位仍然更具挑战性：它必须在异构传感器以及长期的外观或场景变化下，识别稳定的跨域视觉证据。

传感和深度学习领域的最新进展为无人机全局视觉定位创造了新的机遇。大多数现有方法使用广泛可用的二维（2D）卫星地图，如谷歌或必应图像，并将大型遥感图像分割为块进行检索。这种形式通常通过固定或忽略飞行高度和俯仰角等位姿分量，来简化无人机的完整六自由度（6-DoF）运动。对于固定的向下朝向相机和固有的二维参考地图来说，这种简化是实用的，但它丢弃了有用的斜向和侧向视觉信息。最近的一系列工作（[3]）通过用城市级细节层次1（LoD-1）建筑模型来对齐图像，缩小了这一差距。然而，它仅限于密集建成区，并且需要粗略的初始位姿，这限制了其在SLAM跟踪丢失时作为冷启动重定位操作器的使用（第2.1节）。理想情况下，一个纯视觉系统应该能够在没有初始估计的情况下恢复完整的6-DoF位姿，并在建成区和较非结构化的环境中运行。

我们使用3D Tiles作为此问题的数据构建机制。虚拟相机在每个目标区域的位置、高度和方向上采样，生成近似无人机成像几何的参考视图。在数据层面减少不可避免的视角差异，使学习能够专注于传感器、季节、重建和渲染引起的更难处理的偏移。由此产生的位姿相近组与SALAD的按地点分组的GSV-Cities度量学习接口在结构上是兼容的（[4], [5]），尽管街景与航空图像之间存在域差距，它仍然提供了合适的初始化。

我们将检索器适配表述为两个互补阶段。第一阶段使用位姿相近的无人机-参考对来迁移感知相似度的表示；第二阶段执行困难负样本对比精炼。两个阶段针对不同的错误来源。特别地，在第一阶段之后，检索器仍然可能对视觉上相似但地理位置遥远的图像分配高相似度。因此我们一次性挖掘这些残余负样本，并用于短暂的对比精炼。

由于仅靠全局描述符无法可靠地拒绝此类候选，对Top-K结果的几何重排序仍然至关重要。然而，传统流水线对每个查询独立运行全局和局部编码器，这为边缘部署增加了大量成本。因此我们提出检索即匹配（RIM），一种围绕共享DINOv2-B表示构建的架构（[6]）。一个冻结的SALAD聚合头从共享的token字段产生全局描述符，而一个蒸馏的DeDoDe风格解码器（[7]）将共享token与浅层细节特征组合，以产生密集的局部描述符图。因此，每个查询只需要一次共享的DINOv2-B骨干网络前向传播，而不是两个独立的基础模型编码器。局部解码和几何验证保持显式，而适配后的DINOv2-B token字段被全局聚合和局部描述符分支共享。这一设计将全局检索折叠进匹配所用的查询侧特征计算中，消除了冗余的基础模型前向传播，同时保留了模块化的几何验证。

我们研究中的三个洞见直接促成了所提出的设计：
•物理先验数据构建：视角采样应在学习之前减少不可避免的几何差异，使模型能够专注于处理剩余的外观偏移和感知混叠错误。
•数据高效的基础模型适配：位姿相近正样本和挖掘的困难负样本解决互补的跨域错误，同时保留SALAD学习到的通用表示。
•共享表示的检索与匹配：全局检索和局部描述应该重用同一个基础模型的token字段，从而能够在不引入第二个独立DINOv2查询编码器的情况下进行几何重排序。

在整个本文中，跨域表示真实无人机图像（构成查询域）与从摄影测量3D网格生成的渲染无人机视角视图（构成参考数据库）之间的分布偏移。这不同于传统的"无人机?卫星"配对，我们通过无人机视角采样刻意重构了这种配对。

主要贡献如下：
•我们通过在不同无人机位置和方向上采样摄影测量3D网格，构建了无人机视角参考和位姿相近训练对。这种机制减少了跨视角几何差距，无需假设精确对齐，并支持在两个地理不连续的基准上的零样本评估。
•我们提出了一种两阶段跨域适配方案：相似性迁移使用位姿相近正样本来适配SALAD，而离线困难负样本挖掘抑制了第一阶段后仍然存在的视觉相似但地理距离遥远的图像。
•我们提出了检索即匹配（RIM），一种共享表示的检索与重排序架构。一个冻结的SALAD头和一个蒸馏的局部描述符解码器消耗相同的DINOv2-B token字段，因此每个查询的一次共享DINOv2-B骨干网络前向传播同时支持全局检索和局部几何验证。

在完整三维距离度量下，RIM在重建的EPFL城市基准上25/50米内的召回率@1比SALAD分别提高了8.55/13.77个百分点（pp），在地理不连续的长安公园基准上分别提高了4.45/8.94个百分点。它超过了十个最近的检索基准家族：HLoc/AP-GeM、CLIP、CosPlace、DINOv2 [CLS]、EigenPlaces、AnyLoc、SALAD、SelaVPR++、Game4Loc和NetVLAD (DINOv2)。在K=5时，经过检索、候选匹配和鲁棒几何验证的在线查询路径测量耗时90.8毫秒——比独立的DeDoDe快1.2倍，比RoMa快30倍以上，同时保持了可比重排序精度。第4节报告了完整的基准和消融实验。

论文片段

无人机全局视觉定位
无人机全局视觉定位通过将航拍查询与地理参考数据库进行匹配，恢复其地理位置。早期系统将GNSS拒止的无人机图像与卫星瓦片进行匹配（[8]），学习紧凑的卫星描述符（[9]），或将跨视角检索与坐标预测和几何匹配结合（[10], [11]）。University-1652（[12]）和UAV-GeoLoc（[13]）随后扩展了无人机地理定位基准的规模和视角多样性。

方法
我们的方法由三个集成组件组成。首先，一个无人机视角采样的数据库存储每个渲染的参考视图及其虚拟相机的位姿和一个像素对齐的地心地球固定（ECEF）坐标图。其次，一个两阶段适配策略将SALAD迁移到真实无人机图像上，然后抑制视觉相似但地理距离遥远的参考。第三，RIM在冻结的全局聚合头和蒸馏的局部描述符解码器之间共享适配后的DINOv2-B token字段。

数据集与评估协议
我们在两个与Urbanscape-OOP微调集不重合的测试地理区域上进行零样本评估。Urbanscape是主要基准：3158张带有6-DoF地面真值的真实EPFL无人机图像作为查询，针对从Google 3D Tiles渲染的17,400张无人机视角视图进行检索。其城市几何结构和高度与姿态的广泛变化引入了大量的视角和外观偏移。长安公园是一个以植被和水域为主的自收集次要基准。

总结
我们提出了检索即匹配（RIM），一种以共享表示检索和匹配为中心的无人机全局视觉定位框架。一个冻结的全局聚合头和一个蒸馏的局部描述符解码器消耗相同的DINOv2-B token字段，因此每个查询的一次共享DINOv2-B骨干网络前向传播同时支持全局检索和局部几何重排序。无人机视角参考采样提供了一种跨视角数据机制，而两阶段微调迁移了外观线索。

CRediT作者贡献声明
李鑫：撰写——审阅与编辑，撰写——初稿，可视化，验证，软件，方法论，形式化分析，数据管理，概念构思。段思远：撰写——审阅与编辑，验证，软件，数据管理。王尚：撰写——审阅与编辑，调查，数据管理。毛志敏：调查，数据管理。胡兵良：监督，资源，资金获取。张庚：撰写——审阅与编辑，监督，项目管理，资金。

生成式AI和AI辅助技术在写作过程中的声明
在准备本工作期间，作者使用了OpenAI的GPT来提高稿件的语言、可读性和清晰度。在使用该工具之后，作者根据需要审查和编辑了内容，并对出版物的内容承担全部责任。

资助
本工作由陕西省光学遥感与智能信息处理重点实验室开放研究基金资助。

利益冲突声明
作者声明不存在已知的可能影响本文工作的竞争性经济利益或个人关系。

李鑫 | 段思远 | 王尚 | 毛志敏 | 胡兵良 | 张庚