AnchorReF:一种基于锚点的新型视觉重定位框架,通过多传感器数据融合技术进行辅助

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:AnchorReF: A novel anchor-based visual re-localization framework aided by multi-sensor data fusion

【字体: 大 中 小 】 时间:2026年01月20日 来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.2

编辑推荐:

  吴浩|阮宇|张晓翔|罗欣颖|王莉|赵腾|宋永成|张志军|张慧松|刘瑾|李健重庆长安汽车股份有限公司,中国重庆市两江大道226号,401133摘要视觉重定位技术用于精确估计查询图像在预构建视觉地图中的位置,这是机器人导航、自动驾驶、测绘等领域的基础组件。在过去的几十年中,人们投入了

  
吴浩|阮宇|张晓翔|罗欣颖|王莉|赵腾|宋永成|张志军|张慧松|刘瑾|李健
重庆长安汽车股份有限公司,中国重庆市两江大道226号,401133

摘要

视觉重定位技术用于精确估计查询图像在预构建视觉地图中的位置,这是机器人导航、自动驾驶、测绘等领域的基础组件。在过去的几十年中,人们投入了大量研究努力以提高重定位的准确性。然而,当查询图像与参考场景存在显著变化时,仍然存在挑战。本文主要解决了由于重定位导致的姿态估计不准确的问题,并提出了一种基于锚点的新型视觉重定位框架,通过多视图共视性验证来实现稳健的姿态估计。我们的方法还利用了紧密耦合的多传感器数据融合来进一步优化姿态。在包含频繁移动物体、严重遮挡和长期环境变化的大规模真实世界城市驾驶数据集上的综合评估表明,我们的框架达到了先进的性能水平。具体来说,与传统的基于SFM和Transformer的方法相比,在这些具有挑战性的条件下,我们的方法将平移误差降低了46.2%,旋转误差降低了8.55%。

引言

视觉重定位技术可以估计相机相对于预构建地图或在重新访问已知区域时的六自由度(6-DoF)姿态,这对于各种自主应用至关重要(Piasco等人,2018年;Miao等人,2024年;Tsintotas等人,2022年),例如虚拟现实(Middelberg等人,2014年;Ventura等人,2014年)、导航(Lim等人,2015年;Zhu等人,2023年)、自动驾驶(Zhang等人,2022年)以及测绘(Dusmanu等人,2021年)。通常,预构建的环境包含与3D视觉特征地标相关联的参考图像集合。因此,视觉重定位的核心任务是通过与这些参考图像和地标建立准确的对应关系来估计查询图像的姿态,从而确保估计的轨迹与现有地图一致。
这个问题与同时定位与映射(SLAM)中的长期视觉定位或循环闭合密切相关,因为它们面临共同的挑战,包括光照和季节性变化、动态物体以及遮挡。尽管已经有很多研究致力于基于参考图像的地点识别和特征匹配,但姿态验证和校正这一关键任务仍然很大程度上未被探索,特别是对于多相机系统而言。大多数现有的重定位框架容易与参考图像匹配失败,导致在姿态图优化过程中产生不稳定和不可靠的姿态估计。
在这项工作中,我们提出了一种基于锚点的新型视觉重定位框架AnchorReF,以减轻在预构建地图环境中的姿态估计失败问题。AnchorReF的两个关键组成部分是:(1)基于3D视觉特征地标多视图共视性的姿态验证,随后是自适应加权姿态初始化和锚点帧选择;(2)基于混合特征匹配的多传感器数据融合。前者主要通过利用3D地标之间的多视图共视性约束来避免仅与单个参考图像对齐的风险;如果多个相机或图像具有强几何约束,则可以避免定位失败。后者提供了紧密耦合的帧间里程计,以确保姿态估计的平滑性,从而减轻了与单个参考图像对齐引入的微小扰动。
所提出的AnchorReF的主要贡献如下:
  • 1.
    我们提出了一种基于多视图共视性的姿态验证策略,用于识别几何上稳定的参考图像,并通过自适应加权姿态图优化选择锚点帧来初始化轨迹。该策略在传统方法重定位失败率较高的挑战性环境中增强了鲁棒性。
  • 2.
    所提出的方法通过紧密耦合的多传感器数据融合和混合特征匹配实现了更高的姿态精度。视觉重定位经常由于不对称的重定位误差而遇到轨迹扰动。为了缓解这个问题,多传感器数据提供了补充约束来补偿这些差异,而混合特征匹配结合了基于描述符的匹配和光学跟踪来提高系统稳定性。因此,所提出的方法获得了更优越的姿态估计精度。
  • 3.
    我们在真实世界驾驶数据集上进行了全面实验,并将我们的工作与几种最先进的方法进行了评估。我们的方法通过高清地图视觉重投影的定性评估和绝对轨迹误差(ATE)及相对轨迹误差(RTE)的定量分析进行了严格评估,提供了系统性能的全面验证。结果表明,所提出的方法比其他方法具有更高的精度。

章节片段

相关工作

根据预构建的先验地图类型,视觉重定位方法可以大致分为四类(Miao等人,2024年):视觉地标地图、点云地图、矢量化高清(HD)地图、学习到的隐式地图。我们的方法专注于使用视觉地标地图来重新定位查询图像。为了在预构建的地图中检索视觉地标并将它们重新投影到查询视图中,许多方法采用了分层定位框架(Hloc)(Sarlin等人,2019年)

方法论

AnchorReF是一种新颖的后处理框架,旨在利用参考图像及其相关的视觉地标来实现查询图像的精确重定位。该框架专为多相机系统设计,利用来自共校准相机的多张同步图像(形成一个局部参考框架)。这种配置通过确保不同视角之间的几何一致性,促进了稳健的跨视图分析。AnchorReF首先对

实验

本节详细比较评估了所提出的方法与几种最先进的方法,包括最近的基于Transformer的先进方法:Geometric Burstiness、HL-Net和VGGT-long(Deng等人,2025年)。其中,VGGT-Long是VGGT架构的一个变体。原始的VGGT模型经常遇到内存

结论

在本文中,我们提出了AnchorReF,这是一种用于预构建映射环境中多相机系统视觉重定位的新框架。所提出的方法通过两种创新策略解决了重定位失败的问题:(1)基于3D先验视觉特征地标和锚点帧的多视图共视性的姿态验证;(2)基于混合特征匹配的多传感器数据融合。全面实验表明,我们的框架优于其他方法

CRediT作者贡献声明

吴浩:撰写 – 审稿与编辑,撰写 – 原始草稿,方法论,概念化。阮宇:方法论,研究。张晓翔:方法论。罗欣颖:方法论,研究,概念化。王莉:方法论,研究。赵腾:验证。宋永成:数据管理。张志军:可视化,验证。张慧松:概念化。刘瑾:概念化。李健:监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号