具有记忆增强嵌入学习和注意力引导重排的双阶段方法，用于鲁棒的视觉位置识别

《Knowledge-Based Systems》：Dual-Stage Method with Memory-Augmented Embedding Learning and Attention-Guided Re-Ranking for Robust Visual Place Recognition

视觉Transformer统一框架提出年龄加权记忆队列与注意力引导重排名策略，有效解决定位精度与计算效率的权衡问题，实验表明Recall@1提升7.2%，推理速度提升12倍，存储开销减少26.3%|视觉Transformer|硬负样本挖掘|重排名策略|鲁棒视觉定位|效率优化

　　

吴奇龙|姚佩文|李琳|朱海虹|崔颖宁|左颖|朱伟|吴宇坤

中国武汉大学资源与环境科学学院

摘要

鲁棒的视觉地点识别（VPR）是自主导航系统的基础。然而，传统的两阶段流程通常存在严重的精度与效率之间的权衡，只有在以计算密集型局部匹配为代价的情况下才能获得高性能。为了解决这一限制，我们提出了一个统一的框架，该框架将全局检索和重新排序集成在单个视觉Transformer（ViT）骨干网络中。在训练过程中，我们引入了一个具有指数衰减的年龄加权内存队列，以促进大规模难负样本的挖掘。这种机制有效地减轻了特征漂移，并增强了全局描述符的区分能力。在推理过程中，我们利用ViT的固有自注意力和价值表示来进行显著区域定位和局部匹配。这种基于注意力的重新排序策略不需要额外的参数或训练，但能有效纠正初始检索错误。广泛的实验表明，与最先进的两阶段方法相比，我们的方法在夜间和雨天等具有挑战性的环境条件下，召回率（Recall@1）提高了多达7.2%。此外，它的推理速度提高了12倍，存储开销减少了26.3%。我们的贡献包括：（1）实验证据表明，内存队列中的基于年龄的加权可以最小化由特征漂移引起的梯度偏差，从而稳定训练过程；（2）证明了ViT的内部表示可以解耦，以实现接近零的开销重新排序，为鲁棒的VPR提供了一种高效的替代方案。

引言

视觉地点识别（VPR）是自主导航、增强现实以及同时定位与映射（SLAM）系统的核心能力[[1], [2], [3], [4], [5]]。VPR的主要目标是通过将查询图像与大规模的带地理标签的参考图像数据库进行匹配来定位该图像[6]。然而，由于照明变化、季节性变化、视角差异和动态遮挡等原因，实际应用仍然具有挑战性[[7], [8], [9], [10]]。

尽管深度学习显著提高了VPR的性能，但精度和效率之间的权衡仍然存在。现有方法通常被分为单阶段和两阶段流程。单阶段方法将图像编码为紧凑的全局描述符以实现高效检索（例如NetVLAD [11], CosPlace [12]）。然而，这些描述符的区分能力往往受到训练范式的限制；批量中的负样本数量受到小批量大小的限制，这阻碍了大规模难负样本的挖掘[[13], [14], [15]]。因此，这些方法在视觉相似但地理位置不同的场景中难以处理感知混淆问题。相反，两阶段方法首先使用全局描述符检索候选集，然后应用一个单独的、通常参数较多的重新排序模块（例如Patch-NetVLAD [16], TransVPR [17]）进行局部匹配或几何验证[18,19]。虽然有效，但这些设计显著增加了系统复杂性、计算延迟和存储成本，从而限制了它们在资源受限或实时应用中的部署能力。

在这项工作中，我们通过提出一个基于视觉Transformer（ViT）[20]的统一单模型框架来解决这一精度与效率之间的权衡。我们的方法将鲁棒的全局描述符学习和高效重新排序集成到一个骨干网络中。在训练过程中，我们采用了增强记忆的嵌入学习范式。为了克服小批量训练的局限性，我们引入了一个具有指数衰减的年龄加权内存队列。这种机制在控制特征漂移引起的梯度偏差的同时，最大化了难负样本的挖掘，从而实现了稳定且高效的优化，无需动量编码器。在推理过程中，我们提出了一种基于注意力的重新排序（AGR）策略，该策略利用了训练好的ViT的解耦内部表示。我们观察到，深层注意力图作为位置线索的有效显著性检测器，而价值表示编码了丰富的局部语义。AGR利用这些信号进行精确的重新排序，计算开销接近于零，无需额外的参数或训练。

本研究的主要贡献总结如下：

1)

我们提出了一种轻量级的增强记忆的学习范式，用于大规模难负样本的挖掘。我们证明，具有指数衰减的年龄加权内存队列不仅提高了全局描述符的区分能力，还有效减轻了由特征漂移引起的梯度偏差，从而稳定了训练过程。

2)

我们证明，用于全局检索的ViT天生就编码了适合局部匹配的解耦信号。具体来说，注意力捕捉了位置显著性，而价值表示捕捉了语义。基于这一洞察，我们引入了无需参数和训练的AGR模块，实现了几乎无开销的精确重新排序。

3)

我们在多种基准测试上进行了广泛的实验，证明我们的统一框架在精度和效率方面优于最先进的方法。消融研究进一步验证了我们核心机制的有效性。

相关工作

相关工作

本节回顾了现有的VPR方法和用于度量学习的难负样本挖掘技术，强调了它们与我们提出的框架的相关性。

方法论

为了解决精度与效率之间的权衡，我们提出了一个统一的VPR框架，该框架将鲁棒的全局描述符学习和接近零开销的重新排序集成在单个ViT中。我们首先概述了整体架构，然后详细描述了其两个核心组件。

实验

在本节中，我们全面评估了所提出的框架。首先，我们将我们的方法与最先进的方法进行比较，以展示其在精度和效率方面的优势。随后，我们进行了详细的消融研究，以分析和验证每个核心设计选择。

结论

本文提出了一种高效且鲁棒的两阶段VPR框架，有效解决了精度与效率之间的固有权衡。在训练阶段，我们引入了一种增强记忆的学习范式，其中包含一个年龄加权的内存队列，以促进大规模难负样本的挖掘。这种方法显著增强了全局描述符的区分能力，而提出的基于年龄的加权策略稳定了训练过程。

CRediT作者贡献声明

吴奇龙：概念化、方法论、研究、软件、可视化、写作——审阅和编辑。姚佩文：研究、写作——审阅与编辑、数据管理、资源。李琳：概念化、资金获取、研究、方法论、监督、写作——审阅与编辑。朱海虹：项目管理、资源。左颖：资源、验证。崔颖宁：资源、验证。朱伟：验证、可视化。

数据可用性

支持本研究发现的数据和代码可在https://github.com/w-qilong/VPR获取。

CRediT作者贡献声明

吴奇龙：写作——审阅与编辑、原始草稿撰写、可视化、软件、方法论、研究、概念化。姚佩文：写作——审阅与编辑、资源管理、研究、数据管理。李琳：写作——审阅与编辑、监督、方法论、研究、资金获取、概念化。朱海虹：资源、项目管理。崔颖宁：验证、资源。左颖：验证、资源。朱伟：可视化、验证。吴宇坤：

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本研究得到了中国国家自然科学基金（项目编号4217010680）的资助。