对不同参数高效微调方法在视觉地点识别任务中的性能进行基准测试

《Pattern Recognition》：Benchmarking different parameter-efficient fine-tuning methods for visual place recognition

【字体：大中小】 时间：2026年08月15日 来源：Pattern Recognition 9.1

编辑推荐：

　　•PEFT-VPRBench：首个统一基准测试，可在11个地面及航空数据集上系统评估七种用于视觉位置识别的PEFT变体。•扩展的PEFT设计空间：我们首次在统一的骨干网络和流程下，研究了基于适配器、基于提示词以及基于侧链的调优方法，其中包括Dense-CNN Adapter。•出

•
PEFT-VPRBench：首个统一基准测试，可在11个地面及航空数据集上系统评估七种用于视觉位置识别的PEFT变体。
•
扩展的PEFT设计空间：我们首次在统一的骨干网络和流程下，研究了基于适配器、基于提示词以及基于侧链的调优方法，其中包括Dense-CNN Adapter。
•
出色的航空场景性能与数据效率：PEFT方法在航空数据集上的表现尤为优异，而CNN Side即便仅使用50%的训练数据仍能保持良好的检索效果。
•
支持可重复研究的开放资源：我们提供了代码、数据集以及预训练模型，以助力高效视觉定位相关研究的可重复性。

引言

视觉位置识别（VPR），也即基于图像的定位技术，旨在通过从带有地理标签的数据库中检索最匹配的图像，从而确定查询图像的地理位置[1]、[2]。这一能力在诸多应用中都至关重要，比如SLAM流程中的循环闭合检测[3]、基于内容的图像检索[4]、自动驾驶车辆导航[5]，以及在没有卫星信号的环境下对无人机进行地理定位[6]。

近期的视觉基础模型使得微调成为将强大的通用特征迁移到下游视觉任务中的常用策略[7]。不过对于VPR而言，模型适配仍然面临巨大挑战。一个实用的VPR系统必须能够应对城市布局、季节、视角以及感知平台等方面的巨大变化，而以地点为中心的标注成本高昂且数量有限，尤其是在航空场景中。在这种环境下，针对每个应用场景进行全参数微调既耗时又难以维护，而且当可用监督数据较少时还容易过拟合[8]。因此，参数高效微调（PEFT）成为了VPR领域的理想替代方案：它通过仅更新少量额外参数来调整已冻结的基础模型，既能保留预训练得到的广泛视觉先验，又能高效地适应不同场景下的地点外观变化[9]、[10]、[11]。

此外，这种情况也与传统的VPR领域自适应方法有所不同。大多数领域自适应方法都是通过比对策略或专门的适配流程，实现特定源-目标对之间的特征迁移。而PEFT则着眼于另一个实际目标：让同一个已冻结的基础模型，能够通过轻量级的任务专用模块，高效地适配多种VPR应用场景。目前基于DINOv2的VPR研究[12]仅探索了这一设计空间的很小一部分。例如，AnyLoc[13]完全保持骨干网络不变，而其他方法则会对选定的网络模块进行调优[14]、[15]，或是引入类似适配器的模块[16]、[17]。不过，除了传统的适配器调优方式（见图1，其中火图标代表已有研究方法，雪花图标代表未被探索的方法）之外，那些在更广泛的计算机视觉任务中展现出潜力的主要PEFT范式，比如基于提示词和基于侧链的策略，在VPR领域几乎尚未被深入研究[10]、[18]。因此，目前该领域仍然缺乏一种统一的方法，用于在相同的骨干网络、训练流程以及多场景环境下，系统地评估不同的PEFT范式在VPR中的应用效果。

为填补这一空白，我们提出了PEFT-VPRBench，这是一个用于系统研究VPR领域PEFT技术的统一框架。我们评估了七种PEFT变体，其中还包括首次将提示词调优和侧链调优应用于VPR领域。同时，鉴于区分地点的特征具有多尺度特性，我们还研究了将其应用于VPR的Dense-CNN Adapter。

与地面数据集相比，航空训练数据集更难构建，规模通常也更小。因此，航空场景为PEFT方法提供了极为有价值的测试环境。然而，现有研究大多聚焦于地面数据[2]、[19]，目前仍缺乏针对航空场景VPR的PEFT技术系统的研究。为弥补这一不足并为未来的数据收集工作提供参考，我们分析了训练数据集大小对最佳PEFT变体的影响，并为数据稀缺或获取成本较高的场景提供了实用建议。

本文的主要贡献如下：

•
系统化的评估框架：我们推出了PEFT-VPRBench，这是首个统一基准测试，可在相同流程下系统评估用于视觉位置识别的基于适配器、基于提示词以及基于侧链的PEFT方法。
•
在航空数据上的出色性能：通过在11个地面及航空数据集上的实验，我们发现PEFT方法，尤其是Linear Adapter和CNN Side，在航空数据集上的表现极为优异，有多种变体的性能甚至超过了现有的最优VPR基准模型。
•
数据效率分析：我们量化了训练数据集大小对PEFT性能的影响，结果表明CNN Side即便只有50%的训练数据，仍能保持较高的检索准确率，因此非常适合数据稀缺或资源有限的场景。

本文的其余部分结构如下：第2节回顾了视觉位置识别、参数高效迁移学习以及相关基准测试；第3节介绍了各类参数高效调优方法的结构；第4节阐述了训练细节与数据集情况；第5节分析了多个数据集上的实验结果；最后，第6节总结了本文内容并指出了未来的研究方向。

各章节要点

PEFT-VPRBench

本节介绍了PEFT-VPR处理流程以及所评估的PEFT方法的实现细节。首先，我们在3.1节定义了VPR任务，并概述了本框架所需的ViT相关基础知识，同时展示了如图2所示的整个处理流程。接着在3.2节介绍了整合到该框架中的各类PEFT方法。最后，3.3节阐述了本基准测试中使用的损失函数以及训练数据的构成。

实验设置

本节介绍了实验的具体设置，包括评估用数据集、PEFT模块的配置以及基准方法。

实验结果

本节展示了在地面及航空场景下，所评估的PEFT方法的实证结果。首先我们比较了不同方法在这两种场景下的整体性能，接着分析了在不同训练数据规模下表现最优异的两种PEFT变体，最后总结了这些实验带来的主要实践启示。

结论

在本文中，我们推出了PEFT-VPRBench，这是一个统一基准测试平台，可用于系统评估针对DINOv2[33]基础模型的视觉位置识别任务所采用的参数高效微调（PEFT）方法。通过在11个地面及航空数据集上对比基于适配器、基于侧链以及基于提示词的PEFT方法，我们对基础模型的先验特征在VPR任务中的适配效果进行了全面的研究。

我们的实验得出了三个主要结论。首先，线性

CRediT作者贡献说明

吴若湾：撰写——初稿撰写、软件开发、资源整理、方法设计、研究实施、数据筛选、概念构思。李静贝：验证、数据筛选。刘宇翔：撰写——审稿与编辑。刘宇：指导监督。严晨：撰写——审稿与编辑、指导监督、资金申请。张茂军：指导监督、概念构思。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关联关系。

致谢

作者感谢国家自然科学基金委员会的支持（项目编号：62406331）。

引言