相关内容：适用于视觉位置识别的自适应测试时效率的表示学习（Representation learning with adaptive test-time efficiency for Visual Place Recognition）

《Signal Processing: Image Communication》：ReLATE: Representation learning with adaptive test-time efficiency for Visual Place Recognition

　　•现有的视觉地点识别（VPR）方法提供的特征具有固定的复杂性。
•实际应用需要能够适应不同计算资源的灵活特征。
•我们的框架（ReLATE）将广泛使用但僵化的VPR模型转变为灵活的模型。
•此外，ReLATE可以几乎不增加额外成本地替代计算密集型的PCA。

### 引言
视觉地点识别（VPR）是一种替代广泛使用的全球定位系统（GPS）的方法，它仅基于图像来识别曾经访问过的地点。换句话说，给定一个来自当前地点的未知位置的查询图像，VPR会预测其对应的地理位置坐标。这是通过将查询图像与参考图像（来自之前访问过的地点）进行匹配来实现的，这些参考图像与所需的地理地图相对应。参考图像数据库包含了带有位置信息（UTM坐标或经纬度坐标）的地图图像块。

总之，VPR将给定的图像定位到全球坐标系统中。匹配通常在特征空间中完成。

VPR通常被构建为图像检索或分类任务[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]。尽管VPR与传统的图像检索密切相关，但其目标不同，并且在实践中更具挑战性。图像检索主要关注前景对象，例如产品检索场景中的衣物。相比之下，VPR模型必须捕捉定义图像中地点的特征，这往往非常复杂[16]。查询图像和数据库图像之间的动态外观变化以及感知混淆只是其中的一些难点。

典型的VPR流程包括两个主要组成部分：特征学习和特征匹配。特征学习生成能够承受各种挑战的稳健表示，包括视角、尺度、季节和光照的变化，以及由于动态天气条件导致的遮挡[17]。一些图像匹配工作[18]、[19]、[20]结合了特征学习和匹配，并为图像对生成置信度或相似度分数。VPR通常使用欧几里得距离或余弦距离进行特征匹配，并利用这些距离分数进行后续的检索任务。

VPR在新兴的计算机视觉应用中至关重要，如自主导航、增强现实和虚拟现实、物体跟踪、图像检索或搜索以及场景理解[16]、[21]。对于实时应用来说，VPR模型的效率至关重要，以确保它们能在资源有限的边缘设备上有效运行[22]、[23]。

现代VPR方法[9]、[10]、[11]、[12]、[13]、[14]、[15]通过利用深度学习（DL）模型取得了显著进展。然而，正如Matryoshka表示学习（MRL）研究[24]所指出的，这些方法的描述符往往很僵化，因为这些特征不能轻易适应不同的计算资源。这些表示具有固定的复杂性。相比之下，最终应用可能需要不同的计算预算。在这种情况下，模型需要提供能够适应当前可用资源的灵活特征，而不影响模型的性能。受MRL研究的启发，我们提出将MRL技术扩展到VPR问题，我们称之为自适应测试时效率的表示学习（ReLATE）。

特别是，许多VPR方法采用两阶段检索策略，首先是粗匹配，然后是细匹配[3]、[9]、[10]。在这样的流程中，所提出的ReLATE框架可以通过在粗匹配阶段使用完整表示的低维子集来显著加速VPR。当参考数据库很大时，这一点尤其有用。

在动态环境中操作时（例如，室内-室外、郊区-城市、自然-人造或结构化-开放环境[25]），也有类似的优势。根据环境的难度，ReLATE框架可以实现适当的精度-效率权衡。此外，这在推理过程中不会产生额外的计算成本。

图1比较了在所提出的框架内部重新训练的广泛使用的NetVLAD与其性能。NetVLAD[2]的一个显著缺点是其高维表示[26]，这需要大量的计算和存储资源。为了解决这个问题，NetVLAD模型和一些最近的研究[2]、[3]、[4]、[12]、[13]使用了主成分分析（PCA）进行降维，但PCA在计算上可能非常昂贵。为了避免PCA的后处理开销，一些VPR模型[8]用特定的投影层替代了PCA，从而使模型成为端到端的。然而，这些方法可能会增加可训练参数的数量，从而增加模型的复杂性。与PCA和投影层不同，所提出的技术可以在几乎不改变架构的情况下轻松降低特征维度并提供测试时的适应性。为了实现这一点，我们利用了深度学习模型使用经验选择的组件（如滤波器的数量和大小）构建的事实，以及这些模型学习到的特征可能包含冗余的事实。在这项工作中，我们不是优化单个描述符（比如长度L），而是优化其不同部分（K
- mrl研究关注更一般的图像检索问题。如前所述，vpr比图像检索更具挑战性。relate研究了vpr的mrl。
- mrl仅处理瓶颈层。另一方面，relate除了聚合器外，还研究了vpr的骨干模型的特征。
- mrl研究没有对特征的行为提供任何解释。我们的工作试图以多种方式解释这些特征。

我们在各种广泛使用的vpr聚合器（如gem[27]、netvlad[2]、cosplace[5]、conv-ap[7]、mixvpr[8]和supervlad[15]）上进行了大量的实验，这些聚合器在具有挑战性的数据集上进行了测试。我们将实验分为两部分：从（i）骨干和（ii）聚合器中选择特征子集。我们的贡献总结如下：
- 特征选择策略为输入图像生成单一的灵活表示，能够适应不同的计算资源，同时与基线方法相比性能下降幅度最小。
- 量化所选特征集相对于完整表示的重要性，后者被称为参考表示。这旨在评估随着我们逐步向集合中添加更多维度时所选特征的信息量。在这项工作中，我们使用了流行的特征相似度度量cca[28]。
- 定量实验将我们的方法与其他方法进行比较，并使用t-sne[29]进行定性实验，以理解特征的区分能力。

这些实验表明，在relate框架中训练的聚合器的性能几乎等同于在特定维度下独立训练的聚合器的性能。relate的优势在于其表示的灵活性，它可以适应可用的计算资源。

### 传统vpr
视觉地点识别问题最初是通过经典方法（如sift[30]、surf[31]和vlad[1]）解决的，这些方法对环境变化引起的图像失真提供的鲁棒性有限。随着深度学习的兴起及其在各种视觉感知和识别任务中的成功应用，现代vpr算法主要基于深度学习模型。netvlad[2]就是这样一种算法，它推动了几个相关方法的发展。

### 方法
本节介绍了所提出的relate框架，该框架包括在骨干和聚合器两阶段的特征选择策略。在从骨干特征中选择特征时，我们引入了一些额外的参数。对于聚合器阶段的特征选择，没有引入任何架构变更。为了完整性，我们简要讨论了mrl研究[24]的构建方法。

### 实验
我们将提出的方法与基线方法进行了比较，基线方法包括骨干特征提取和聚合阶段。基线模型使用完整表示进行优化。如图2（a, b）（基线）所示。用于训练和推理的数据集概览见于表1。我们使用resnet50[47]和dinov2/b14[34]模型作为骨干模型。这项研究采用了vpr方法，包括netvlad[2]、gem[27]、cosplace[5]、conv-ap[7]、mixvpr[8]和supervlad[15]。

### 讨论
本节通过cca[28]分析讨论了定量性能及其解释。此外，还使用cca图和t-sne图进行了定性分析，以更深入地理解嵌套学习。我们还进行了一项关于嵌套特征表现出来的固有插值特性的有趣研究。

### 呼回率（以表格形式）
表16、表19、表21、表23、表28显示了使用resnet50骨干模型的召回率。同样，表17、表20、表22、表24显示了使用dinov2/b14骨干模型的召回率（见表25）。

### cka分数（以表格形式）
表26、表28、表29、表31、表33显示了使用resnet50骨干模型的cca分数。同样，表27、表30、表32、表34显示了使用dinov2/b14骨干模型的cca分数。

### 选择relate变体
mrl-agg和mrl-bb之间的一些区别如下：
- mrl-agg更具实际可行性，因为它不需要进一步处理。由于依赖于聚合器头，mrl-bb的插值成本非常高。
- 当使用dinov2骨干模型时，mrl-agg在大多数情况下优于mrl-bb。
- 当使用resnet50作为骨干模型时，mrl-bb在大多数情况下优于mrl-agg。

然而，我们的实验表明，几乎所有使用dinov2骨干模型训练的聚合器都表现出色。

### 结论
本研究介绍了relate表示学习框架，包括mrl-agg和mrl-bb策略，这些策略能够将广泛使用的vpr模型的特征适应于不同的计算预算。这种适应对于mrl-bb来说需要最少的额外训练或推理开销（对于mrl-agg来说则不需要）。大多数遵循的ded-agg和ded-bb方法需要针对每个期望的维度分别进行训练，缺乏表示的灵活性。我们的工作试图...

### 作者贡献声明
anuradha uggi：撰写——原始草案、调查、形式分析、概念化。
sumohana s. channappayya：撰写——审阅与编辑、监督、资金获取、概念化。

### 竞争利益声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能影响本文报告的工作。 - mrl研究关注更一般的图像检索问题。如前所述，vpr比图像检索更具挑战性。relate研究了vpr的mrl。 - mrl仅处理瓶颈层。另一方面，relate除了聚合器外，还研究了vpr的骨干模型的特征。 - mrl研究没有对特征的行为提供任何解释。我们的工作试图以多种方式解释这些特征。 我们在各种广泛使用的vpr聚合器（如gem[27]、netvlad[2]、cosplace[5]、conv-ap[7]、mixvpr[8]和supervlad[15]）上进行了大量的实验，这些聚合器在具有挑战性的数据集上进行了测试。我们将实验分为两部分：从（i）骨干和（ii）聚合器中选择特征子集。我们的贡献总结如下： - 特征选择策略为输入图像生成单一的灵活表示，能够适应不同的计算资源，同时与基线方法相比性能下降幅度最小。 - 量化所选特征集相对于完整表示的重要性，后者被称为参考表示。这旨在评估随着我们逐步向集合中添加更多维度时所选特征的信息量。在这项工作中，我们使用了流行的特征相似度度量cca[28]。 - 定量实验将我们的方法与其他方法进行比较，并使用t-sne[29]进行定性实验，以理解特征的区分能力。 这些实验表明，在relate框架中训练的聚合器的性能几乎等同于在特定维度下独立训练的聚合器的性能。relate的优势在于其表示的灵活性，它可以适应可用的计算资源。 ### 传统vpr 视觉地点识别问题最初是通过经典方法（如sift[30]、surf[31]和vlad[1]）解决的，这些方法对环境变化引起的图像失真提供的鲁棒性有限。随着深度学习的兴起及其在各种视觉感知和识别任务中的成功应用，现代vpr算法主要基于深度学习模型。netvlad[2]就是这样一种算法，它推动了几个相关方法的发展。 ### 方法 本节介绍了所提出的relate框架，该框架包括在骨干和聚合器两阶段的特征选择策略。在从骨干特征中选择特征时，我们引入了一些额外的参数。对于聚合器阶段的特征选择，没有引入任何架构变更。为了完整性，我们简要讨论了mrl研究[24]的构建方法。 ### 实验 我们将提出的方法与基线方法进行了比较，基线方法包括骨干特征提取和聚合阶段。基线模型使用完整表示进行优化。如图2（a, b）（基线）所示。用于训练和推理的数据集概览见于表1。我们使用resnet50[47]和dinov2 b14[34]模型作为骨干模型。这项研究采用了vpr方法，包括netvlad[2]、gem[27]、cosplace[5]、conv-ap[7]、mixvpr[8]和supervlad[15]。 ### 讨论 本节通过cca[28]分析讨论了定量性能及其解释。此外，还使用cca图和t-sne图进行了定性分析，以更深入地理解嵌套学习。我们还进行了一项关于嵌套特征表现出来的固有插值特性的有趣研究。 ### 呼回率（以表格形式） 表16、表19、表21、表23、表28显示了使用resnet50骨干模型的召回率。同样，表17、表20、表22、表24显示了使用dinov2 b14骨干模型的召回率（见表25）。 ### cka分数（以表格形式） 表26、表28、表29、表31、表33显示了使用resnet50骨干模型的cca分数。同样，表27、表30、表32、表34显示了使用dinov2 b14骨干模型的cca分数。 ### 选择relate变体 mrl-agg和mrl-bb之间的一些区别如下： - mrl-agg更具实际可行性，因为它不需要进一步处理。由于依赖于聚合器头，mrl-bb的插值成本非常高。 - 当使用dinov2骨干模型时，mrl-agg在大多数情况下优于mrl-bb。 - 当使用resnet50作为骨干模型时，mrl-bb在大多数情况下优于mrl-agg。 然而，我们的实验表明，几乎所有使用dinov2骨干模型训练的聚合器都表现出色。 ### 结论 本研究介绍了relate表示学习框架，包括mrl-agg和mrl-bb策略，这些策略能够将广泛使用的vpr模型的特征适应于不同的计算预算。这种适应对于mrl-bb来说需要最少的额外训练或推理开销（对于mrl-agg来说则不需要）。大多数遵循的ded-agg和ded-bb方法需要针对每个期望的维度分别进行训练，缺乏表示的灵活性。我们的工作试图... ### 作者贡献声明 anuradha uggi：撰写——原始草案、调查、形式分析、概念化。 sumohana s. channappayya：撰写——审阅与编辑、监督、资金获取、概念化。 ### 竞争利益声明>
- mrl研究关注更一般的图像检索问题。如前所述，vpr比图像检索更具挑战性。relate研究了vpr的mrl。
- mrl仅处理瓶颈层。另一方面，relate除了聚合器外，还研究了vpr的骨干模型的特征。
- mrl研究没有对特征的行为提供任何解释。我们的工作试图以多种方式解释这些特征。

我们在各种广泛使用的vpr聚合器（如gem[27]、netvlad[2]、cosplace[5]、conv-ap[7]、mixvpr[8]和supervlad[15]）上进行了大量的实验，这些聚合器在具有挑战性的数据集上进行了测试。我们将实验分为两部分：从（i）骨干和（ii）聚合器中选择特征子集。我们的贡献总结如下：
- 特征选择策略为输入图像生成单一的灵活表示，能够适应不同的计算资源，同时与基线方法相比性能下降幅度最小。
- 量化所选特征集相对于完整表示的重要性，后者被称为参考表示。这旨在评估随着我们逐步向集合中添加更多维度时所选特征的信息量。在这项工作中，我们使用了流行的特征相似度度量cca[28]。
- 定量实验将我们的方法与其他方法进行比较，并使用t-sne[29]进行定性实验，以理解特征的区分能力。

这些实验表明，在relate框架中训练的聚合器的性能几乎等同于在特定维度下独立训练的聚合器的性能。relate的优势在于其表示的灵活性，它可以适应可用的计算资源。

### 传统vpr
视觉地点识别问题最初是通过经典方法（如sift[30]、surf[31]和vlad[1]）解决的，这些方法对环境变化引起的图像失真提供的鲁棒性有限。随着深度学习的兴起及其在各种视觉感知和识别任务中的成功应用，现代vpr算法主要基于深度学习模型。netvlad[2]就是这样一种算法，它推动了几个相关方法的发展。

### 方法
本节介绍了所提出的relate框架，该框架包括在骨干和聚合器两阶段的特征选择策略。在从骨干特征中选择特征时，我们引入了一些额外的参数。对于聚合器阶段的特征选择，没有引入任何架构变更。为了完整性，我们简要讨论了mrl研究[24]的构建方法。

### 实验
我们将提出的方法与基线方法进行了比较，基线方法包括骨干特征提取和聚合阶段。基线模型使用完整表示进行优化。如图2（a, b）（基线）所示。用于训练和推理的数据集概览见于表1。我们使用resnet50[47]和dinov2/b14[34]模型作为骨干模型。这项研究采用了vpr方法，包括netvlad[2]、gem[27]、cosplace[5]、conv-ap[7]、mixvpr[8]和supervlad[15]。

### 讨论
本节通过cca[28]分析讨论了定量性能及其解释。此外，还使用cca图和t-sne图进行了定性分析，以更深入地理解嵌套学习。我们还进行了一项关于嵌套特征表现出来的固有插值特性的有趣研究。

### 呼回率（以表格形式）
表16、表19、表21、表23、表28显示了使用resnet50骨干模型的召回率。同样，表17、表20、表22、表24显示了使用dinov2/b14骨干模型的召回率（见表25）。

### cka分数（以表格形式）
表26、表28、表29、表31、表33显示了使用resnet50骨干模型的cca分数。同样，表27、表30、表32、表34显示了使用dinov2/b14骨干模型的cca分数。

### 选择relate变体
mrl-agg和mrl-bb之间的一些区别如下：
- mrl-agg更具实际可行性，因为它不需要进一步处理。由于依赖于聚合器头，mrl-bb的插值成本非常高。
- 当使用dinov2骨干模型时，mrl-agg在大多数情况下优于mrl-bb。
- 当使用resnet50作为骨干模型时，mrl-bb在大多数情况下优于mrl-agg。

然而，我们的实验表明，几乎所有使用dinov2骨干模型训练的聚合器都表现出色。

### 结论
本研究介绍了relate表示学习框架，包括mrl-agg和mrl-bb策略，这些策略能够将广泛使用的vpr模型的特征适应于不同的计算预算。这种适应对于mrl-bb来说需要最少的额外训练或推理开销（对于mrl-agg来说则不需要）。大多数遵循的ded-agg和ded-bb方法需要针对每个期望的维度分别进行训练，缺乏表示的灵活性。我们的工作试图...

### 作者贡献声明
anuradha uggi：撰写——原始草案、调查、形式分析、概念化。
sumohana s. channappayya：撰写——审阅与编辑、监督、资金获取、概念化。

### 竞争利益声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能影响本文报告的工作。>