VI_MCPR：一种由多摄像头驱动的视角不变位置识别技术，适用于大规模环境

《IEEE Transactions on Industrial Informatics》：VI_MCPR: Viewpoint Invariant Place Recognition Driven by Multicamera for Large-Scale Environments

视觉地方识别（VPR）在自动驾驶中面临单摄像头视角受限问题，本文提出VI_MCPR方法，采用多摄像头输入、多分支共享编码器、鲁棒特征注意力池及几何空间增强模块，有效应对视角变化、动态环境和极端天气等挑战，实验表明PR性能提升6%-8%。

　　

摘要：

地点识别（PR）是自动驾驶和机器人技术领域中同时定位与地图构建（SLAM）的关键组成部分。在户外大规模且复杂的环境中，现有的基于视觉的地点识别（VPR）方法通常依赖于单摄像头输入，这种方法由于视野范围有限而存在固有缺陷，因此容易受到视角变化的影响。为有效解决这些问题，我们提出了一种名为VI_MCPR的新方法，该方法支持来自任意数量摄像头的输入。该方法利用多分支、权重共享的编码器结构来同时编码来自多个视角的图像特征。随后，通过强大的特征注意力池化模块学习高阶非线性特征以及特征之间的潜在关联，从而有效缓解了下采样过程中关键特征的丢失。为了生成具有区分能力的全球描述符，我们设计了一种名为graph-SE-transform（GSET）的模块，该模块能够以类似于人类视觉系统的方式捕捉物体的整体形状。在NuScenes、Argoverse 2 Sensors和真实车辆数据集上的广泛对比实验表明，VI_MCPR的性能优于现有的最先进VPR方法。与最强的基准方法相比，我们的方法在视角变化情况下提高了约6%的地点识别性能，在动态环境中提高了约6%的性能，在极端场景（如恶劣天气、光照变化和低纹理条件）下提高了约8%的性能。

引言

地点识别（PR）在自动驾驶中是一项关键任务，尤其是在同时定位与地图构建（SLAM）中。它将车辆当前的位置与存储在数据库中的先前访问过的位置进行匹配，通常是SLAM系统中循环闭合检测的初始步骤[1]。与基于激光雷达的地点识别（LPR）相比，基于视觉的地点识别（VPR）由于摄像头成本低廉且能提供丰富的颜色和纹理信息而受到了更多关注。然而，由于自动驾驶车辆并不总是从相同的方向或位置重新访问某个地点，视角变化[2]已成为VPR中最常见的挑战之一，如图1所示。因此，考虑视角变化对地点识别任务的影响至关重要。此外，在地点识别任务的背景下，“大规模环境”通常指的是传感器数据覆盖广泛的空间范围和较长的时间跨度，从而导致场景的多样性。广泛的空间范围意味着环境的物理覆盖范围很大，而较长的时间跨度则指数据收集的持续时间较长。由于这些环境的空间和时间特性，在大规模环境中进行地点识别面临两个主要挑战。

1) 环境复杂性和多样性：大规模地点识别通常涉及高度异构的场景。在这些条件下，视觉图像容易受到视角变化、动态遮挡、天气变化和低纹理表面的影响，这些因素都会降低识别精度。

2) 数据处理和计算限制：随着空间和时间范围的扩大，收集到的数据量显著增加，对查询延迟和存储提出了巨大要求。因此，地点识别算法必须生成既具有区分能力又具有全局通用性的描述符，同时满足实时处理的需求。这种需求的结合使得在大规模环境中直接应用深度网络提取全局图像特征变得特别具有挑战性。