大规模地点识别是机器人技术和计算机视觉领域中各种实际应用的关键前提,例如机器人导航(Xie等人,2023年)、地理定位(Berton等人,2022年)和自动驾驶(Sumikura等人,2019年)。地点识别问题通常被视为一项检索任务,其中通过查询带有全局描述符的大型地理标记数据库中与当前样本最相似的样本来估计其大致位置。与基于图像的地点识别(Arandjelovic等人,2016年)相比,基于点云的解决方案由于点云对环境变化(如光照变化、季节性变化和天气波动)的固有不变性而显示出更大的潜力。然而,由于室外点云的不规则性、稀疏性和不完整性,从点云生成具有区分性的全局描述符仍然是一个具有挑战性的问题。
在过去的几年中,随着深度神经网络在点云处理方面的快速发展(Choy, Gwak, Savarese, 2019; Qi, Su, Mo, Guibas, 2017a; Qi, Yi, Su, Guibas, 2017b; Thomas, Qi, Deschaud, Marcotegui, Goulette, Guibas, 2019; Wang, Sun, Liu, Sarma, Bronstein, Solomon, 2019; Zhao, Jiang, Jia, Torr, Koltun, 2021),基于点云的地点识别取得了显著进展。早期的尝试通常利用图结构(Liu, Zhou, Suo, Yin, Chen, Wang, Li, Liu, 2019; Sun, Liu, He, Fan, Du, 2020)或稀疏体素卷积(Komorowski, 2021)来捕获点云中的局部几何结构,然后将局部特征聚合到全局描述符中。然而,局部卷积难以捕获足够的上下文信息以获得具有区分性的局部描述符,从而限制了这些方法的性能。最近,随着Transformer(Dosovitskiy, Beyer, Kolesnikov, Weissenborn, Zhai, Unterthiner, Dehghani, Minderer, Heigold, Gelly, Uszkoreit, Houlsby, 2021; Liu, Lin, Cao, Hu, Wei, Zhang, Lin, Guo, 2021; Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin, 2017)在计算机视觉中展示了强大的能力,一些方法(Hui, Yang, Cheng, Xie, Yang, 2021b; Xia, Gladkova, Wang, Li, Stilla, Henriques, Cremers, 2023; Xia, Xu, Li, Wang, Du, Cremers, Stilla, 2021)采用注意力机制来建立空间上相隔较远区域之间的长距离关系,从而用全局上下文信息增强局部特征。这些方法遵循了先前方法(Dosovitskiy等人,2021)的做法,构建所有特征对并聚合来自所有其他局部特征的上下文信息。然而,这样的策略可能会将来自与任务无关的区域和时变对象(如停放的车辆)的冗余和误导性信息聚合进来,从而降低局部特征的区分能力并模糊全局描述。
在本文中,我们提出了一种新颖的基于区域引导的变换器(DRFormer)网络,以更加关注具有区分性的区域之间的交互,并避免受到与任务无关信息的影响。为了实现这一点,一个关键挑战是如何在不依赖昂贵的标记训练数据的情况下定位这些具有区分性的区域。幸运的是,我们可以利用聚合方法(即NetVLAD(Arandjelovic等人,2016)中的分配权重作为线索。NetVLAD定义了几个可学习的代码词,并通过分配权重自适应地聚合局部特征,这些权重衡量了代码词与局部特征之间的接近程度。由于模型的最终优化目标是确保全局描述符具有足够的区分能力以区分正样本和负样本,因此在优化过程中NetVLAD中的代码词将自适应地关注场景中不同的具有区分性的局部特征,并为这些具有区分性的局部特征分配较大的权重。如图1(b)所示,具有高分配权重的点集中在时间不变的区域内,如建筑物和路灯,而在与任务无关的区域(如汽车)中的点被分配相对较低的权重。
然而,当直接在我们的框架中应用原始的NetVLAD时,会出现一个关键挑战:从NetVLAD获得的全局描述符是一个高维向量,通常需要通过包含大量参数的全连接层将其降维到适当的维度,这会导致严重的过拟合(Komorowski,2021;即,当代码词数量增加时,性能会下降)。为了解决这个问题,我们设计了一个轻量级但有效的全局聚合模块LightVLAD,它可以直接将局部特征聚合到一个紧凑的全局描述符中,而无需降维层。这一特性使我们的LightVLAD能够在不遭受过拟合的情况下增加代码词的数量,显著提高了模型的性能。
借助新的有效LightVLAD,我们开发了具有区分性的区域引导注意力(DRA),这是我们DRFormer的核心构建模块。与建立所有特征对关系的普通自注意力不同,我们的具有区分性的区域引导注意力旨在仅从场景中选定的具有区分性的区域聚合远距离上下文信息,从而减轻与任务无关信息的影响。考虑到这一点,我们选择每个代码词对应的具有最高分配权重的点作为具有区分性的区域的中心。在自适应地嵌入每个具有区分性的区域的局部上下文和结构信息之后,我们通过自注意力在这些区域特征之间进行全局交互。最后,通过交叉注意力将全局区域特征分布到局部点特征中。
在各种基准数据集上的广泛实验表明,我们提出的方法优于现有的最先进方法,并在未见过的场景上表现出更强的泛化能力。
我们的主要贡献总结如下:
- 我们提出了一种新颖的基于区域引导的变换器,以更加关注具有区分性的局部特征,并避免受到与任务无关信息的影响,用于点云-based地点识别。
- 我们设计了一个轻量级但有效的全局聚合模块LightVLAD,它可以直接将局部特征聚合到一个紧凑的全局描述符中,而无需包含大量参数的降维层。
- 实验结果表明,我们提出的方法在各种基准数据集上实现了最先进的性能和卓越的泛化能力。