基于点云的场所识别的区分性区域学习

《Neural Networks》:Discriminative Region Learning for Point Cloud-based Place Recognition

【字体: 大 中 小 】 时间:2026年04月20日 来源:Neural Networks 6.3

编辑推荐:

  针对点云基地方识别中注意力机制聚合冗余信息的问题,本文提出可区分区域引导Transformer(DRFormer),通过轻量级全局聚合模块LightVLAD定位关键区域,结合自注意力与跨注意力机制优化局部特征,显著提升性能。

  
杨航|慧蕾|朱云|钱建军|张一功|谢进
南京理工大学计算机科学与工程学院,南京,210000,中国

摘要

基于点云的地点识别旨在通过搜索包含查询点云局部特征聚合的全局描述符的数据库来估计大致位置。最近的一些先进方法利用了注意力机制,该机制建立了所有特征对之间的关系,以增强局部特征与远距离上下文信息之间的关联。然而,这种操作可能会将来自时变对象和与任务无关的区域(如汽车和地面点)的冗余和误导性信息聚合到局部特征中,从而降低特征的区分能力。在本文中,我们提出了一种新颖的基于区域引导的变换器(DRFormer),用于点云-based地点识别任务,通过显式构建具有区分性的特征对关系来避免聚合与任务无关的信息。具体来说,我们设计了一个轻量级但有效的全局聚合模块LightVLAD,以高效地提供定位具有区分性区域的线索。基于LightVLAD,我们提出了一个具有区分性的区域引导注意力模块,以更加关注远处的具有区分性的局部特征。在该模块中,根据LightVLAD中的分配权重来确定具有区分性区域的近似中心。然后将这些中心周围的局部区域嵌入以表征局部上下文和结构信息。接下来,这些嵌入特征之间进行全局交互,并通过交叉注意力将全局信息分布到局部特征中。因此,局部特征只关注一小部分具有区分性的区域,而不会受到其他无关区域的干扰。在各种基准数据集上的广泛实验表明,我们的方法在点云-based地点识别任务上优于现有的最先进方法。

引言

大规模地点识别是机器人技术和计算机视觉领域中各种实际应用的关键前提,例如机器人导航(Xie等人,2023年)、地理定位(Berton等人,2022年)和自动驾驶(Sumikura等人,2019年)。地点识别问题通常被视为一项检索任务,其中通过查询带有全局描述符的大型地理标记数据库中与当前样本最相似的样本来估计其大致位置。与基于图像的地点识别(Arandjelovic等人,2016年)相比,基于点云的解决方案由于点云对环境变化(如光照变化、季节性变化和天气波动)的固有不变性而显示出更大的潜力。然而,由于室外点云的不规则性、稀疏性和不完整性,从点云生成具有区分性的全局描述符仍然是一个具有挑战性的问题。
在过去的几年中,随着深度神经网络在点云处理方面的快速发展(Choy, Gwak, Savarese, 2019; Qi, Su, Mo, Guibas, 2017a; Qi, Yi, Su, Guibas, 2017b; Thomas, Qi, Deschaud, Marcotegui, Goulette, Guibas, 2019; Wang, Sun, Liu, Sarma, Bronstein, Solomon, 2019; Zhao, Jiang, Jia, Torr, Koltun, 2021),基于点云的地点识别取得了显著进展。早期的尝试通常利用图结构(Liu, Zhou, Suo, Yin, Chen, Wang, Li, Liu, 2019; Sun, Liu, He, Fan, Du, 2020)或稀疏体素卷积(Komorowski, 2021)来捕获点云中的局部几何结构,然后将局部特征聚合到全局描述符中。然而,局部卷积难以捕获足够的上下文信息以获得具有区分性的局部描述符,从而限制了这些方法的性能。最近,随着Transformer(Dosovitskiy, Beyer, Kolesnikov, Weissenborn, Zhai, Unterthiner, Dehghani, Minderer, Heigold, Gelly, Uszkoreit, Houlsby, 2021; Liu, Lin, Cao, Hu, Wei, Zhang, Lin, Guo, 2021; Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin, 2017)在计算机视觉中展示了强大的能力,一些方法(Hui, Yang, Cheng, Xie, Yang, 2021b; Xia, Gladkova, Wang, Li, Stilla, Henriques, Cremers, 2023; Xia, Xu, Li, Wang, Du, Cremers, Stilla, 2021)采用注意力机制来建立空间上相隔较远区域之间的长距离关系,从而用全局上下文信息增强局部特征。这些方法遵循了先前方法(Dosovitskiy等人,2021)的做法,构建所有特征对并聚合来自所有其他局部特征的上下文信息。然而,这样的策略可能会将来自与任务无关的区域和时变对象(如停放的车辆)的冗余和误导性信息聚合进来,从而降低局部特征的区分能力并模糊全局描述。
在本文中,我们提出了一种新颖的基于区域引导的变换器(DRFormer)网络,以更加关注具有区分性的区域之间的交互,并避免受到与任务无关信息的影响。为了实现这一点,一个关键挑战是如何在不依赖昂贵的标记训练数据的情况下定位这些具有区分性的区域。幸运的是,我们可以利用聚合方法(即NetVLAD(Arandjelovic等人,2016)中的分配权重作为线索。NetVLAD定义了几个可学习的代码词,并通过分配权重自适应地聚合局部特征,这些权重衡量了代码词与局部特征之间的接近程度。由于模型的最终优化目标是确保全局描述符具有足够的区分能力以区分正样本和负样本,因此在优化过程中NetVLAD中的代码词将自适应地关注场景中不同的具有区分性的局部特征,并为这些具有区分性的局部特征分配较大的权重。如图1(b)所示,具有高分配权重的点集中在时间不变的区域内,如建筑物和路灯,而在与任务无关的区域(如汽车)中的点被分配相对较低的权重。
然而,当直接在我们的框架中应用原始的NetVLAD时,会出现一个关键挑战:从NetVLAD获得的全局描述符是一个高维向量,通常需要通过包含大量参数的全连接层将其降维到适当的维度,这会导致严重的过拟合(Komorowski,2021;即,当代码词数量增加时,性能会下降)。为了解决这个问题,我们设计了一个轻量级但有效的全局聚合模块LightVLAD,它可以直接将局部特征聚合到一个紧凑的全局描述符中,而无需降维层。这一特性使我们的LightVLAD能够在不遭受过拟合的情况下增加代码词的数量,显著提高了模型的性能。
借助新的有效LightVLAD,我们开发了具有区分性的区域引导注意力(DRA),这是我们DRFormer的核心构建模块。与建立所有特征对关系的普通自注意力不同,我们的具有区分性的区域引导注意力旨在仅从场景中选定的具有区分性的区域聚合远距离上下文信息,从而减轻与任务无关信息的影响。考虑到这一点,我们选择每个代码词对应的具有最高分配权重的点作为具有区分性的区域的中心。在自适应地嵌入每个具有区分性的区域的局部上下文和结构信息之后,我们通过自注意力在这些区域特征之间进行全局交互。最后,通过交叉注意力将全局区域特征分布到局部点特征中。
在各种基准数据集上的广泛实验表明,我们提出的方法优于现有的最先进方法,并在未见过的场景上表现出更强的泛化能力。
我们的主要贡献总结如下:
  • 我们提出了一种新颖的基于区域引导的变换器,以更加关注具有区分性的局部特征,并避免受到与任务无关信息的影响,用于点云-based地点识别。
  • 我们设计了一个轻量级但有效的全局聚合模块LightVLAD,它可以直接将局部特征聚合到一个紧凑的全局描述符中,而无需包含大量参数的降维层。
  • 实验结果表明,我们提出的方法在各种基准数据集上实现了最先进的性能和卓越的泛化能力。

章节片段

手工制作3D全局描述符

大多数手工制作的全局描述符利用场景的全局几何统计信息来表征点云。R?hling等人(R?hling等人,2015)提出了一种基于直方图的快速方法来描述LiDAR扫描结果。M2DP(He等人,2016)将LiDAR点云投影到多视图2D图像中,并融合从这些图像中提取的描述符。DELIGHT(Cop等人,2018)引入了LiDAR扫描的强度信息,为每个区域构建强度直方图。Cao等人(Cao等人)

概述

在基于点云的地点识别任务中,我们的目标是学习一个网络
?:RN×3→RC
P∈RN×3 g∈RC ?:RN×3
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号