引言
3D关键点检测是3D点云分析的一项基本操作,对于许多下游处理任务具有重大意义,包括目标检测(Liu et al., 2020)、形状检索(Zhang et al., 2024a)、姿态估计(Xue et al., 2023; Weng et al., 2023)、3D重建(Yuan et al., 2022; Zhong et al., 2022; 2023; Zohaib et al., 2025)、点云配准(Xie et al., 2024; Zhang et al., 2024b)、变形(Jakab et al., 2021)和补全(Tang et al., 2022; Wu et al., 2023)。
一般来说,3D关键点是3D物体上具有几何显著性、在同一类别内具有语义一致性且与人工标注对齐的点。然而,这些特征本身具有内在的模糊性,使得3D关键点的检测成为一个具有挑战性的任务。对于有监督学习方法(Shu et al., 2018; 2021),由于关键点定义的模糊性导致人工标注的关键点数据稀缺,这严重限制了它们的应用。另一方面,大多数以往的方法,包括传统方法(Harris et al., 1988; Zhong, 2009; Lowe, 2004)和基于深度学习的方法(Shu et al., 2018; 2021),严重依赖于物体的几何特征,导致检测到的关键点在同一类别内通常缺乏语义一致性。
近期,一系列工作(Fernandez-Labrador et al., 2020; Shi et al., 2021; Zohaib and Del Bue, 2023)提出了以无监督方式检测特定类别的对齐3D关键点。虽然这些工作认识到对齐的3D关键点可以作为同一类别不同实例的共享抽象,但它们并未显式利用这一事实来指导学习过程,因为这通常不容易形式化。然而,这种语义层次关系(如关键点-PCD)在日常生活中被人类广泛利用,无论是有意识地还是无意识地。
事实上,一些研究已经在点云分类、补全和配准中利用了这种关系,其中层次结构被嵌入到双曲空间中,因为在欧氏空间(零曲率)或球面空间(正曲率)中无法有效捕捉这种结构。层次化的树状结构可以以低失真嵌入到双曲空间中(Montanaro et al., 2022)。双曲空间的体积随其半径呈指数增长,这使其特别适合建模层次结构,在这种结构中叶节点的数量呈指数增长。
受这些工作的启发,我们将双曲空间引入3D关键点检测。具体来说,我们在双曲空间中构建关键点与PCD实例之间的树状结构。我们期望关键点特征被鼓励占据比实例级全局特征更中心或更高层次的区域。该策略不仅提取了公共抽象信息,增强了同一类别内关键点的语义一致性,还区分了不同实例,使整个物体类别的结构层次与人类理解更加一致。此外,对更复杂层次特征学习的需求促使我们探索新的编码器架构设计,如图或基于Transformer的编码器。
在本文中,我们提出了一种新颖的无监督关键点检测网络HUSK,采用双曲-欧氏表示学习。我们以点云为输入,关键点提案网络首先输出关键点坐标、关键点特征和PCD全局特征。在欧氏空间中,我们提出了一种patch损失函数作为基于骨架重建辅助任务的增强(Shi et al., 2021),以优化关键点的几何属性。在双曲空间中,我们将关键点特征和PCD全局特征投影到Poincaré单位球上以计算正则化损失,从而构建部分-整体层次结构。此外,由于双曲-欧氏学习目标既需要几何感知的点特征进行关键点定位,又需要关键点和全局特征进行层次正则化,我们还在编码器中设计了一个基于Transformer的模块,称为残差图Transformer(RGT),而不是像以往工作那样使用PointNet(Qi et al., 2017a)或PointNet++(Qi et al., 2017b)。根据在KeypointNet数据集(You et al., 2020)上与各种方法的比较结果,我们的方法在多项指标上取得了最佳或第二佳的结果。
本文的贡献如下:
- •
我们提出了一种采用双曲-欧氏表示学习的无监督3D关键点检测网络HUSK。该框架生成的关键点符合人工标注,并反映了3D物体的形状和结构信息。
- •
我们在双曲空间中建立了关键点与PCD实例之间的语义层次结构关系,可以增强语义一致性关系。
- •
设计了一种patch损失函数,用于在PCD上生成分布均匀的关键点,并最大程度地反映PCD的局部结构信息。
- •
在编码器中设计了一个RGT模块,可以为所提出的网络捕获PCD的语义高效特征。