HUSK:基于双曲-欧氏几何的无监督点云关键点检测

《Computer Aided Geometric Design》:HUSK: Hyperbolic-Euclidean unsupervised keypoint detection from point clouds

【字体: 大 中 小 】 时间:2026年10月24日 来源:Computer Aided Geometric Design 1.7

编辑推荐:

   •提出了一种采用双曲-欧氏表示学习的3D点云关键点检测网络HUSK。•我们建立了关键点与点云之间的语义层次结构关系。•设计了一种patch损失函数,用于在点云上生成分布均匀的关键点,并最大程度地反映点云的局部结构信息。•设计了一个RGT模块,用于捕获点云的语义高效特征。引言3

  
  • •
    提出了一种采用双曲-欧氏表示学习的3D点云关键点检测网络HUSK。
  • •
    我们建立了关键点与点云之间的语义层次结构关系。
  • •
    设计了一种patch损失函数,用于在点云上生成分布均匀的关键点,并最大程度地反映点云的局部结构信息。
  • •
    设计了一个RGT模块,用于捕获点云的语义高效特征。

引言

3D关键点检测是3D点云分析的一项基本操作,对于许多下游处理任务具有重大意义,包括目标检测(Liu et al., 2020)、形状检索(Zhang et al., 2024a)、姿态估计(Xue et al., 2023; Weng et al., 2023)、3D重建(Yuan et al., 2022; Zhong et al., 2022; 2023; Zohaib et al., 2025)、点云配准(Xie et al., 2024; Zhang et al., 2024b)、变形(Jakab et al., 2021)和补全(Tang et al., 2022; Wu et al., 2023)。
一般来说,3D关键点是3D物体上具有几何显著性、在同一类别内具有语义一致性且与人工标注对齐的点。然而,这些特征本身具有内在的模糊性,使得3D关键点的检测成为一个具有挑战性的任务。对于有监督学习方法(Shu et al., 2018; 2021),由于关键点定义的模糊性导致人工标注的关键点数据稀缺,这严重限制了它们的应用。另一方面,大多数以往的方法,包括传统方法(Harris et al., 1988; Zhong, 2009; Lowe, 2004)和基于深度学习的方法(Shu et al., 2018; 2021),严重依赖于物体的几何特征,导致检测到的关键点在同一类别内通常缺乏语义一致性。
近期,一系列工作(Fernandez-Labrador et al., 2020; Shi et al., 2021; Zohaib and Del Bue, 2023)提出了以无监督方式检测特定类别的对齐3D关键点。虽然这些工作认识到对齐的3D关键点可以作为同一类别不同实例的共享抽象,但它们并未显式利用这一事实来指导学习过程,因为这通常不容易形式化。然而,这种语义层次关系(如关键点-PCD)在日常生活中被人类广泛利用,无论是有意识地还是无意识地。
事实上,一些研究已经在点云分类、补全和配准中利用了这种关系,其中层次结构被嵌入到双曲空间中,因为在欧氏空间(零曲率)或球面空间(正曲率)中无法有效捕捉这种结构。层次化的树状结构可以以低失真嵌入到双曲空间中(Montanaro et al., 2022)。双曲空间的体积随其半径呈指数增长,这使其特别适合建模层次结构,在这种结构中叶节点的数量呈指数增长。
受这些工作的启发,我们将双曲空间引入3D关键点检测。具体来说,我们在双曲空间中构建关键点与PCD实例之间的树状结构。我们期望关键点特征被鼓励占据比实例级全局特征更中心或更高层次的区域。该策略不仅提取了公共抽象信息,增强了同一类别内关键点的语义一致性,还区分了不同实例,使整个物体类别的结构层次与人类理解更加一致。此外,对更复杂层次特征学习的需求促使我们探索新的编码器架构设计,如图或基于Transformer的编码器。
在本文中,我们提出了一种新颖的无监督关键点检测网络HUSK,采用双曲-欧氏表示学习。我们以点云为输入,关键点提案网络首先输出关键点坐标、关键点特征和PCD全局特征。在欧氏空间中,我们提出了一种patch损失函数作为基于骨架重建辅助任务的增强(Shi et al., 2021),以优化关键点的几何属性。在双曲空间中,我们将关键点特征和PCD全局特征投影到Poincaré单位球上以计算正则化损失,从而构建部分-整体层次结构。此外,由于双曲-欧氏学习目标既需要几何感知的点特征进行关键点定位,又需要关键点和全局特征进行层次正则化,我们还在编码器中设计了一个基于Transformer的模块,称为残差图Transformer(RGT),而不是像以往工作那样使用PointNet(Qi et al., 2017a)或PointNet++(Qi et al., 2017b)。根据在KeypointNet数据集(You et al., 2020)上与各种方法的比较结果,我们的方法在多项指标上取得了最佳或第二佳的结果。
本文的贡献如下:
  • •
    我们提出了一种采用双曲-欧氏表示学习的无监督3D关键点检测网络HUSK。该框架生成的关键点符合人工标注,并反映了3D物体的形状和结构信息。
  • •
    我们在双曲空间中建立了关键点与PCD实例之间的语义层次结构关系,可以增强语义一致性关系。
  • •
    设计了一种patch损失函数,用于在PCD上生成分布均匀的关键点,并最大程度地反映PCD的局部结构信息。
  • •
    在编码器中设计了一个RGT模块,可以为所提出的网络捕获PCD的语义高效特征。

章节摘要

相关工作

在本节中,我们主要回顾与我们的工作相关的文献。

所提出的方法

所提出方法的流程如图1所示。具体来说,HUSK首先通过基于Transformer的编码器(详见3.3节)输出逐点热力图Heatmap 、逐点特征 和全局特征 。逐点热力图随后通过一维卷积和softmax层获得逐点概率,以估计 个关键点(),表示点云中第 个点成为第 个关键点的概率。随后,我们执行

实验结果

在本节中,我们进行了各种实验来验证HUSK检测到的关键点不仅表现出显著的几何特性,而且在同一类别内具有强语义一致性,与人类直觉相符。我们评估了HUSK的三种配置,以研究关键点检测质量和计算效率:HUSK(Base)、HUSK 和HUSK-Lite。HUSK(Base)表示主实验中使用的基本配置,采用

局限性与未来工作

尽管HUSK在无监督3D关键点检测中取得了有竞争力的性能,但它仍然存在一些局限性。首先,HUSK目前仅将关键点特征和全局特征映射到双曲空间,构建了相对简化的层次结构。更完整的语义层次可能需要包含更丰富的局部结构,如骨架和局部patch。此外,主实验遵循了以往工作

结论

在本文中,我们提出了一种利用双曲-欧氏表示学习的无监督3D关键点检测网络HUSK。所提出的方法在检测具有不同几何特征和类内高语义一致性的关键点方面表现出优越的性能,在KeypointNet上与地面真值标注具有更好的吻合度。未来工作将专注于研究嵌入在双曲空间中的语义结构(如骨架、patch)并探索

CRediT作者贡献声明

陈振宇:撰写 – 原稿,软件。林炫烨:软件。凌倩瑜:验证。龚文勇:撰写 – 审阅与编辑,监督,概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
陈振宇 | 林炫烨 | 凌倩瑜 | 龚文勇
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号