HieFormer：利用双曲几何克服Transformer的层次表达能力限制

《Neural Networks》：HieFormer: Leveraging hyperbolic geometry to overcome the hierarchical expressiveness limitation of transformers

　　

摘要：3D实例分割需要在精细的几何判别能力之外，还对现实世界对象和场景的层次化组织进行有效表征。然而，传统的Transformer架构主要在欧几里得空间中操作，其体积呈多项式增长，可能与具有强树状结构的数据匹配不佳，并可能在杂乱场景中导致特征拥挤。我们提出了HieFormer，其核心贡献是为3D实例分割设计了一种统一的双几何框架：双曲几何为全局结构推理提供具有层次感知的空间，而欧几里得几何则用于精细的局部建模，两者在同一Transformer解码器中耦合。该设计通过以下三个组件得以实现：一种可学习曲率的投影，在训练过程中调整双曲几何；一种双曲相对位置编码（HRPE），用于注入测地线关系先验；以及一个混合双曲与欧几里得注意力（HHEA）模块，将层次化位置推理与判别性欧几里得特征交互相结合。在ScanNetv2、ScanNet200和S3DIS上的大量实验表明，该方法取得了最先进的或极具竞争力的性能。我们进一步研究了最终解码器查询表征在受控结构不完整性下的表现。当实例点被逐渐移除时，HieFormer表现出比欧几里得基线更为一致的有序表征响应，同时UMAP可视化显示在不同的保留条件下具有更清晰的结构组织。这些发现提供了与HieFormer预期的层次感知结构建模一致的表征级别证据。

引言：3D传感技术的快速发展，特别是LiDAR和RGB-D相机，显著增加了对能够解释复杂3D场景的鲁棒感知算法的需求。在这些技术中，3D实例分割是一项关键任务。它涉及识别场景中的单个对象并为每个对象分配唯一的实例标签，使得属于同一对象的所有点共享该标签，即使它们属于同一语义类别（Dai, Chang, Savva, Halber, Funkhouser, Nie?ner, 2017；Qi, Su, Mo, Guibas, 2017a）。这一能力对于许多应用至关重要，包括自动驾驶（区分车辆和行人至关重要）、机器人（精确物体操作依赖于明确的实例边界）以及增强现实（全面的场景理解增强沉浸式体验）（Armeni, Sener, Zamir, Jiang, Brilakis, Fischer, Savarese, 2016；Nie, Guo, Chang, Han, Huang, Hu, Zhang, 2020）。尽管其关键作用，3D实例分割仍然极具挑战性，原因在于点云的固有非规则和无序结构、大规模场景的计算复杂性，以及根本层面上对现实世界对象层次化组织的有效建模需求。

点云与2D图像不同，它们缺乏规范的网格格式。这为传统卷积神经网络（CNN）的直接应用带来了重大挑战。早期方法通过将点云体素化为3D网格来解决这一问题（Maturana和Scherer, 2015）。然而，体素化往往导致大量内存消耗，并倾向于牺牲精细的几何细节。基于点的方法，如PointNet（Qi等, 2017a）和PointNet++（Qi等, 2017b），引入了置换不变架构来直接处理原始点，实现了有效的语义分割。然而，将这些架构扩展到实例分割需要区分同一类的多个实例，这需要局部几何理解和全局上下文感知。近期的方法，如PointGroup（Jiang等, 2020）和SoftGroup（Vu等, 2022），将语义分割与聚类结合以预测实例掩码，取得了最先进的结果（Dai等, 2017）。然而，这些方法通常依赖于复杂的多阶段流水线，语义和偏移预测采用分离的分支，限制了其可扩展性和端到端可学习性。

近年来，基于Transformer的方法（Wu, Jiang, Wang, Liu, Liu, Qiao, Ouyang, He, Zhao, 2024；Zhao, Jiang, Jia, Torr, Koltun, 2021）已成为点云处理中的主流范式。Transformer以其通过自注意力实现的全局建模能力而著称，已彻底改变了各种模态。对于点云，Mask3D（Schult等, 2023）和OneFormer3D（Kolodiazhnyi等, 2024a）使用可学习查询直接生成实例掩码，跳过了复杂的聚类步骤（Cheng等, 2022）。在实践中，这些方法主要在欧几里得空间中操作，这可能无法完全与真实3D对象（如由靠背和腿组成的椅子）固有的树状层次结构对齐。如图1所示，树状层次结构随着深度增加，元素数量可能呈近似指数增长。将这些指数增长的结构嵌入到一个由多项式增长特征化的扁平欧几里得空间中，可能导致几何不匹配。这种不匹配可能导致不同的物体部分在特征空间中拥挤，增加表征失真，降低模型区分具有相似几何组件的相邻实例的能力。

双曲几何为这一挑战提供了一种变革性解决方案，其独特的数学性质使其特别适合建模层次化和树状结构（Ganea, Bécigneul, Hofmann, 2018；Nickel, Kiela, 2017）。与欧几里得空间不同，欧几里得空间体积呈多项式增长，而双曲空间表现出指数体积膨胀，允许复杂的层次关系以最小失真嵌入到紧致流形中。庞加莱球模型是双曲几何广泛采用的表示，它将数据表示在有限的负曲率空间中，其测地线结构非常适合树状组织。在学习到的层次嵌入中，径向位置和测地线距离可以提供从粗到细关系的自然表示（Tifrea等, 2018）。这一特性使双曲空间能够自然地表示3D点云的嵌套树状结构，如图1所示，使网络能够解决限制标准欧几里得模型的拥挤问题。

为了弥合这一几何差距，我们提出了一种名为HieFormer的新型实例分割网络。HieFormer的核心创新在于在统一的Transformer框架中整合两种互补的表征几何，而不是单独使用双曲几何或混合注意力算子。双曲空间被赋予层次感知结构推理的角色，其指数体积增长和测地线度量提供了嵌套关系的自然归纳偏差，而欧几里得空间则用于精细的局部特征交互。HieFormer通过三个协调的机制实现这一双几何原则。首先，可学习曲率投影将欧几里得特征映射到一个曲率与网络联合优化的庞加莱流形上。其次，双曲相对位置编码（HRPE）将测地线关系先验注入注意力。第三，混合双曲与欧几里得注意力（HHEA）显式地将双曲位置推理与欧几里得特征精化耦合。因此，贡献在于全局层次推理和局部判别建模在几何层面的整合，各模块在此统一设计中发挥互补作用。

主要贡献总结如下：
- 我们将HieFormer构建为用于3D实例分割的统一双几何Transformer框架。其核心设计原则是将全局层次感知推理分配给双曲空间，同时在欧几里得空间中保留精细局部建模，从而在不放弃欧几里得表征局部判别优势的情况下解决纯欧几里得表征的几何不匹配问题。
- 我们用可学习曲率和HRPE实现双曲分支。曲率与网络联合优化以将流形几何适应训练数据，而HRPE利用庞加莱测地线关系将层次感知的空间先验注入查询精化。
- 我们引入HHEA作为两种几何之间的整合机制。HPA在双曲空间中捕获层次感知的位置关系，而ECA在欧几里得空间中保持判别性通道交互；它们的融合在每个解码器阶段结合互补的结构和局部信息。
- 在ScanNetv2、ScanNet200和S3DIS上的大量实验，连同消融、敏感性和表征分析，展示了最先进的或极具竞争力的性能。在受控结构不完整性下，HieFormer在其最终解码器表征中也表现出比欧几里得基线更为一致的有序响应，提供了从学习特征空间获得的表征级别证据。

论文其余部分组织如下：第2节回顾了3D实例分割、基于Transformer的方法和双曲Transformer的相关工作。第3节详细介绍了HieFormer架构，包括其双曲组件。第4节呈现实验结果，第5节以未来方向作为结论。

相关工作
3D实例分割
3D实例分割旨在为点云中的每个点分配唯一的实例标签，同时区分同一语义类别的不同对象。早期方法严重依赖手工特征和几何启发式方法，如区域生长（Rabbani等, 2006）和基于图的分割（Felzenszwalb和Huttenlocher, 2004）。然而，它们对预定义规则的依赖限制了其在复杂、杂乱场景中的鲁棒性。深度学习的兴起……

方法
HieFormer围绕双几何设计原则构建：层次感知结构推理在双曲空间中进行，而精细判别建模保留在欧几里得空间中。核心的方法论贡献是这两个机制在单个Transformer解码器中的协调交互。如图2所示，这一原则通过三个紧密耦合的组件实现：(1) 可学习曲率投影，建立双曲……

数据集
实验在ScanNetv2（Dai等, 2017）、ScanNet200（Rozenberszki等, 2022）和S3DIS（Armeni等, 2016）数据集上进行。ScanNetv2数据集包含1613个室内场景，其中1201个用于训练，312个用于验证，100个用于测试。该数据集包含20个语义类别，其中18个对象类别用于实例级评估。我们报告了验证和隐藏测试划分上的结果。ScanNet200扩展了原始ScanNet语义……

结论
我们提出了HieFormer，一种用于3D实例分割的双几何Transformer，在统一解码器中结合双曲和欧几里得表征。可学习曲率和HRPE在双曲空间中提供具有层次感知的几何和位置建模，而HHEA将此结构表征与欧几里得特征交互耦合，以实现精细的实例判别。在ScanNetv2、ScanNet200和S3DIS上的实验展示了最先进的或有竞争力的性能……

CRediT作者贡献声明
Xiaoyu Wei: 撰写–原稿，可视化，软件，方法论，形式化分析，概念化。Anton Konushin: 撰写–审阅与编辑，验证，监督，调查。

利益冲突声明
作者声明，他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢
本工作由俄罗斯经济发展部根据补贴协议（协议标识符000000C313925P4H0002； grant No 139-15-2025-012）支持。

Xiaoyu Wei | Anton Konushin