用于少样本点云语义分割的相互引导双入射超图神经网络

《Neurocomputing》：Mutually-guided dual-incidence hypergraph neural networks for few-shot point cloud semantic segmentation

　　摘要：少样本点云语义分割的目标是在仅有少量带标签的点云的情况下，为新的类别分配语义标签。许多最新研究试图为每个语义类别获取多个原型，以此来确定查询数据的语义标签。然而，由于带标签的支撑数据稀缺以及查询数据之间存在较大差异，获取具有代表性的原型颇具挑战性。为应对这些挑战，我们提出了一种无原型框架——相互引导的双关联超图神经网络（MGDI-HGNN）。该框架利用支撑集和查询集中数据之间的几何关联与空间邻近性来构建多个超图，进而设计了一种半监督互学机制，使得每个超图的学习过程能够借助其他已构建超图中的支撑点进行指导。此外，我们还引入了双关联超图神经网络，通过分离以超边为中心和以超节点为中心的拓扑结构，来捕捉超节点与超边之间的非对称连接模式。基于这种双关联结构，我们开发了一种新型的无逆空间超图卷积方法，通过解耦且具备方向感知的信息传播机制高效更新超节点表示。随后，采用基于最相似支撑点的语义标签预测机制，在每个超图中获得查询点的预测结果，最终通过整合所有超图的预测结果为查询数据分配语义标签。在S3DIS和ScanNet基准测试上的大量实验表明，所提出的MGDI-HGNN在所有实验场景中均优于现有先进方法。

引言：点云是一种常用的数据表示方式，用于捕捉现实世界中物体和场景的3D结构[1]。点云语义分割是现代智能系统中实现3D场景理解的核心技术[2]。近年来，已有许多全监督方法被提出用于点云语义分割，并取得了优异的性能[3][4]。不过，这些方法的性能在很大程度上取决于大规模带标签训练数据的可用性。大量数据的标注既成本高昂又耗时较长，尤其是对于点云而言，因为每个样本都包含大量分布较为分散的点[5]。同时，使用少量数据训练深度神经网络容易引发过拟合现象，从而导致较差的泛化能力[6]。此外，由于不同应用场景的多样性以及动态环境中新语义类别的出现，许多目标语义类别可能并不存在于训练数据集中。因此，训练得到的模型无法对训练过程中未见过的新语义类别进行分割。而且，要为所有模型提供足够的带标签数据以便其适应新任务，既困难又耗时[7]。为解决上述问题并提升现有方法的泛化能力，少样本学习成为从训练数据集中的语义类别中提取可泛化知识的有希望的方向[8]。

近年来，已有许多基于原型的少样本点云语义分割方法被提出。但由于每个语义类别的带标签支撑点数量较少，支撑特征分布较为分散，缺乏全面覆盖。换句话说，属于同一语义类别的点之间，其支撑特征的类内变异程度很高[9][10]。因此，由有限数量的带标签支撑点计算得到的原型无法准确代表相应的类别。此外，查询点的特征分布也较为分散且范围广泛。在局部结构多样的语义类别中，点在各类结构间的分布往往极不均衡。例如如图1所示，在椅子类别中，仅有一些点代表了腿部结构，而座位则包含了该类别中大部分的点。这种不平衡使得为这类类别计算得到的原型偏向于那些分布更密集的结构，从而限制了它们准确表示整个类别的能力。对于属于腿部结构（如图1(a)所示，用红色圆圈标出）的查询点而言，其特征值与目标语义类别（椅子）的原型之间存在较大差异。不过，如图1(b)所示，通过利用每个类别中最相似的支撑点，就可以为其分配正确的语义标签。

图神经网络在从点云中学习表示方面发挥着重要作用。然而，图神经网络中所构建的图只能模拟数据样本之间的成对关系。相比之下，超图神经网络能够发现更高阶的关系，即两个或多个数据样本可以通过单个超边实现共同连接[11]。现有的超图神经网络依赖于由关联矩阵诱导的单一拓扑结构，这种结构将以超节点为中心和以超边为中心的连接模式结合在一起，从而限制了它们模拟超节点与超边之间不同交互结构的能力[11][12]。此外，由于少样本场景中带标签数据较为稀缺，要在由超节点代表的数据样本之间构建可靠的超边仍然具有挑战性，这使得难以对查询点给出高置信度的预测。

为解决上述问题，本文提出了一种用于无原型少样本点云语义分割的相互引导的双关联超图神经网络（MGDI-HGNN）。首先，我们利用点之间的几何关联与空间邻近性，为支撑点和查询点生成多视图特征表示。基于这些特征表示，我们构建多个超图，将点视为超节点。在每个超图中，我们设计了两阶段标签传播机制，以此实现所提出的半监督互学流程。通过利用各构建超图之间的超节点对应关系，每个超图的学习过程都能借助其他超图中的知识得到指导。接着，我们引入了双关联超图神经网络，该网络通过分离以超边为中心和以超节点为中心的拓扑结构，来模拟超节点与超边之间的非对称连接模式。在此基础上，我们开发了一种新型的无逆空间超图卷积方法，该方法能够在所提出的双关联结构内通过解耦且具备方向感知的信息传播机制高效更新超节点表示，同时避免了矩阵求逆操作，降低了计算成本。语义标签预测机制则利用每个语义类别中最相似的支撑点，为每个超图中的查询点生成预测结果。最后，通过整合所有超图中的查询点预测结果，得到最终的预测值。综上，本研究的主要贡献如下：
1. 我们提出了一种多视图图构建策略，该策略结合空间邻近性及群体感知的几何关系，生成点云的互补关系视图，从而降低边界模糊性问题。
2. 我们基于两阶段标签传播机制提出了一种半监督互学框架，使得每个超图的学习过程都能借助其他已构建超图中的支撑点提供的监督信息来引导学习过程。
3. 我们引入了双关联超图神经网络，该网络能够模拟非对称的以超边为中心和以超节点为中心的连接模式，并通过一种新型的无逆空间超图卷积方法更新超节点表示，该方法能够在所提出的双关联结构内实现解耦且具备方向感知的信息传播。

在广泛使用的S3DIS[13]和ScanNet[14]数据集上进行的大量实验表明，所提出的MGDI-HGNN在所有少样本场景中均持续优于现有先进方法。

相关工作：本节我们将介绍之前在点云语义分割、少样本学习、少样本点云分割以及超图学习领域的相关研究工作。

方法：本节我们将详细介绍所提出的MGDI-HGNN框架。图2展示了MGDI-HGNN在某一特定场景下的处理流程，这一流程可轻松扩展到其他场景。MGDI-HGNN框架包含几个主要组成部分：（1）多视图特征提取，（2）半监督互学，（3）带有无逆空间超图卷积的双关联超图神经网络，以及（4）通过最相似支撑点进行的多视图标签预测。后续章节将详细介绍这些组成部分的具体内容。

数据集与设置：本研究采用S3DIS[13]和ScanNet[14]数据集作为基准数据集来评估所提出的方法。我们遵循以往的研究方法[33]，将每个数据集的语义类别划分为两个互不重叠的子集。在少样本设置下，其中一个子集被视作训练集，另一个子集则作为测试集，且这两个子集之间不存在重叠。模型在训练集上进行训练，在测试集上测试，以此评估模型在全新数据以及之前未见过的数据上的性能。

结论与讨论：本文提出了MGDI-HGNN，这是一种专为少样本点云语义分割设计的无原型框架。具体而言，我们结合所提出的群体感知链接策略与传统的基于KNN的分组方法，从支撑点云和查询点云中构建多个图结构。这些互补的视图能够捕捉点与点之间的多种不同关系。据此，我们为支撑集和查询集中的点获得了多种表示形式，并构建了多视图表示。

CRediT作者贡献说明：K. Hatefi：写作——审阅与编辑，写作——初稿撰写，可视化，验证，资源整理，项目管理，方法设计，研究实施，形式分析，概念构思。H. Karshenas：写作——审阅与编辑，写作——初稿撰写，验证，监督指导，资源整理，方法设计，研究实施，形式分析，概念构思。

利益冲突声明：作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。

致谢：本研究未获得公共部门、商业机构或非营利组织方面的任何专项资助。

Katayoun Hatefi在伊朗伊斯法罕的伊斯法罕理工大学获得了计算机工程和计算机体系结构的学士及硕士学位，目前她正在伊朗伊斯法罕的伊斯法罕大学攻读人工智能专业的博士学位。她的研究兴趣包括计算机视觉和人工智能领域。

K. Hatefi | H. Karshenas
伊朗伊斯法罕市Hezar Jarib街81746-73441，伊斯法罕大学计算机工程学院人工智能系