HPHNN：具有污染感知功能的动态超图神经网络

《Neurocomputing》：HPHNN: Hyperedge pollution-aware dynamic hypergraph neural network

　　

摘要

虽然基于同质超图的算法在某些节点级任务上表现优异，但在其他任务中却往往效果不佳。这种不一致性主要源于超图构建中的结构缺陷，其中超边污染是关键因素。本文提出了HPHNN方法，旨在解决超图构建中的超边污染问题，从而提升传统超图模型的性能，使其成为节点级图任务的强大基准。在11个真实世界图数据集上的实验结果表明，基于超图的模型不仅性能优于这些基准模型，还能通过缓解超边污染问题，在各种节点级任务中展现出更稳定且更具泛化能力的性能。我们的研究结果挑战了“GNN和GT在节点级图任务中天生优于其他算法”这一观点，同时为其他基于超图的算法设计提供了新的优化思路。

引言

图神经网络（GNN）[1]、[2]、[3]、[4]以及基于图变换器（GT）的模型[5]、[6]在涉及节点属性或标签预测的节点级图学习任务中取得了显著成效。尽管GNN和GT在节点级任务上表现良好，但它们仅能捕捉节点间的成对交互，难以处理具有高阶结构的复杂数据。

超图神经网络（HGNN）[7]、[8]、[9]、[10]通过超边建模多个节点之间的交互，为编码群体语义提供了强大工具，从而在表示复杂结构方面具有更大灵活性。然而，那些具备处理图中高阶信息能力的HGNN在节点级任务中的表现往往落后于GNN和GT。其主要原因在于预定义超图所带来的超边污染（HP）问题（如图1所示）。

当超边是通过手动方式或基于相似性的启发式方法构建时，此类超图中的不同类型节点可能会被错误地分配到同一个超边中，从而导致超边内部的高度异质性。根据异质性的程度，超边可分为：（a）高污染、（b）中污染和（c）低污染。较低的污染程度意味着节点组成更为同质，这有利于实现有效的节点级表示学习。

受此启发，我们的工作致力于正式定义超边污染问题，并通过减轻超边污染来提升超图神经网络在节点级任务上的性能。具体而言，我们首先正式定义了超边污染问题，并通过设计的超图污染分数对其加以量化。在此基础上，我们开发了一种基于超边污染分数的动态超图神经网络（HPHNN）框架，用于解决上述节点级任务中的难题。其核心策略是通过动态调整超图结构来降低污染程度，进而提高超边的一致性。具体来说，我们首先使用k均值算法构建初始超图，随后基于余弦相似度设计污染分数，计算每个超边的污染程度。根据该分数，我们对超图结构进行优化：拆分污染程度高的超边，合并污染程度低且相似性高的超边，从而降低超边的异质性。

超边污染评估指标有助于实现超边数量的动态调整，使得在训练过程中能够以有序的方式不断优化超图拓扑结构，进而提升所学节点嵌入的稳健性和表达能力。在11个基准数据集上的大量实验表明，所提出的HPHNN方法通过有效解决超边污染问题，在所有数据集上的性能均优于现有的GNN、GT及基于超图的方法。

本文的贡献如下：

• •
  我们发现了超图构建中的超边污染问题，并提出了污染分数这一指标来量化该问题。该分数能够反映超图内部的结构性不一致性，有助于解释为何基于超图的模型在某些节点级任务上会表现不佳。
• •
  我们提出了一种基于超边污染分数的动态超图框架，该框架通过专用的动态超图优化模块不断优化超图结构。该模块利用质量分数来指导超图结构的调整，为解决超边污染问题及优化超图构建提供了有效途径。
• •
  大量的实验结果表明，所提出的方法在多种基准任务中均表现出色，充分证明了减轻超边污染问题确实能够提升超图在节点级任务中的性能。

章节节选

图神经网络与图变换器神经网络

GNN通过消息传递机制聚合局部邻域的信息，从而为图表示学习奠定了基础[11]、[12]。GCN[1]采用归一化的图拉普拉斯矩阵进行卷积操作，而GAT[2]则引入注意力机制，能够动态地为邻居节点分配权重。为了减少对标记数据的依赖，诸如GraphMVM[13]这样的自监督方法通过利用周围上下文来训练模型，以恢复被遮盖的节点特征，此外还有对比学习等方法。

方法

算法1 HPHNN：考虑超边污染的超图神经网络

图2展示了我们所提出方法的整体架构，算法1则概括了其整体流程，具体内容将在后续章节中详细阐述。

数据集

我们在11个基准数据集上对HPHNN进行了测试，其中包括3个引文网络数据集。这些数据集的统计信息见表1。以下是这些数据集的详细介绍：

• •
  Cora、CiteSeer和PubMed[27]都是引文网络数据集，其中节点代表文档，边则表示它们之间的引用关系。
• •
  Computers[28]和Products[29]是亚马逊的协同购买图数据集。节点代表产品，边则表示两种产品经常被一起购买。这些数据集以产品评论作为输入

结论与未来工作

在本研究中，我们正式定义了超边污染问题，并指出超边污染是影响超图语义一致性的关键因素，这也解释了为何现有的基于超图的方法在某些节点级任务中表现不佳。为了解决这一问题，我们提出了HPHNN方法，该方法通过引入污染分数来量化超边内的异质性程度，进而将该分数纳入统一的质量评分体系中，以此指导超图的动态优化。

CRediT作者贡献说明

Shaobo Yang：撰写——初稿，软件开发，验证，可视化。Cheng Xie：撰写——初稿，概念设计。Zechao Zhou：可视化，软件开发，研究分析，数据整理。Xin Jin：可视化，项目管理，数据整理。Hong Peng：撰写——审稿与编辑，方法论，形式化分析，概念设计。

资金支持

本研究得到了中国国家自然科学基金（项目编号62502421和62162064）、云南省软件工程重点实验室（项目编号2023SE104）、云南省科研项目（项目编号202501AU070058、202301AU070194和202401AT070614）、云南省院士专家工作站项目（项目编号202505AF350053）以及云南省跨境数据治理国际联合实验室（项目编号202403AP140021）的支持。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢

我们感谢团队成员们提出的宝贵意见和讨论。

Shaobo Yang于2023年在中国昆明云南大学获得软件工程学士学位，目前在该校攻读软件工程硕士学位。他的研究兴趣包括图神经网络和超图神经网络。

Shaobo Yang|Cheng Xie|Zechao Zhou|Xin Jin|Hong Peng

中国云南省昆明市云南大学软件学院，邮编650500