AutoHGNN：一种用于超图神经网络的强大且高效的神经架构搜索方法

《Knowledge-Based Systems》：AutoHGNN: Robust and efficient neural architecture search for hypergraph neural networks

　　李思睿|皮埃特罗·利奥|李新生|刘柏松|彭成斌•超图神经网络能够以稳定且高效的方式自动设计。•搜索空间通过特征聚合对顶点-超边消息传递进行建模。•基于拓扑结构的度量标准可用于筛选候选模型，从而优化最终模型选择。引言在推荐系统、社交网络和生物化学等领域中，图结构数据是机器学习的基础。图神经网络已被证明能有效建模这些结构中的二元关系[1]、[2]、[3]、[4]。许多现实世界系统存在更高阶的交互关系，而这些简单的边无法捕捉到。超图通过将群体间的关系表示为超边，从而扩展了图的概念，使得能够建模群体交互。例如，在学术研究中，共同撰写一篇论文的一组作者就形成了一个连接所有作者节点的超边，从而体现了超越简单合著关系的协作关系。为此，人们提出了超图神经网络[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]，这类网络在需要考虑群体背景的任务中展现出优势。超图学习的研究大致可分为两类：谱方法[6]、[7]、[8]、[9]和空间方法[10]、[11]、[12]、[13]、[14]、[15]。谱方法涉及复杂的拉普拉斯变换[6]、[8]，或是将超图转换为传统图[7]、[8]、[9]以便运用传统的图处理技术，但此类变换往往会丢失一些高阶结构信息，并在过程中引入额外噪声。空间法则采用另一种方式，直接在关联矩阵上定义多级消息传播，从而能够保留群体关系的原始语义。这些方法会对顶点和超边都进行消息聚合，运用度归一化[10]、[11]、超边加权[11]以及线性投影[11]、[13]等方法来提升数值稳定性与表达能力，同时显著提高效率。与此同时，近年来神经架构搜索在自动设计图神经网络方面取得了重大进展[16]。研究人员借鉴了视觉和语言领域之前的突破成果[17]，将搜索空间和优化器适配到图领域，探索了强化学习[18]、[19]、[20]、[21]、[22]以及一次性搜索和可微搜索范式[23]、[24]、[25]、[26]、[27]。在搜索空间方面的研究表明，精心设计的操作符和多跳聚合策略能显著提升下游性能，比如以图分类为导向的搜索空间，以及明确建模更深层堆叠或多跳聚合的设计[23]、[24]、[25]。其他研究则着眼于提升搜索效率和稳定性，通过引入超网权重共享、贪婪剪枝以及解耦优化方案，来降低成本并减少那些简单优化方法中存在的架构与权重之间的紧密关联问题[26]、[27]。然而，现有的神经架构搜索方法主要是为传统图设计的，在应用于超图神经网络时存在根本性局限。具体而言，它们的搜索空间无法建模超图固有的顶点-超边消息传递机制，这往往会导致优化过程不稳定，而且所选架构也会忽略高阶拓扑结构。为克服这些局限，我们提出了AutoHGNN，这是一种专为超图神经网络设计的可微神经架构搜索框架。AutoHGNN设计了能够明确编码超图特定消息传递方式的搜索空间，采用可微搜索策略实现稳定优化，同时还引入了经过稳定的拓扑距离这一基于拓扑结构的评估标准，用以选择能够保留高阶结构关系的架构。总而言之，这项工作将可微神经架构搜索策略与基于拓扑结构的筛选方法相结合，用于寻找具备顶点-超边消息传递和特征聚合功能的超图神经网络架构。我们的主要贡献如下：•我们基于具有特征聚合功能的超交互模块构建了超图搜索空间，该空间能够明确体现聚合操作，从而直接捕捉超图数据中的高阶关系。•我们提出了超图稳定拓扑距离这一基于拓扑结构的指标，它能够在可微搜索之后，通过评估结构一致性而非仅仅依赖验证准确率，来实现更可靠的架构选择。•在包含传统图和超图的多个公开数据集上测试表明，AutoHGNN在准确率方面始终优于基准模型，同时效率也有显著提升。章节摘录超图神经网络超图神经网络将图神经网络的应用范围扩展到超图中的更复杂关系，通过超边实现节点间交互，因此成为处理高阶交互关系的强大工具[5]。早期的谱方法，如HGNN[6]、HyperGCN[8]、HNHN[9]和DHCF[7]，要么包含复杂的拉普拉斯算子，要么将超图转换为传统图后再运用标准图神经网络的方法，这样一来就丢失了超图中的复杂高阶连接关系。符号说明设G为一个含有n个节点的超图，这些节点属于C个不同类别，同时存在m条超边。V={v1,v2,…,vn}表示节点集合，E={e1,e2,…,em}表示超边集合。在网络层l中，我们用Xv(l)∈Rn×dV表示节点特征，用Xe(l)∈Rm×dE表示超边特征，其中dV和dE分别表示节点特征和超边特征的维度。H∈{0,1}n×m是G的关联矩阵，其元素定义为：若v属于超边e，则H(v,e)=1；否则为0。Dv∈Rn×n和De∈Rm×m分别是节点和超边的矩阵。数据集为了评估AutoHGNN的性能，我们使用了三个广为人知的图结构基准数据集以及两个超图数据集进行实验。在图结构数据集中，PubMed是一个常用的引用网络，广泛应用于基于图的研究中；Computers则是电商领域的亚马逊共同购买网络；Physics则是微软学术图，用于记录研究人员之间的合著关系。在超图数据集中，DBLP和Cora合著关系数据集（Cora-CA）被用作测试数据。结论本文提出了AutoHGNN，这是一种用于超图神经网络的神经架构搜索框架。通过为顶点-超边-顶点消息传递设计简洁的搜索空间，并引入超图稳定拓扑距离指标，AutoHGNN能够自动发现高效的超图模型，同时保留原超图中的重要结构特征。在图结构和超图结构基准数据集上的实验结果表明，AutoHGNN取得了优异的性能。CRediT作者贡献声明李思睿：写作——初稿撰写、软件开发、方法设计、研究实施、形式分析、概念构思。皮埃特罗·利奥：写作——审阅与编辑、项目监督、资源协调、项目管理、形式分析。李新生：写作——审阅与编辑、软件开发、方法设计。刘柏松：写作——审阅与编辑、软件开发、资源协调、研究实施。彭成斌：写作——审阅与编辑、初稿撰写、项目监督、资源协调、研究实施、资金筹措、形式分析。利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。