用于异构图神经网络架构搜索的大语言模型

《Neurocomputing》：Large language models for heterogeneous graph neural architecture search

　　彭张|董浩远|刘慧聪|吴华坤|高阳|王海帅|周川|杨鸿|朱行权
中国广州510006，广州大学高级技术网络空间研究所

摘要
由于网络中存在不同类型的节点和边，从异构图中挖掘知识是一项艰巨的任务。异构图神经架构搜索（HGNAS）作为一种自动识别有效异构图神经网络（HGNN）架构的新兴方法，备受关注。然而，现有的HGNAS算法仍需要大量的领域知识来定义合适的搜索空间和搜索算法。在本文中，我们提出了一种名为LLM4HGNAS的新框架，该框架利用大型语言模型（LLMs）自动化架构搜索过程。该方法旨在减少搜索算法设计中的人工干预，同时提高搜索效率。具体而言，我们设计了一组提示语，引导LLMs生成多种不同的HGNN架构。通过不断使用这些提示语让LLMs运行，LLM4HGNAS能够持续验证生成的架构，并根据反馈调整提示语。实验结果表明，LLM4HGNAS能够自动发现性能出色的HGNN架构，其性能比基于强化学习和可微搜索的现有HGNAS方法更为稳定。相关代码和基准数据集已公开提供。

引言
异构图常用于表示不同类型对象之间的复杂关系，如社交网络[1]、电子商务网络[2]以及药物-疾病-基因网络[3]。异构图神经网络（HGNNs）[4]是提取异构图中隐藏知识的强大工具。这类网络通过从相邻节点收集信息来迭代更新节点表示，例如RGCN[5]和HGT[6]；或者通过元路径和元结构提取高阶节点的信息[7]、[8]。近年来，神经架构搜索（NAS）算法[9]被引入到异构图分析中，这类算法能够在无需大量人工干预的情况下自动设计神经网络架构。最初的研究HGNAS[10]采用基于强化学习的搜索算法来寻找最优的HGNN。受HGNAS启发，后续有一些研究[11]、[12]、[13]、[14]致力于探索和设计更高效的HGNN搜索算法，如进化算法和可微算法，以及更有效的HGNN搜索空间。尽管现有的HGNAS方法在设计HGNN方面已展现出优于手工设计的优势，但它们仍然需要领域知识来构建搜索空间和搜索策略。因此，如何在减少搜索算法设计中人工干预的同时高效找到最优的HGNN，仍是亟待解决的问题。

一个潜在的解决方案是使用经过大量知识预训练的LLMs。事实上，得益于LLMs出色的生成能力[15]，它们已被应用于各种优化问题[16]、[17]、[18]、[19]，如超参数优化、决策制定、代码优化等。同样，一些研究也考虑将LLMs与架构搜索相结合，利用其生成能力来优化和发现高效的神经网络架构。例如GENIUS[20]和GPT4GNAS[21]分别使用GPT-4为卷积神经网络和图神经网络生成架构。这些方法通过设计提示语，引导LLMs在预定义的搜索空间内探索潜在架构，并让LLMs从后续生成的架构中学习。然而，由于异构图结构的复杂性，其搜索空间远远大于NAS-graph-bench[22]中的情况，因此在有限的探索次数内很难找到最优解。

在本文中，我们提出了LLM4HGNAS这一新方法，它利用LLMs来辅助设计针对异构图的新HGNN架构。该方法的核心思想是设计一类新的提示语，让LLMs能够生成新的HGNN架构。这些提示语包含了任务描述、输入图、搜索空间、搜索策略以及搜索反馈等关键要素。提示语引导LLMs设计新的HGNN架构，而每个新架构的评估结果则作为反馈用于优化提示语。实证结果表明，我们的方法能够逐步逼近最优的HGNN架构。本工作的贡献如下：
• 本研究提出了LLM4HGNAS，这是首个利用LLMs设计最优HGNN架构的研究。
• 本文提出了一类新的提示语，能够帮助LLMs根据给定的异构图数据集设计新的HGNN架构。
• 实验结果表明，所提出的LLM4HGNAS方法在五个数据集上的准确率均优于现有的HGNAS方法。相关源代码可在https://github.com/cold-rivers/LLM4HGNAS获取。

相关工作
在本节中，我们回顾了近期关于异构图神经架构搜索以及基于LLMs的神经架构搜索方法的研究进展。

基础知识
异构图可定义为，其中表示节点集，表示边集，表示节点类型集，表示边类型集。异构图神经网络（HGNN）的目标是学习图中节点的表示，HGNN模型的每一层可表示为：其中表示第层节点的特征，表示关系上的聚合消息，表示关系的邻接矩阵，表示关系集合。

方法论
图1展示了所提出的LLM4HGNAS方法的框架，该框架主要包括六个步骤。首先，我们设计一个提示语，其中包含任务描述、异构图的相关信息、搜索空间以及搜索策略（步骤①）。然后，基于该提示语，LLM会生成一批候选架构（步骤②）。接着，将这些架构转换为HGNN模型（步骤③）。之后，在下游的图学习任务中验证这些架构的性能（步骤④）。

算法
算法1详细描述了LLM4HGNAS的各个步骤。首先，我们需要构建搜索空间和输入异构图数据集的描述，这些都是提示语的核心组成部分。第3至9行对应探索阶段，此时提示语引导LLMs在搜索空间内探索可能的架构，我们要求LLMs生成候选架构。第11至17行对应利用阶段，此时会将最优架构纳入反馈中，并对提示语进行修改。

实验
我们进行了三类实验。首先，将LLM4HGNAS与常见的GNN、HGNN及GNAS方法进行比较。其次，比较该方法的几种不同变体。最后，使用不同的LLMs来测试新提示语的性能。

结论
在本文中，我们提出了一种新的异构图神经架构搜索模型LLM4HGNAS，该模型利用大型语言模型来完成异构图神经架构搜索的任务。LLM4HGNAS通过专门的提示语引导LLM设计异构图架构，这些提示语包含了任务描述、图信息、搜索空间以及反馈内容。实验结果表明，LLM4HGNAS能够充分利用LLMs的生成能力和决策能力。

CRediT作者贡献说明
彭张：撰写——初稿、方法论部分。董浩远：软件开发、数据整理。刘慧聪：验证、软件开发。吴华坤：验证、软件开发。高阳：方法论。王海帅：监督指导。周川：方法论。杨鸿：监督指导、资金筹集。朱行权：撰写——审阅与编辑。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢
本研究部分得到了国家自然科学基金（62376064、62376065、62472416、62406279、U2336202）、广州市与高校联合基础研究基金（2025A03J3178、2024A03J0323）的支持。彭张是中国广州大学的教授，他曾任职于阿里巴巴集团、蚂蚁集团、澳大利亚悉尼科技大学以及中国科学院。他的当前研究方向为自动化机器学习和大型语言模型。他一直担任KDD、ICML、NeurIPS、ICLR、IJCAI和AAAI等国际顶级会议的（高级）程序委员会成员，同时也是《Springer Journal of Big Data》和《Springer Annals of》等期刊的编委。