LOGIN：一种大语言模型咨询的图神经网络训练框架

《ACM Transactions on Intelligent Systems and Technology》：LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework

　　最近，图机器学习领域的主流研究通常采用设计先进图神经网络（GNN）变体以适应不同图特征的方法论。本文旨在利用大语言模型（LLMs）来增强基础GNN，从而简化这一过程。在已有"LLMs-as-Predictors"（LLMs作为预测器）和"LLMs-as-Enhancers"（LLMs作为增强器）类别的基础上，我们提出了一种将LLMs与图学习相结合的新范式，称为"LLMs-as-Consultants"（LLMs作为顾问）。与现有的静态范式不同，顾问范式将LLMs定位为模型感知的参与者，在训练过程中根据GNN的预测不确定性被条件式地调用。我们通过LOGIN框架来实例化这一范式，该框架根据LLM反馈的正确性来更新节点特征或优化图结构。为进一步确保LLM咨询信号具有因果基础，我们引入了LOGIN-Pro，这是一个面向鲁棒性的扩展版本，纳入了反事实结构干预。通过因果蒸馏，即将LLM推理在拓扑扰动下的稳定性蒸馏到学生GNN中，LOGIN-Pro通过蒸馏损失内化了高级推理逻辑，以抵抗虚假的结构噪声。在具有同质性和异质性的图上进行的大量实验表明，LOGIN的性能可与最先进的GNN相媲美。值得注意的是，LOGIN-Pro在异质数据上取得了显著的准确率提升，验证了将LLM引导的反事实信号蒸馏到图学习中的有效性。实验结果表明，即使基础GNN架构在提出的LLMs-as-Consultants范式下也能达到与具有复杂设计的高级GNN相当的性能。此摘要由自动化工具生成，并非由本文作者撰写或审核。它旨在支持发现、帮助读者评估相关性，并协助相邻研究领域的读者理解本文工作。它是对作者提供的摘要的补充，后者仍是论文的主要摘要。全文仍为权威版本。点击此处了解更多关于ACM AI摘要的信息。点击此处对此摘要的准确性、清晰度和实用性发表评论。这样做将有助于改进未来的再生成版本。要查看此AI生成的通俗摘要，您必须拥有高级访问权限。