LOGIN：大型语言模型辅助的图神经网络训练框架

《ACM Transactions on Intelligent Systems and Technology》：LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework

　　最近主流的图机器学习研究通常遵循一种方法论，即设计先进的图神经网络（GNN）变体以适应多样的图特征。本文旨在通过利用大语言模型（LLM）来增强基础GNN，从而简化这一过程。在现有的"LLM作为预测器"和"LLM作为增强器"类别的基础上，我们提出了一种将LLM与图学习相结合的新范式，称为"LLM作为顾问"。与现有的静态范式不同，顾问范式将LLM定位为模型感知型参与者，根据GNN的预测不确定性，在训练过程中有条件地调用LLM。我们通过LOGIN框架实现这一范式，该框架根据LLM反馈的正确性来更新节点特征或优化图结构。为了进一步确保LLM咨询信号具有因果依据，我们引入了LOGIN-Pro，这是一种以鲁棒性为导向的扩展方法，纳入了反事实结构干预。通过蒸馏因果影响，即将LLM推理在拓扑扰动下的稳定性蒸馏到学生GNN中，LOGIN-Pro内化了高级推理逻辑，以抵抗虚假的结构噪声。在同质图和异质图上的大量实验表明，LOGIN的性能可与最先进的GNN相媲美。值得注意的是，LOGIN-Pro在异质数据上实现了显著的准确率提升，验证了将LLM引导的反事实信号蒸馏到图学习中的有效性。实验结果表明，即使使用基础GNN架构，在本文提出的"LLM作为顾问"范式下，也能达到与采用复杂设计的先进GNN相当的性能。