LOGIN：一种咨询大语言模型的图神经网络训练框架

《ACM Transactions on Intelligent Systems and Technology》：LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework

　　

摘要AI 摘要

要查看此AI生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

近期关于图机器学习的主流工作通常采用设计高级图神经网络（GNN）变体来适应多种图特征的方法论。在本文中，我们旨在通过利用大型语言模型（LLMs）来增强基础GNN，从而简化这一过程。在现有的LLMs作为预测器和LLMs作为增强器类别的基础上，我们提出了一种将LLMs与图学习结合的新范式，称为LLMs作为顾问。与现有的静态范式不同，顾问范式将LLMs定位为模型感知参与者，在训练过程中根据GNN的预测不确定性有条件地调用。我们通过LOGIN框架实现这一范式，该框架根据LLM反馈的正确性来更新节点特征或细化图结构。为进一步确保LLM咨询信号具有因果基础，我们引入LOGIN-Pro，这是一个面向鲁棒性的扩展，结合了反事实结构干预。通过蒸馏损失将因果影响（即LLM推理在拓扑扰动下的稳定性）蒸馏到学生GNN中，LOGIN-Pro内化了高级推理逻辑以抵抗虚假结构噪声。在同质图和异质图上的大量实验表明，LOGIN实现了与最先进GNN相当的性能。值得注意的是，LOGIN-Pro在异质数据上取得了显著的准确率提升，验证了将LLM引导的反事实信号蒸馏到图学习中的有效性。实验结果表明，即使在基础GNN架构中，当在提出的"LLMs作为顾问"范式内使用时，也能实现与具有复杂设计的先进GNN相当的性能。

AI 摘要

AI 生成摘要（实验性）

本摘要使用自动化工具生成，未经文章作者撰写或审核。它旨在支持发现，帮助读者评估相关性，并协助相邻研究领域的读者理解该工作。它旨在补充作者提供的摘要，后者仍然是论文的主要摘要。完整文章仍然是权威的记录版本。点击此处了解更多。

点击此处对此摘要的准确性、清晰度和实用性发表评论。这样做将有助于改进和未来的重新生成版本。

要查看此AI生成的通俗语言摘要，您必须具有高级访问权限。