大语言模型与图神经网络：综述

《Neurocomputing》：Large language models meet graph neural networks: A survey

　　

**摘要**

大语言模型（LLMs）和图神经网络（GNNs）在建模文本语义和关系结构方面提供了互补的能力。然而，它们的集成跨越了多种训练和推理工作流，使得系统部署时的比较变得困难。本综述主要以主导耦合环路为组织标准，将LLM与GNN的集成归纳为四种范式：增强器（Enhancers）、图RAG（GraphRAG）、联合学习（Joint Learning）和智能体（Agents）。我们回顾了代表性机制，并分析了它们的证据接口如何影响结构和语义失败。这一分析为资源受限条件下的评估和报告提供了实用指导。我们将这些洞察与代表性应用和可信度需求联系起来，并讨论了LLM-GNN集成中的开放挑战和未来研究方向。这些视角共同为选择适合特定部署需求的LLM-GNN设计提供了实用基础。

**引言**

大语言模型（LLMs）和图神经网络（GNNs）越来越多地在基于图的任务中结合使用。此类任务既需要结构建模，也需要文本理解。代表性场景包括引用网络、知识图谱、生物医学网络和推荐系统。在这些场景中，图编码实体、关系和约束，而文本提供了理解它们所需的语义。这种集成之所以具有吸引力，是因为GNN [1], [2], [3], [4], [5] 能有效建模关系结构，而基于Transformer架构的语言模型 [6] 则能学习文本表示，并支持文本条件预测和生成 [7], [8]。

然而，它们的结合并非易事。LLM在有限的上下文窗口内处理序列输入，通常只有将图证据序列化为标记序列后才能摄入，这可能掩盖拓扑结构并在标记预算下遗漏关键关系。相比之下，GNN能更直接地编码关系结构，但图端接口可能使语义重要线索在推理时不那么直观可见，尤其是当这些线索与局部邻域结构对齐较弱时。因此，它们的主要失效模式不同：LLM可能产生流畅但违反结构约束、不符合图的有效性输出，而GNN虽然可能保持结构完整，却可能忽略语义重要线索。这些差异的重要性因LLM-GNN耦合发生的位置和方式而异，对比较、评估和报告具有直接影响。

随着该领域的发展，先前的综述已探讨了通用图-LLM集成 [9], [10], [11]，以及更聚焦的图RAG和智能体检索工作流 [12], [13]。基于角色的视角将LLM区分为预测器、编码器和对齐器 [14]。这些标签解释了LLM对图学习的贡献内容。部署决策也取决于该贡献发生的时间，因为这会影响每个查询运行时哪些组件以及所需的资源。

因此，本综述以主导耦合环路作为主要组织标准，区分增强器、图RAG、联合学习和智能体。我们考察这些工作流如何在运行时暴露图证据，以及这对资源使用和可审计性意味着什么。本综述聚焦于LLM与神经图组件之间的直接集成，并选取部分不含GNN的图RAG和智能体系统来说明相关的证据和控制接口。

在此背景下，我们做出三项主要贡献：

1. 我们提出了一种围绕主导耦合环路组织的面向部署的四范式分类法，并阐明了各范式在运行时证据暴露、预算压力和报告工件方面的差异。
2. 我们将该分类法转化为实用的评估和报告视角，明确了应披露的内容，包括污染控制、运行时证据、实际预算、结构有效性、溯源和各阶段可靠性。
3. 我们综合了跨范式的反复出现的失效模式和部署权衡，将其与代表性应用场景和可信度需求联系起来，并突出强调了图标记化、可扩展证据接口、不确定性、可靠控制和领域偏移下迁移等方面的开放挑战。

本综述其余部分首先介绍核心术语和失效概念，然后呈现分类法和概述，并讨论评估和报告协议。接下来依次考察四种范式，然后转向应用、可信度、治理和鲁棒性，最后讨论开放挑战和结论。

**章节片段**

**比较术语和失效概念**

在呈现分类法之前，我们介绍本综述全文使用的核心术语和失效概念。它们共同为比较哪些图信息可用、哪些证据实际被暴露、以及LLM-GNN系统中结构和语义失效可能出现在何处奠定了共享基础。

**分类法和概述**

相应地，我们根据主导耦合环路在何处闭合、图推导证据如何在运行时暴露、哪个预算主导行为，以及为保证可复现性和可审计性必须保留哪些工件来比较LLM-GNN系统。主导耦合环路作为主要组织标准，因为它为围绕单一耦合模式构建的系统以及结合多种模式的混合系统提供了共同的面向部署的比较基础。其余维度则细化比较。

**评估和报告协议**

确定主导耦合环路后，下一个问题是如何公平比较LLM-GNN系统。这仍然困难，因为协议在提示设计、图快照的固定或采样方式、运行时暴露的证据、绑定的预算以及哪个系统组件主要决定最终输出等方面各不相同。可靠性也可能在分布偏移下显著变化，使得校准和置信度诊断日益重要。

**增强器：数据层面的离线增强**

对于增强器，主导耦合环路通过离线语义增强或教师辅助训练运行。指令式LLM或编码器式语言模型为下游GNN生成节点/边特征、伪标签或教师信号。这种模式用于带有标题、摘要、配置文件或描述的图。从节点或边文本中提取语义信号，并将其传递给消息传递GNN [59]。

当基于LLM的增强或教师监督完成时……

**图RAG：推理时证据构建**

增强器在离线提供语言派生的特征或监督，而图RAG的主导耦合环路则围绕生成前的查询特定证据构建。其目标是支持多跳推理和语料库级综合等任务的接地，在上下文预算约束下。结果取决于图构建、索引、检索和证据组装：不完整或过度压缩的上下文可能遗漏与答案相关的证据 [44], [45], [56]。比较需要……

**联合学习：模型层面对齐**

与增强器使用的蒸馏机制类似，联合学习可以在训练期间对齐图和语言表示。其主导耦合环路通过学到的图-语言接口实现，该接口在预测中仍然处于核心地位。成本比较需要考虑对齐训练和推理计算，包括使用自回归生成时的情况。

**智能体：决策层工具中介控制**

智能体在推理期间保持LLM作为工具增强图工作流的控制器处于活跃状态。在其主导耦合环路中，LLM使用中间观察结果来选择后续的图操作、修订计划或决定何时停止。比较需要同时考虑任务结果和执行轨迹中消耗的资源。

**应用**

上述部署考量在应用场景中变得更加具体，其中任务目标和预算决定了如何使用图、向模型暴露哪些运行时证据，以及如何验证输出。我们考察了四种代表性场景和任务族：科学发现、教育、知识图谱构建与推理，以及高风险决策支持。表6将选定的工作流与四种范式关联，并总结了每种范式的评估优先级。

**可信度、治理和鲁棒性**

在这些应用中，可信部署取决于对运行时证据、资源使用以及可供审查的记录的控制。表7将失效模式与可观察信号和候选控制措施联系起来。以下各小节考察溯源与治理、攻击和分布偏移下的鲁棒性、公平性和隐私。

**开放挑战和未来方向**

LLM-GNN集成的开放挑战涵盖了图-语言表示和使用它们的子工作流。随着图领域的变化，保留任务相关的结构和语义仍然困难。保持转换后的表示可追溯至源证据构成了一个相关挑战。在运行时，有限的资源使获取进一步证据、验证输出和从失败中恢复的决策复杂化。

**结论**

本综述以主导耦合环路作为LLM-GNN系统的主要组织标准。增强器提供离线语言派生的特征、监督或图增强；图RAG构建查询特定的图证据用于生成；联合学习在推理时保留学到的图-语言交互；智能体使用工具观察结果引导后续操作。运行时证据、资源预算和审计记录为比较这些范式提供了互补的维度。

**CRediT作者贡献声明**

周盼盼：写作——审阅与编辑，写作——原稿，可视化，验证，指导，调查，数据整理。朱浩威：写作——审阅与编辑，写作——原稿，可视化，验证，指导，调查，数据整理，概念化。李立伟：写作——审阅与编辑，写作——原稿，调查。梁燕：写作——审阅与编辑，写作——原稿，调查。尹凯斌：写作——审阅与编辑，写作声明。

**生成式AI和AI辅助技术在写作过程中的使用声明**

在本文档的准备和修订过程中，作者使用ChatGPT和Gemini辅助进行文献发现以及材料的组织和重构。这些工具还辅助了翻译、英文文稿的起草和编辑。作者对AI辅助的材料进行了批判性审阅和修订，并核实了其支撑来源；AI辅助不取代他们对已发表论文的判断或责任。

**利益冲突声明**

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文档所报告的工作。

周盼盼于2025年获得南昌航空大学工学学士学位，目前就读于云南师范大学攻读硕士学位。他的研究方向专注于鲁棒且可扩展的图学习，以及LLM增强的图学习。

周盼盼|朱浩威|李立伟|梁燕|尹凯斌|徐立祥|雷明如|陈雨华