在我看来（IMoKGNN）：图神经网络中通用语言模型特征与任务特定语言模型特征的双流融合方法

《ACM Transactions on Intelligent Systems and Technology》：IMoKGNN: Dual-Stream Fusion of Generic and Task-Specific Language Model Features for Graph Neural Networks

　　

摘要 AI摘要

要查看此AI生成的摘要，您必须具有高级访问权限。

了解更多 登录

摘要

摘要

文本属性图（TAGs）在各种现实场景中很常见，其中每个节点都与一个文本属性相关联。对TAGs的表示学习依赖于对文本属性和拓扑连接的全面理解。最近的研究通过将预训练的语言模型（PLMs）集成到图神经网络（GNNs）中来增强文本属性建模，与浅层文本表示（如BoW）相比，取得了有希望的结果。随着更强大的LLMs的出现，如何有效地将LLMs中的通用知识注入到TAGs的表示学习中仍然需要系统性的研究。为此，我们首先考察主流的生成式LLMs是否能够提供高质量的通用文本嵌入，这些嵌入可以直接被下游的GNNs使用，并进一步探索它们与来自经过调整的PLM（TLM）的任务特定知识的互补性。基于这些观察，我们提出了一个双通道知识融合框架MoKGNN，以同时利用LLMs的通用语义知识和TLM的任务适应能力。具体来说，我们设计了一个双通道特征提取模块来分别学习通用和任务特定的文本表示。接下来，我们引入了一个知识对齐网络（Knowledge Alignment Network）来将LLM嵌入与TLM嵌入对齐。最后，MoKGNN采用全局混合权重来融合两个通道，为下游GNN训练获得统一的节点嵌入。此外，我们还分析了这种早期特征融合在消息传递过程中的一个关键限制：一旦异构文本特征在邻域聚合之前被合并，源特定的噪声和不一致的语义可能会被混合在一起，从而变得更难以区分和纠正。受此启发，我们提出了IMoKGNN，这是一个解耦的双流框架，它使用共享的GNN架构并行传播LLM和TLM的特征，并在逻辑空间中进行后期融合。在五个TAG数据集上的广泛实验证明了我们方法在节点分类和链接预测方面的有效性，并显示IMoKGNN比MoKGNN提供了更可靠的改进。

AI摘要

AI生成摘要（实验性）

此摘要是使用自动化工具生成的，未由文章作者撰写或审阅。它旨在帮助发现、帮助读者评估相关性，并帮助来自相关研究领域的读者理解工作内容。它旨在补充作者提供的摘要，后者仍然是论文的主要摘要。完整文章仍然是权威版本。点击这里了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。这样做将有助于改进和未来生成版本的优化。

要查看此AI生成的简洁语言摘要，您必须具有高级访问权限。