PHE：针对大规模异构图的图神经网络的结构与语义增强预训练

《ACM Transactions on Knowledge Discovery from Data》：PHE: Structure and Semantic Enhanced Pre-training of Graph Neural Networks for Large-Scale Heterogeneous Graphs

本文提出一种针对异构图的自监督预训练框架，通过结构感知和语义感知任务解决语义不匹配问题，利用语义邻居构建扰动子空间提升知识迁移能力，并在真实数据集上验证了有效性。

　　

摘要

近年来，图神经网络（GNNs）促进了图数据挖掘的发展。然而，训练GNNs需要大量的带有标签的、特定于任务的数据，而这往往成本高昂且难以获取。为了减少对标记数据的依赖，最近的研究提出采用自监督的方式对GNNs进行预训练，然后将预训练好的GNNs应用于标记数据有限的下游任务。然而，大多数现有方法仅针对同质图（而现实世界中的图大多是异质的）进行设计，并未考虑语义不匹配问题（即原始数据与理想数据之间的语义差异，后者包含更多可迁移的语义信息）。在本文中，我们提出了一个有效的框架，用于在大规模异质图上对GNNs进行预训练。首先，我们设计了一个关注图结构的预训练任务，旨在捕捉异质图中的结构特征；接着，我们设计了一个考虑语义信息的预训练任务来解决语义不匹配问题。具体来说，我们构建了一个由语义邻居组成的扰动子空间，以帮助模型处理语义不匹配问题。语义邻居使模型更加关注语义空间中的通用知识，从而有助于模型学习具有更好迁移能力的知识。最后，我们在真实世界的大规模异质图上进行了广泛的实验，证明了所提出方法的优越性。代码可访问地址：https://github.com/sunshy-1/PHE。