基于扩散增强的图对比学习与分层负采样技术在链接预测中的应用

《Knowledge-Based Systems》：Diffusion-enhanced graph contrastive learning with hierarchical negative sampling for link prediction

　　董婷婷|唐瑞|莫茜
宁夏大学信息工程学院，银川，750021，宁夏，中国

摘要
作为网络分析中的基本任务，链接预测对于智能推荐系统和城市交通流量预测等实际应用至关重要。本文提出了一种结合扩散增强图对比学习（DGCN）和分层负样本选择的链接预测方法。具体而言，我们的DGCN引入了一个扩散模型，该模型结合了语义转换机制，以生成具有不同语义特征的双对比视图。这一过程通过特征级线性调制（FiLM）层进行控制，该层动态融合时间步嵌入和查询节点特征，以在扩散过程中保持语义相关性。该方法能够在一步邻居范围内捕捉局部结构特征，同时提取k步邻居范围内的全局语义信息，其中k是自适应确定的。这种双视图设计有效地实现了局部细粒度特征和全局语义模式的协同表示。更重要的是，该模型在扩散去噪过程中引入了一种动态时间步调整机制，从而在潜在空间中自动生成具有多样化语义级别和精细校准难度分类的负样本。基于这些负样本，我们开发了一个对比学习框架，旨在通过优化主视图和对比视图中的嵌入表示来提高模型性能。在多个公共数据集上的实验结果表明，我们的方法一致性地优于现有技术。我们的数据集和源代码可供使用。

1. 引言
链接预测是网络分析中的基本任务，旨在通过建模两个未连接节点之间的关联概率来估计它们之间建立链接的可能性。在学术合作网络中，链接预测可以通过分析研究人员之间的合著关系和学术互动来推荐潜在合作伙伴。例如，如图1所示，网络包含两种类型的节点：用户节点和学术实体节点。考虑用户u1和u2，尽管他们没有直接合作，但他们有多个合作者（如用户u3和用户u4），并且两者都经常引用图神经网络（GNN）领域的论文（节点v1），并且曾为同一会议担任审稿人（节点v2）。（然而，捕捉这些潜在关系不仅仅是共享邻居的问题。u1和u2之间的联系还体现在他们对研究主题（v1）和专业活动（v2）的共同兴趣上，反映了超出图拓扑的高阶语义相似性。大多数现有方法主要关注局部结构，并且难以建模这种隐含的语义。此外，有效学习区分真正的缺失链接不仅需要正向样本，还需要在语义上相似但未连接的高质量负样本。传统的负样本策略常常忽略这一挑战。这些局限性促使我们开发了一个更具表现力的框架，该框架能够同时捕捉局部结构和全局语义，并为判别学习提供有信息量的负样本。）链接预测评估它们的合作潜力，从而可以从网络结构中推断出潜在关系，进而识别缺失链接。作为连接复杂网络和信息科学的关键桥梁，链接预测已广泛应用于多个领域，如预测社交网络中的友谊关系[1]、挖掘推荐系统中的用户-项目关联[2]以及加速药物重新定位研究[3]。

早期的链接预测研究主要依赖于基于相似性的方法[4]、[5]、矩阵分解技术[6]、[7]和随机游走表示方法[8]、[9]。例如，Zhang等人[10]通过定义节点之间的相似性来进行链接预测，而Chen等人[11]充分利用深度非负矩阵分解来有效利用所有隐藏层中的观察到的链接数据。Berahmand等人[12]随后将研究方向转向了影响力更高的节点。然而，这些传统方法依赖于手工制作的拓扑特征，其捕捉网络中固有的非线性结构的能力有限。近年来，GNN已成为链接预测研究中的主流方法。该方法采用端到端学习将网络结构信息编码到连续空间中低维节点向量的几何关系中。例如，ScaLed[13]使用GNN通过处理随机游走中的稀疏子图来预测链接，而NLG-GNN[14]利用GNN从目标链接周围的线图表示中提取结构特征。最近提出的HHRL[15]通过超图建模捕捉高阶交互，并通过基于GNN的学习整合结构-语义节点表示。尽管图表示学习方法能够有效捕捉非线性特征，但在数据稀疏的场景中，尤其是对于低频节点，它们的性能受限。

为了解决图学习中的数据稀疏问题，一些研究人员应用了图对比学习（GCL）通过图增强技术生成自监督训练信号。这种方法能够从未标记的数据中生成自监督信号，并在图学习中表现出色。DHG-CL[16]提出了一种专注于区分具有语义差异的节点的GCL框架。在此基础上，LGCL[17]利用GCL有效整合结构和特征信息。GCLink[18]随后通过多视图图表示融合结构和特征信息。尽管这些方法取得了成功，但它们通常依赖于随机增强策略，如随机边删除或特征掩蔽，这可能会引入破坏关键语义结构的无结构扰动，从而影响学习到的表示的质量。

最近，扩散模型（DM）在生成稳健视图方面取得了显著性能。其核心思想是使用神经网络近似未知图结构的概率分布，从而有效保留图的拓扑和语义特征。这种语义信息具体表现为高级抽象特征，如实体之间的功能关联和结构角色。例如，DiffGCL[19]引入DM来捕捉图数据的全局结构和语义模式。尽管注入标准化的高斯噪声可以提高模型的鲁棒性，但它可能会掩盖节点之间的细粒度语义关联，导致生成视图中的关键判别特征丢失。此外，DiffMM[20]将跨模态对比学习与模态感知的图扩散模型相结合，以有效聚合多模态信息。然而，这种模型生成的对比视图的语义一致性严重受损，因为在消息传递过程中，特定模态特征中的噪声被传播和放大，导致跨模态语义污染。

为了捕捉更精细的语义信息，GraphCL-DTA[21]通过语义感知增强和直接均匀性优化改进了表示学习。ECLiP[22]采用以边为中心的对比学习将边衍生的语义关系转换为权重系数。这些技术的基础原理在于对比学习的方法，其中表示的获取是通过在嵌入空间中最小化正样本对之间的距离，同时最大化负样本对之间的距离来实现的。现有的DiffCL[23]研究主要集中在使用DM生成高质量正样本上。这些方法主要关注生成高质量正样本，但依赖于过于简化的负样本采样策略。然而，这造成了一个重大瓶颈，因为随着图规模的增加，负样本空间的增长呈指数级。此外，未观察到的边可能是错误的负样本，可能会误导模型。因此，开发有效的负样本采样策略是GCL和链接预测中的一个基本挑战。

负样本采样方法的进步始于基本的均匀采样[24]，这是一种计算效率高的方法，但在样本质量评估方面缺乏判别能力。后续的启发式方法，如基于节点流行度的静态采样[25]、由模型预测指导的动态采样[26]以及利用个性化PageRank的采样[27]，往往涉及大量手动设计，并且适应性有限。生成方法，包括基于生成对抗网络（GAN）[28]的方法，自动化了困难负样本的挖掘；然而，它们仍然缺乏对样本难度的精细控制。关键的是，有效的策略应提供与训练阶段相一致的易负样本和难负样本的动态混合[29]。虽然DM的多时间步特性为生成分级样本提供了有前景的机制，但当前的基于DM的方法（如DMNS[30]）主要依赖于拓扑结构，未能充分利用语义信息。然而，其生成过程主要依赖拓扑特征，未能充分整合节点的语义信息，从而导致生成的负样本质量不佳。因此，设计一个能够在生成具有多维度难度特征的负样本的同时整合语义特征和拓扑结构的DM是一个关键挑战，这是由于现有方法中融合机制和静态难度校准不足所致。

为了解决上述挑战，我们提出了一种结合扩散增强的GCL的多级负样本采样框架用于链接预测。如图2所示，该框架首先使用GNN对原始图进行编码，从而生成包含丰富语义信息的主视图节点嵌入。然后，利用主视图的语义信息作为降噪信号来指导DM完成关键的语义转换过程，从而生成两个增强的对比视图和两组负样本：G1关注以1步邻居为条件的局部结构，Gk关注以k步邻居为条件的更高阶语义。此外，在负样本采样的背景下，我们利用扩散过程的时间步特性来实现动态难度控制。在早期去噪阶段，生成与正样本高度相似的具有挑战性的负样本以细化决策边界。在中期阶段，引入中等难度的负样本以确保训练稳定性。在后期阶段，生成简单的负样本以巩固学习到的表示。通过联合优化主视图和两个对比视图之间的多粒度对比损失，我们的方法不仅有效缓解了数据稀疏问题，还通过分层难度适应机制显著提高了模型在复杂图数据上的泛化能力。

总结来说，本文的贡献如下：
• 我们提出了DGCN方法。该方法利用对比学习来提升模型性能，并通过DM过滤掉不必要的语义信息，生成包含局部结构和高阶语义的两个对比视图。
• 我们提出了一种有效的多层负样本采样策略用于链接预测。该策略不仅缓解了数据稀疏问题，还平衡了正负样本的比例，从而增强了模型的判别能力。
• 我们使用三个真实世界推荐数据集评估了所提出模型的性能，结果显示在预测准确性和效率方面均显著优于现有技术。

本文的结构如下。第2节回顾了几项相关工作，第3节正式定义了研究问题。第4节详细介绍了我们的模型。第5节展示了实验结果。最后，我们在第6节讨论了研究发现、得出结论并提出了可能的未来工作方向。

相关工作
早期研究主要依赖于相似性测量和矩阵分解等技术。虽然这些方法奠定了基础，但它们难以捕捉网络中的复杂非线性结构。GNN的兴起实现了端到端节点表示学习，为链接预测提供了坚实的基础。然而，GNN的性能高度依赖于充足的训练数据，其表示能力也显著受限。

问题陈述
本节概述了GNN和DM背后的基本理论原理，这些原理构成了我们方法的概念基础。

方法
本节介绍了旨在为基于图的链接预测任务生成分层负样本的DGCN方法。如图2所示，首先，我们使用基于GNN的编码过程提取节点嵌入，捕捉节点内容特征和邻域结构信息作为主视图。随后，优化一个具有语义感知的DM，以捕捉给定查询节点的条件邻域分布，生成双重对比表示。

实验程序和结果
在本节中，我们对三个多行为数据集进行了广泛的实验，以验证DGCN模型的有效性和效率。

结论
本文提出了一种结合扩散增强的GCL框架，通过多级负样本采样策略显著提高了链接预测任务的性能。该方法的核心贡献有三个方面：首先，设计的层次图编码器有效地整合了局部结构特征和全局语义信息，生成更具表现力的节点嵌入；其次，动态扩散机制解决了...Xian Mo：写作（包括审稿与编辑）、项目监督、项目管理、方法论研究、调查工作、资金筹集以及概念创新。
利益冲突声明：
作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
致谢：
我们的工作得到了宁夏重点研发计划（高层次人才引进专项）（2025BEH04048）、宁夏自然科学基金（2024AAC05011）以及国家自然科学基金（62306157）的支持。