QRel：异构图链接预测中的关系敏感型QKV评分方法

《Pattern Recognition》：QRel: Relation-sensitive QKV Scoring for link prediction in heterogeneous graphs

　　

• •
  提出了QRel，这是一种将链接预测视为分类任务的新型GNN。
• •
  采用解耦架构以实现高效且可扩展的链接评分。
• •
  引入了新的关系敏感型QKV注意力机制用于链接评分。
• •
  运用局部化softmax来学习与关系相关的语义上下文。
• •
  其性能优于GNN（Path2pair、HGT、HAN、SeHGNN）以及KGE基准方法。
• •
  在异构数据集上进行了测试：MovieLens、IMDB、DBLP、LastFM、Freebase-HGB。

引言

复杂网络是许多现实世界系统的基础，包括科学合作平台、在线社交网络、推荐引擎、生物医学图谱以及通信系统。这些网络由各种实体（节点）及其之间的关系（边）构成，通常具有层次结构、非线性特征以及相互依赖的模式。仅由单一类型节点和边构成的网络被称为同质图，而异质图则包含多种类型的节点和边。异质图在结构和语义上的丰富性使其特别适合表示多关系数据[1]。例如，在DBLP这样的学术网络中[2]，节点代表作者、论文、会议或研究主题，而边则记录作者关系、发表机构或主题相似性等关联信息。尽管这种多样性有助于更准确地建模领域知识[3]，但也给分析带来了很大复杂性。为同质图设计的传统方法无法捕捉异质网络中所需的类型特定模式和语义。近期基于Transformer的模型，如LPFormer[4]以及基于自注意力的知识图谱嵌入框架KGE，主要用于单关系或同质图，缺乏处理异质环境中关系类型差异的能力。类似地，诸如解耦变分图自动编码器DVGAE[5]之类的最新进展也主要针对同质图场景，将潜在范数和角度等要素分开处理。因此，诸如识别重要实体、检测社区以及建模潜在语义链接等关键分析任务变得更加困难。在这些任务中，链接预测在异质网络中尤其重要且具有挑战性[6]。其目标是利用已观察到的结构和语义来推断节点之间缺失或可能的连接，可应用于推荐学术合作者、查找相关文献、预测生物网络中的蛋白质相互作用、识别金融图谱中的欺诈或异常行为，以及优化通信网络中的路由或资源分配等实际场景。

为应对异质图中链接预测的复杂性，人们提出了许多基于学习的方法。早期的技术试图将实体和关系嵌入连续向量空间以捕捉语义模式，包括TransE[7]、TransR[8]、ComplEx[9]和DistMult[10]。虽然这些方法能有效捕捉基本的关系结构，但可能忽略局部邻域信息。像关系图卷积网络RGCN[11]这样的基于图的方法通过引入特定于关系的消息传递来解决这一问题，但RGCN主要在局部邻域范围内起作用。为弥补这一缺陷，较新的模型如异质图注意力网络HAN和异质图Transformer HGT引入了元路径引导或类型感知的注意力机制。然而，HAN对预定义元路径的依赖限制了其泛化能力，而HGT则在处理动态链接语义时存在困难，且由于需要计算成本较高的全图注意力机制，会导致较高的计算开销。像Paths2Pair[12]这样的路径枚举技术则在适应性方面存在局限，往往依赖于静态的k跳路径枚举，无法涵盖重要的长距离关系。总体而言，异质图链接预测仍存在两个核心问题：首先，许多现有方法在评分阶段并未明确建模特定于关系的交互；其次，一些方法要么依赖预定义的元路径，要么使用会在异质图结构上增加额外计算成本的注意力机制。这些问题促使人们设计出一种对关系敏感、具有局部性且与表示学习相分离的评分方法。

本文的目标是为异质图开发一种对关系敏感的链接预测技术，该技术将表示学习与评分分离，并通过基于关系条件的局部注意力来评估候选链接。本研究的主要贡献如下：

• •
  我们提出了QRel技术，它基于两项核心技术创新：（1）基于关系条件的QKV投影，通过结合节点和关系嵌入来生成注意力表示；（2）候选链接局部化softmax操作，将注意力比较限制在给定源节点-关系对的有效目标候选项范围内。
• •
  作为辅助的架构设计选择，我们采用了解耦的编码器-交互结构。这样既能确保编码器仅处理训练子图以避免数据泄露，又能让模型在评估时利用缓存过的表示高效地对链接进行评分。
• •
  我们在五个不同的数据集上进行了大量实验，以验证QRel的有效性：IMDB、MovieLens、DBLP、LastFM以及Freebase-HGB。通过AUC和F1分数衡量，所提出的方法优于最新的知识图谱嵌入方法和异质GNN基准方法，包括HAN、HGT、SeHGNN和Paths2Pair。详细的消融实验进一步证明了各组件的价值。

本文的其余部分结构如下：第2节回顾了现有的链接预测方法，包括启发式方法、基于嵌入的方法以及异质图神经网络方法；第3节介绍了相关符号并正式定义了链接预测问题；第4节详细介绍了所提出的QRel技术；第5节描述了实验设置、数据集、评估指标及基准方法，随后是性能分析、消融实验以及参数敏感性分析；最后，第6节对本文进行总结，并指出未来研究的方向。

章节要点

相关工作

链接预测即推断图中缺失或潜在连接的过程，对于网络分析而言至关重要。相关研究已从最初的相似性启发式方法发展到先进的图表示学习模型[3]。在异质图中，由于存在多种类型的节点和边，其复杂性相较于同质图更为突出[13]。本节将回顾与本文研究相关的核心方向，内容围绕五个方面展开

本文工作内容

为确保所提出技术的表述清晰一致，我们首先定义了本文中使用的关键数学符号和标记。表1总结了全文中使用的主要符号。

方法论

本节详细介绍用于异质图链接预测的QRel技术。我们首先介绍整体的解耦架构，然后阐述其两个核心组成部分：具备关系感知能力的节点表示编码器，以及用于评分的QRel交互模块。

图1展示了所提出的QRel技术，这是一种用于多关系链接预测的解耦模型。该技术首先通过“嵌入传播”模块进行表示学习，从而生成

实验设置与分析

我们在五个基准数据集上对QRel进行了评估。首先介绍实验设置，包括数据集、评估指标、基准方法以及实现细节；接着展示实验结果，并将QRel与所有基准方法进行比较；随后通过消融实验测试各个模块的性能；最后报告参数敏感性分析结果。这些实验用于评估QRel的准确性、稳健性及效率。

结论

本文提出了QRel，这是一种针对异质图链接预测的关系敏感型QKV评分技术。QRel将表示学习与链接评分分离：具备关系感知能力的编码器负责学习节点和关系嵌入，而局部化交互模块则通过基于关系条件的查询、键值投影来评估候选链接。通过仅对共享相同源节点-关系对的候选项应用softmax函数，QRel能够模拟特定于关系的竞争关系，而无需

CRediT作者贡献声明

Puneet Kapoor：写作——审稿与编辑、写作——初稿撰写、可视化、验证、资源整理、方法论设计、形式化分析、数据整理、概念构思。Sakshi Kaushal：验证、监督、项目管理、形式化分析。Harish Kumar：验证、监督、项目管理。Kushal Kanwar：验证、监督、形式化分析。

利益冲突声明

作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

Puneet Kapoor|Sakshi Kaushal|Harish Kumar|Kushal Kanwar