面向异配性图的单亲性感知的图预训练

《Expert Systems with Applications》:Monophily-aware Graph Pre-training for Heterophilic Graphs

【字体: 大 中 小 】 时间:2026年09月22日 来源:Expert Systems with Applications 9.4

编辑推荐:

   摘要 图预训练算法旨在不依赖标注数据的情况下学习通用的节点嵌入。这些模型通常基于同配性假设进行设计,即相连节点具有相似的特征和相同的标签。然而,这种设计限制了它们在异配图上的表达能力和泛化能力,异配图在相连节点间表现出不同的特征和标签,且在现实场景中普遍存在。为解决这一局限

  

摘要

图预训练算法旨在不依赖标注数据的情况下学习通用的节点嵌入。这些模型通常基于同配性假设进行设计,即相连节点具有相似的特征和相同的标签。然而,这种设计限制了它们在异配图上的表达能力和泛化能力,异配图在相连节点间表现出不同的特征和标签,且在现实场景中普遍存在。为解决这一局限性,我们提出了MAGNET(Monophily-Aware Graph pre-traiNing for hETerophilic graphs,面向异配图的同配性感知图预训练方法),这是一种新颖的图预训练方法,能够统一跨图的特征维度并利用图内的潜在相似性结构,从而在异配条件下实现有效的表示学习和鲁棒的跨数据集泛化。具体而言,我们引入了一种特征对齐机制,将不同图中的节点特征投影到具有统一维度的一致表示空间中,以促进跨数据集泛化。基于对齐后的特征,我们设计了一种基于同配性的消息传递机制,该机制识别并聚合结构相似的二跳邻居,以提取信息丰富的潜在相似性信息。该机制进一步集成到一个双编码器架构中,以捕获互补的结构模式,并在异配图上学习高质量的节点表示。在多个基准数据集上的大量实验表明,MAGNET在异配图上显著优于基线方法,在Crocodile上取得了6.75%的提升,在Cornell上取得了4.49%的提升,同时在同配图上保持了具有竞争力的性能。此外,MAGNET在跨数据集学习中表现出优越的泛化能力。我们的代码可在 https://anonymous.4open.science/r/MAGNET-E33 获取。

引言

图结构数据在现实世界应用中无处不在,例如社交网络、交通系统和蛋白质化合物。随着深度学习的快速发展,图神经网络已成为分析此类数据的主导范式,能够有效地建模拓扑结构和节点特征。传统的图神经网络通常设计为具有任务特定的架构和学习目标,这限制了它们利用丰富的无标签图数据的能力。因此,其表达能力和泛化能力仍然有限。最近,图基础模型作为一种有前景的新范式应运而生。通过在大规模图数据上进行预训练,这些模型可以获取可迁移的结构知识,从而适应广泛的图相关下游任务,展现出增强的表达能力和泛化性。作为构建图基础模型的关键范式,图预训练旨在从无标签的图数据中学习通用知识。然而,由于不同图的节点特征分布具有多样性,在一个数据集上预训练的模型通常在其他数据集上表现不佳。

近期研究通过采用虚拟协调器来对齐多样的图结构、探索对比学习与主成分分析之间的联系,或通过可训练的条件分支注入目标特定属性来适应结构预训练模型,从而应对这一挑战。然而,这些方法是在同配性假设下设计的,即相连节点倾向于相似。这种设计限制了它们在异配图上学习高质量且可泛化表示的能力,在异配图上直接相连的节点往往不相似。此外,异配图在现实网络中普遍存在。例如,如图1所示,在交友平台等社交网络中,相连用户往往性别相反。尽管存在这种局部不相似性,先前的研究表明,现实图中的节点往往与其邻居的邻居(即二跳邻居)相似,即使它与直接邻居(即一跳邻居)不同,这种结构特性被称为同配性。如图1所示,尽管用户倾向于与不同性别的一跳邻居相连,但其二跳邻居更可能拥有相同的性别。为进一步考察这一特性的普遍性,我们在10个异配图数据集上比较了一跳、二跳和三跳邻域的同类率。如图2所示,二跳同类率在10个数据集中的7个上最高,在其余3个数据集中与最高跳数级别的比率相当。这些结果为二跳同配性的普遍性提供了实证依据。理论分析进一步为异配条件下二跳同配性的产生提供了原则性的论证。实证分析和理论分析共同支持了在异配图上利用二跳相似性信息进行学习的必要性。

综合这些见解,我们提出以下研究问题:如何设计一个图预训练框架,使其能够在异配图上实现有效的表示学习和鲁棒的跨数据集泛化?为回答这一问题,我们提出了面向异配图的同配性感知图预训练方法。具体而言,我们首先引入一个特征对齐模块,该模块建模维度级别的值模式,并将不同维度的节点特征投影到统一的特征空间中,促进模型在不同特征特性的图之间的泛化。基于对齐后的节点特征,我们开发了一种基于同配性的消息传递机制,该机制识别并聚合相似的二跳邻居。该机制不是通过可能不相似的一跳邻居传播信息,而是为异配条件下的表示学习提供了更丰富的相似性信息。此外,所提出的基于同配性的消息传递机制被实例化在一个双编码器架构中。在各自不同的归纳偏置驱动下,两个编码器捕获互补的结构模式,提高了模型在异配图上表示多样结构的能力。最后,我们为每个编码器分配一个编码器特定的自监督目标,在保留其互补表示特性的同时避免冗余约束。实验结果表明,该框架在异配图上显著超越基线方法,在Crocodile上取得6.75%的提升,在Cornell上取得4.49%的提升。同时,该框架在同配图上保持了具有竞争力的性能,并在异配图上表现出优越的跨数据集泛化能力。

总之,本文的贡献如下:

- 我们提出了MAGNET,一种新颖的图预训练方法,能够同时解决异配图上有效表示学习和跨数据集泛化的挑战。
- 我们引入了一种特征对齐模块,该模块学习维度级别的值模式并将不同维度的节点特征映射到统一的特征空间中,促进跨数据集泛化。
- 我们开发了一种基于同配性的消息传递机制,该机制识别并聚合相似的二跳邻居,以利用异配图中的潜在相似性。该机制进一步集成到具有不同归纳偏置的双编码器架构中,以捕获多样的结构模式。这些设计促进了异配条件下的高质量节点表示学习。
- 在异配和同配基准数据集上的大量实验验证了MAGNET的有效性,并展示了其鲁棒的跨数据集泛化能力。

段落节选

图预训练

图预训练旨在从无标签图数据中学习通用的图表示,已成为缓解标签稀缺的有效范式。早期的图预训练研究主要集中在自监督学习上,可大致分为生成式方法和对比式方法。

生成方法从损坏或掩码的输入中重建节点特征、边或子图,促使模型捕获潜在的图结构。

符号说明

给定输入图G=(V,E),令V={v1,…,v|V|}为|V|个节点的集合,E为边集。标签矩阵表示为Y∈?^|V|×C,其中C为类别数,第i行Yi,:表示节点vi的独热标签向量。为简化表示,我们进一步定义yi=argmax_j Yi,j ∈{1,2,…,C}。邻接矩阵表示为A∈{0,1}^|V|×|V|,其中若ei,j∈E则Ai,j=1,否则为0。度矩阵D∈?^|V|×|V|为对角矩阵,其对角元素为Di,i=∑_{j=1}^|V| Ai,j。设X∈?^|V|×F为

所提方法:MAGNET

在本节中,我们介绍所提出的方法——面向异配图的同配性感知图预训练方法。图3展示了MAGNET的整体结构,由两个组件组成:特征对齐模块和双编码器自监督学习模块。特征对齐模块将不同维度图的节点特征投影到统一的表示空间中,促进跨数据集泛化。基于对齐后的节点特征,

数据集

我们在13个涵盖异配图和同配图的真实世界基准数据集上评估MAGNET。异配类包括Cornell、Texas和Wisconsin,Actor,Chameleon和Crocodile。此外,我们还考虑了4个近期提出的异配数据集:Roman-Empire(罗马帝国)、Amazon-ratings(亚马逊评分)、Minesweeper(扫雷)和Tolokers。同配类包括

结论

在本文中,我们提出了一种新颖的图预训练框架MAGNET,以同时解决异配图上有效表示学习和跨数据集泛化的挑战。MAGNET首先学习节点属性的维度级别值模式,并将不同图的节点特征对齐到具有统一维度的一致表示空间中,促进跨数据集泛化。此外,MAGNET利用由同配性诱导的潜在相似关系。

作者贡献声明

Xu Sun:概念化、调研、形式分析、方法学、软件、初稿撰写。Yi Luo:概念化、数据整理、验证、可视化、审阅与编辑。Bin Chen:数据整理、调研、软件、审阅与编辑。Aiguo Chen:概念化、审阅与编辑、指导、资金获取。

利益冲突声明

作者声明他们不存在已知的竞争性经济利益或个人关系,这些利益或关系可能影响到本文所报告的工作。

Xu Sun | Yi Luo | Bin Chen | Aiguo Chen
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号