PMGAE:利用邻近矩阵重构自编码器实现的自监督图表示方法

《Neurocomputing》:PMGAE: Self-supervised graph representation with proximity matrix reconstruction auto-encoders

【字体: 大 中 小 】 时间:2026年01月07日 来源:Neurocomputing 6.5

编辑推荐:

  本文提出基于近邻矩阵重建的自监督图自动编码器PMGAE,通过解耦编码器融合结构及属性信息,采用非参数余弦解码器优化相似度计算,并引入随机子矩阵机制降低计算开销。实验表明PMGAE在16个基准数据集上显著优于现有方法。

  
罗海峰|李环环|黄天强|黄丽清
福建师范大学计算机与网络安全学院,福州,350108,中国

摘要

图表示学习(Graph Representation Learning,GRL)旨在提取有效的图信息,以生成用于各种图任务的具有信息量的表示,例如节点分类、链接预测和图聚类。自监督图表示学习(Self-Supervised Graph Representation Learning,SSGRL)作为一种强大的范式,最近受到了重视,它能够解决标签稀缺问题,并实现与任务无关的图表示,其中图自动编码器(Graph Auto-Encoders,GAEs)是很有前景的SSGRL框架。然而,现有的GAEs面临两个关键挑战:a) 缺乏一种适应性融合机制来平衡不同图任务的结构信息和属性信息;b) 传统的内积解码器由于向量范数的差异而产生误导性的结果,无法准确捕捉方向相似性,同时还会带来巨大的计算和内存开销。在本文中,我们提出了一种基于邻近矩阵重构(Proximity Matrix Reconstruction,PMGAE)的新颖自监督图自动编码器用于图表示学习。PMGAE使用新设计的邻近矩阵作为其重构目标。对于不同的图,邻近矩阵既保留了结构信息也保留了属性信息,并适当控制了结构信息与属性信息的比例。具体来说,设计了一个解耦编码器在编码阶段分离结构嵌入和属性嵌入。此外,引入了一个非参数余弦解码器来提取潜在空间中节点嵌入之间的余弦距离,从而重构出具有信息量的邻近矩阵。为了进一步提高效率,我们提出了一种随机子矩阵重构机制,在解码阶段显著降低了内存和计算成本。在实验中,我们使用了十六个基准测试来验证PMGAE的有效性。结果表明,PMGAE相比现有方法取得了显著的改进。

引言

图表示学习旨在提取包含节点特征和拓扑结构的复杂图洞察,从而构建紧凑的图级或节点级表示。近年来,监督图表示学习(Supervised Graph Representation Learning,SGRL)取得了显著进展,例如GCN [16]、GAT [43]、MGLNN [11]、DropAGG [12]、DM-GNN [32] 和 AF-GCN [28] 等方法。然而,SGRL 严重依赖丰富的标签监督,并且倾向于生成针对特定任务的表示。在标签稀缺或需要与任务无关的表示的情况下,SGRL 的有效性不足。自监督图表示学习(Self-Supervised Graph Representation Learning,SSGRL)通过精心设计的 pretext 任务,成为从无标签图数据中提取高保真洞察的有前景的方法,为 SGRL 的局限性提供了解决方案。
现有的 SSGRL 方法大致可以分为两类:对比方法和生成方法 [20]。对比方法在各种下游任务中表现出色,尤其是在节点和图分类方面。尽管如此,它们的成功在很大程度上依赖于复杂的图增强技术和精心设计的对比策略。相比之下,生成方法通过利用图信息作为监督信号来规避对比方法的局限性。图自动编码器(Graph Auto-Encoders,GAEs)是主要的生成方法之一,用于在自动编码器框架内重构图信息。它们进一步根据图重构类型分为三类:基于属性重构的 GAEs、基于结构重构的 GAEs 和基于组合重构的 GAEs。
基于属性重构的 GAEs,如 MGAE [44]、GraphMAE [8] 和 GraphMAE2 [7],致力于重构输入图的节点属性。然而,过度简化节点特征的重构往往导致表示缺乏信息内容。此外,主要关注属性信息可能会导致结构信息被低估。相比之下,基于结构重构的 GAEs 专注于重构输入图中的结构信息,包括邻接矩阵或直接链接 [3]、[37]。通常使用内积解码器进行重构,因为其简单性和兼容性。然而,内积解码器由于向量范数的差异而产生误导性的结果,无法准确捕捉方向相似性,同时随着图节点数量的增加而带来巨大的计算和内存开销。此外,缺乏属性信息可能对严重依赖属性信息的任务产生不利影响。基于组合重构的 GAEs 试图同时重构结构信息和属性信息。例如,GASN [45] 使用两个子解码器来重构邻接矩阵和节点属性。SeeGera [19] 在解码阶段同时重构现有链接和节点属性。这些 GAEs 努力保留结构信息和属性信息,使它们在各种下游任务中表现出色。然而,正如 AM-GCN [46] 中的案例所示,不同图的节点特征和拓扑结构的重要性各不相同,即某些图任务更依赖于结构信息,而其他任务则更重视属性信息。因此,对于 GAEs 来说,为了平衡不同图任务的结构信息和属性信息,需要一个适应性融合机制。
基于上述观察,在本文中,我们提出了一种基于邻近矩阵重构(Proximity Matrix Reconstruction,PMGAE)的新颖图自动编码器。我们没有重构邻接矩阵或节点特征,而是设计了一种新的邻近矩阵作为重构目标。根据图或最终任务的不同,邻近矩阵以不同的比例融合原始图的结构信息和属性信息。具体来说,邻近矩阵通过或-与机制构建,结合了 k-NN 属性邻近矩阵和结构邻近矩阵。k-NN 属性邻近矩阵对应于 k-NN 属性邻近图,而结构邻近矩阵对应于原始图。由于两个图包含相同的节点,并且平均度反映了图中的平均边数,因此平均度决定了两个图的规模。设 表示 k-NN 属性邻近图的平均度, 表示结构邻近图的平均度。通过控制 的值,我们可以灵活调整两个图的规模,从而控制邻近矩阵中结构信息与属性信息的比例。
在具体实现中,为了在编码阶段生成结构嵌入和属性嵌入,我们使用了一个解耦编码器,该编码器利用图增强技术和双通道编码器来减轻图神经网络(Graph Neural Networks,GNNs)中图信息的紧密耦合。实际上,在测量潜在空间中向量之间的相似性时,向量的方向更准确地反映了内在相关性,而向量范数可能会引入噪声。因此,保持方向一致性(即方向对齐)通常比考虑向量范数更重要。与内积相比,余弦距离直接反映了向量方向的相似性,并且不受向量范数的影响,使其对向量缩放具有不变性。因此,我们引入了一个余弦解码器来重构邻近矩阵。此外,为了降低空间和时间成本,我们在解码阶段引入了一种随机子矩阵重构机制。
本文的主要贡献可以总结如下:1.
设计了一种新的重构目标——邻近矩阵。邻近矩阵可以以指定的比例融合输入图的结构信息和属性信息。
  • 2.
    引入了一种非参数余弦解码器来重构邻近矩阵,增强了重构具有信息量邻近矩阵的能力。
  • 3.
    引入了一种随机子矩阵重构机制,以减轻解码阶段重构邻近矩阵的时间和空间复杂性。
  • 4.
    我们进行了广泛的实验和分析。结果表明,我们的方法在几个数据集上优于现有方法,证明了该方法的有效性。
  • 章节片段

    相关工作

    根据自监督信号的不同,现有的自监督图表示方法分为两类:对比方法和生成方法 [20]。

    问题设置

    在本节中,我们首先介绍论文中使用的符号,并正式定义 PMGAE 的问题。粗体大写字母用于表示矩阵(例如,),粗体小写字母用于表示向量(例如,),花体字体用于表示集合(例如,),希腊小写字母用于表示超参数(例如,)。此外,矩阵 的转置表示为 。矩阵 的 行表示为 。矩阵 的 表示矩阵 的条目。

    邻近矩阵重构图自动编码器

    PMGAE 的整体框架如图 1 所示,包括三个部分:1. 解耦编码器。2. 带有随机子矩阵重构机制的余弦解码器。3. 重构损失的计算。PMGAE 的关键思想在于重构邻近矩阵 。

    数据集

    为了验证 PMGAE 在节点级、边级和图级任务(即节点分类、链接预测和图分类)方面的效果,我们在引用网络、共同购买网络、合著网络、TUDatasets [25] 和 OGB 图数据集 [9] 上对 PMGAE 进行了评估,这些数据集在表 2 和表 3 中进行了总结。
    引用网络:三个引用网络数据集(即 Cora、Citeseer 和 Pubmed)被广泛用作节点分类和链接预测的基准 [22],

    结论

    在这项工作中,我们提出了一种基于邻近矩阵重构(Proximity Matrix Reconstruction,PMGAE)的新自监督图自动编码器,以解决表示中属性信息和结构信息的适当融合问题。根据图的不同,邻近矩阵是实现灵活信息融合的关键。PMGAE 将邻近矩阵作为重构目标。解耦编码器和余弦解码器被指定为 PMGAE 的核心组件,用于重构目标。

    CRediT 作者贡献声明

    罗海峰:项目管理、写作 - 审稿与编辑、方法论、监督、概念化。李环环:验证、可视化、方法论、写作 - 原稿。黄天强:项目管理、写作 - 审稿与编辑、监督。黄丽清:可视化、写作 - 审稿与编辑。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

    致谢

    本研究部分由中国自然科学基金(项目编号 42301500、62072106)、福建省自然科学基金(项目编号 2022J01188、2020J01168 和 2022J01190)以及福建省教育厅青年教师教育研究项目(项目编号 JAT210051)资助。
    罗海峰 在中国福州的福州大学数学与计算机科学学院获得了博士学位。他目前是福建师范大学计算机与网络安全学院的讲师。他的主要研究兴趣包括 2D/3D 计算机视觉、时空数据挖掘、图神经网络和深度学习。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号