用于类不平衡节点分类的多主题增强节点表示生成方法

《Neurocomputing》:Multi-Motif enhanced node representation generation for class-imbalanced node classification

【字体: 大 中 小 】 时间:2026年05月16日 来源:Neurocomputing 6.5

编辑推荐:

  郑家硕|蒲洪山|刘叶华南理工大学未来技术学院,广州,511442,中国摘要类别不平衡在图节点分类中是一个主要挑战,导致模型偏向多数类。现有方法通常依赖于低阶结构来学习类别分布,然后生成少数类节点,这限制了生成样本的多样性和质量。为了解决这个问题,我们提出了MMFReGen,这是一

  
郑家硕|蒲洪山|刘叶
华南理工大学未来技术学院,广州,511442,中国

摘要

类别不平衡在图节点分类中是一个主要挑战,导致模型偏向多数类。现有方法通常依赖于低阶结构来学习类别分布,然后生成少数类节点,这限制了生成样本的多样性和质量。为了解决这个问题,我们提出了MMFReGen,这是一个多主题融合节点表示生成框架,它将多个高阶结构信息与生成建模相结合,以减轻图中的类别不平衡。MMFReGen首先构建一个高阶跨主题邻接矩阵来捕获丰富的连接模式和跨主题依赖性,然后利用这些信息通过预训练的分类器来增强节点表示。接下来,设计了一个具有类别意识的变分自编码器来捕获特定类别的潜在分布并生成少数类节点。生成的节点及其伪标签被整合到原始图中,以形成一个增强图,用于微调分类器。广泛的实验表明,MMFReGen可以有效减轻类别不平衡,并提高少数类的分类性能。

引言

图由节点和边组成,广泛用于表示复杂的关系系统,如引用网络、社交网络、流行病预测[23]和推荐系统[6]、[33]。随着对社交网络分析需求的增长,近年来节点分类的研究受到了越来越多的关注[38]。然而,大多数现有研究都集中在平衡的数据集上。这与现实世界场景(例如,流数据挖掘[41])形成对比,在这些场景中,类别不平衡是一个普遍存在的问题。例如,在Cora数据集中,规则学习类别的节点数量明显少于神经网络类别[40]。类别不平衡通常会导致节点分类模型偏向多数类,而忽视了标记数据有限的少数类[19],最终降低分类性能[40]。
最近,提出了一些方法来解决类别不平衡问题。代表性的方法如GraphSMOTE[43]和GraphMixup[37]通过线性插值随机选择的少数类节点的潜在表示来生成合成节点特征。然而,这种随机插值策略往往导致过拟合,并限制了生成样本的多样性。随着生成模型的发展,它们越来越多地被应用于解决类别不平衡的节点分类问题,并取得了有希望的结果。例如,ImGAGN[27]利用生成器来合成少数类节点的连接性,并通过聚合邻域信息来推导它们的表示,同时使用基于GCN的判别器来区分真实节点和合成节点并分类它们的少数类成员。CDCGAN[18]通过统计指标从学习到的节点嵌入中估计类别分布,从而构建一个条件生成器来合成多样化的少数类节点,并使用一个同时执行判别和分类的判别器。
然而,现有的节点生成方法通常仅基于单个节点和边的低阶结构来学习初始节点表示,而忽略了网络内的高阶关系模式。
最近在社区检测[36]中的研究表明,高阶关系模式可以捕获超出成对关系的更丰富的结构依赖性。然而,在一般不平衡的情景中,由于数据稀缺,仅依赖低阶连接性时,少数类的独特交叉模式和连接结构往往无法得到充分捕获。此外,标准的生成框架(如变分自编码器)通常模拟低阶结构,并使用由多数类模式主导的共享解码器,而少数类的判别信号往往不足。在极端情况下,当少数类节点的数量极少时,这些限制可能导致生成样本的质量显著下降,从而导致分类性能大幅下降。
为了解决这些问题,我们提出了MMFReGen,这是一个多主题融合节点表示生成框架,用于生成多样化和高质量的少数类节点,以解决类别不平衡的节点分类问题。具体来说,我们超越了低阶结构(即直接节点邻接或1跳连接),引入了主题来捕获高阶结构信息(即多跳连接模式或主题级依赖性)。这些主题是作为复杂网络基本构建块的小而有意义的子图模式。我们首先构建一个高阶跨主题邻接矩阵,整合多个主题及其交互作用,编码丰富的更高阶连接模式和跨模式依赖性。然后,利用这些信息通过基于主题的加权聚合来细化来自预训练分类器的节点表示,从而获得更具表现力和鲁棒性的节点表示。在这些增强的表示基础上,MMFReGen使用具有类别意识的变分自编码器(VAE)来模拟特定类别的潜在分布并合成少数类节点。编码器和多个特定类别的解码器共同重建增强的节点表示和跨主题关系,确保潜在空间捕获不同类别的独特语义结构。训练后,具有类别意识的VAE通过从先验分布中采样并用相应的特定类别解码器解码来生成少数类的新节点。最后,将这些合成节点及其分配的伪标签整合到原始图中,形成一个增强图。然后使用这个增强图来微调预训练的分类器,减少对多数类的偏见,并有效减轻类别不平衡。
我们总结这项工作的主要贡献如下:
  • •
    构建了一个高阶跨主题邻接矩阵,整合了多个主题及其交互作用,使得能够建模多样化的更高阶连接模式和跨模式依赖性,从而增强了节点表示的表现力和鲁棒性。
  • •
    我们设计了一个具有共享编码器和多个特定类别解码器的具有类别意识的VAE,共同重建增强的节点表示和跨主题关系,确保潜在变量捕获更丰富的语义结构,并允许准确生成受类别条件影响的少数类节点。
  • •
    广泛的实验验证了MMFReGen在解决类别不平衡节点分类问题上的有效性,在基准数据集上显著优于基线方法。

章节片段

类别不平衡的节点分类

解决节点级别类别不平衡的现有方法可以分为两大类:数据级和算法级方法[20]。数据级方法修改训练数据分布以平衡类别,例如对少数类进行过采样[24]、对多数类进行欠采样[15]或混合策略[28]。代表性的数据级方法GraphSMOTE[43]构建了一个嵌入空间,捕获节点相似性,并通过插值生成合成少数类节点

方法

在本节中,我们将详细阐述所提出的MMFReGen模型。MMFReGen的框架如图1所示,包含三个模块:(1)跨主题交互增强节点表示,(2)基于类别意识的VAE生成少数类节点,(3)分类模型微调。跨主题交互增强节点表示模块利用主题在节点之间建立更高阶的关系,增强节点表示的语义表现力

实验

在本节中,我们进行了广泛的实验来证明我们的MMFReGen在解决类别不平衡节点分类问题上的优越性。设计了不同的实验来回答以下问题:
  • •
    RQ1:MMFReGen的性能与现有的SOTA方法在类别不平衡节点分类任务上的表现如何?
  • •
    RQ2:不同模块如何影响MMFReGen的性能?
  • •
    RQ3:MMFReGen的性能如何随着不平衡程度的变化而变化

结论

在这项研究中,我们提出了MMFReGen,这是一个多主题融合表示生成框架,用于生成多样化和高质量的少数类节点,以解决类别不平衡的节点分类问题。构建了一个高阶跨主题邻接矩阵来捕获复杂的连接模式,然后通过基于主题的聚合来细化节点表示。利用这些增强的表示,一个具有类别意识的VAE模型特定类别的分布来生成合成节点

未来工作

我们未来的研究将集中在三个方面。首先,跨主题交互矩阵的计算复杂性' role="presentation">是节点数量的立方函数,这阻碍了其在大规模图上的可扩展性。为了解决这个问题,我们计划探索基于一致加权采样(CWS)的近似策略,以高效估计主题交互作用,同时显著降低计算开销。其次,我们打算探索自适应主题选择策略,以更好地处理图

CRediT作者贡献声明

郑家硕:写作——审阅与编辑,写作——原始草稿,可视化,验证,监督,软件,资源,项目管理,方法论,调查,资金获取,形式分析,数据管理,概念化。蒲洪山:写作——审阅与编辑,写作——原始草稿,可视化,验证,监督,软件,资源,项目管理,方法论,调查,资金获取,形式分析,数据管理,

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
刘叶于2016年在中国北京交通大学获得学士学位,2019年在香港浸会大学获得博士学位。她目前是华南理工大学未来技术学院的副教授。2019年至2021年,她在香港大学担任博士后研究员。她的主要研究兴趣包括机器学习和生物信息学。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号