当噪声标签遭遇图上的类别不平衡：一种结合大语言模型与伪标签的图增强方法

《Knowledge-Based Systems》：When noisy labels meet class imbalance on graphs: A graph augmentation method with LLM and pseudo label

　　

摘要

类别不平衡的图节点分类是一个具有实际应用价值但研究尚不充分的问题。尽管近期已有研究尝试解决这一问题，但它们通常假设在处理类别不平衡图时标签是干净且可靠的。这一假设往往与真实世界图的特征相悖，因为现实中的图标签经常包含噪声。鉴于这一差距，本文系统性地研究了含噪声标签的类别不平衡图的鲁棒节点分类问题。我们提出了GraphALP，一种基于大语言模型（LLM）和伪标签技术的图增强框架。具体而言，我们设计了一种基于LLM的过采样方法，以生成合成少数类节点，从而产生标签准确的少数类节点以缓解类别不平衡。基于类别平衡后的图，我们开发了一种动态加权伪标签方法，以获取高置信度伪标签来降低标签噪声比率。此外，我们实现了一种二次LLM引导的过采样机制，以缓解伪标签可能导致的类别分布偏移问题。实验结果表明，GraphALP在含噪声标签的类别不平衡图上显著优于最先进的方法。源代码可在以下地址获取：https://github.com/wangrucong123/GraphALP.git。

引言

由节点及其边组成的图在现实世界中无处不在，例如知识图谱[1]、推荐网络[2]和引用网络[3]。在图学习范式[4]下，节点分类作为一项基本的图分析任务，其独特挑战激发了众多算法的进步。然而，该任务通常面临类别不平衡的挑战，即多数类节点主导模型训练，导致对少数类节点产生偏见[5]。例如，在虚假账户检测中，合法用户占主导地位（$>99\text{\%}$），而机器人账户极为罕见（$<1\text{\%}$），导致模型无法检测欺诈活动[6]。

现有的关于解决类别不平衡图的研究可以分为两类方法：基于模型的方法和基于数据的方法[7]。基于模型的方法通过算法优化模型对少数类节点的关注来实现类别平衡。基于数据的方法采用增强策略来增加少数类节点的数量，从而缓解图上的类别不平衡。尽管在类别不平衡节点分类方面已取得显著进展，但现有方法依赖于不切实际的标签可靠性假设。这一假设未能考虑标签噪声问题，即由于标注错误和固有歧义导致的节点错误标记[8]。例如，在引用网络中，某些论文类别在数量上占据主导地位，同时包含被错误标记的节点。

在现实世界的图中，类别不平衡（图1(b)）和标签噪声（图1(a)）问题往往同时存在。然而，现有研究通常孤立地解决这两个问题。为弥补这一研究空白，我们首先提出了一种新颖的方法来应对含噪声标签的类别不平衡图（图1(c)）。需要强调的是，这两个问题之间的交互并非简单的叠加关系，而是涉及复杂的相互强化机制：类别不平衡放大了噪声的影响，而噪声反过来干扰了类别不平衡的处理。这种复杂的相互作用需要一个能够同时解决这两个问题的统一框架。

如图5所示，现有方法在图的标签噪声条件下性能显著下降。为了实现鲁棒的节点分类，必须开发能够同时解决图中类别不平衡和标签噪声问题的方法。

为使图学习模型适应含噪声标签的类别不平衡图，必须解决以下几个挑战。(1) 类别不平衡对噪声处理的影响。 尽管已有一些针对含噪声标签图的工作，但现有方法依赖于类别平衡假设，由于普遍存在的类别不平衡，该假设不成立。例如，基于置信度的噪声标签方法对少数类节点失效，因为它们较低的置信度分数可能被误判为噪声，从而加剧多数类偏见。(2) 标签噪声对类别不平衡处理的影响。 为类别不平衡图设计的方法未考虑噪声标签的传播，导致标签错误不断累积。总之，类别不平衡和标签噪声相互协同作用，使得孤立处理或简单组合的方法无效。因此，迫切需要提出一种新颖的方法来应对这些挑战。

大语言模型（LLMs）[9]能够生成语义丰富的文本，通过两种关键机制为解决上述两个挑战提供了有前景的方案：(1) 生成可泛化的合成节点以缓解类别不平衡，以及(2) 通过其精确的生成能力确保标签无噪声（见第5.9节）。

基于上述观察，我们提出了GraphALP，一种集成LLM和伪标签的新型图增强方法。GraphALP通过两种方式更好地平衡类别并减少标签噪声对图节点分类的影响。(1) 为缓解类别不平衡和标签噪声，GraphALP利用LLM生成合成少数类节点。我们首先通过LLM生成少数类节点文本，然后通过语言模型学习其表示，最终在图中实现平衡分布，同时为合成节点生成准确的标签。(2) 为缓解标签噪声，GraphALP引入了一种动态加权伪标签方法来获取伪标签。此外，我们实现了二次LLM引导的过采样来缓解伪标签导致的类别分布偏移。主要贡献如下：

• •
  我们聚焦于含噪声标签的类别不平衡图学习，这是该领域的一个具有挑战性的问题。
• •
  GraphALP是一种基于LLM和伪标签的新型框架，用于处理含标签噪声的类别不平衡图。它利用LLM合成少数类节点，并采用伪标签方法来提升监督效果。
• •
  我们在真实世界数据集上进行了大量实验，结果表明我们的方法优于现有的最先进方法。

章节摘要

类别不平衡图学习

类别不平衡图是指类别分布高度偏斜的图。这种偏斜的分布在训练期间使模型偏向多数类，降低了其在少数类节点上的分类性能[10]。当前研究可分为算法级和数据级方法[11]。

数据级方法[7]依赖过采样来平衡类别分布，而算法级方法[12]通过修改模型架构或来增强模型对类别不平衡的应对能力。

预备知识

在本节中，我们介绍问题定义和图神经网络。表1展示了模型中使用的符号。

方法论

如图2所示，GraphALP包含三个关键模块：(1) 基于LLM的数据增强模块，通过LLM生成合成少数类节点文本，利用语言模型(LM)将其编码为节点表示，并平衡图的类别分布。该模块通过高质量的合成节点缓解不平衡并减少标签噪声。(2) 自监督预训练模块，利用合成节点构建类别平衡的图，并以自监督方式学习表示。

数据集与评估指标

我们在PubMed[31]、Cora[32]、CiteSeer[33]和Wiki-CS[34]数据集上评估了GraphALP。表2展示了这些数据集的详细信息。对于Wiki-CS，鉴于其固有的类别不平衡，我们将每个类别的25%分配用于训练和验证，并保留50%用于测试。对于Cora、PubMed和CiteSeer，其类别分布呈现轻微不平衡，我们采用逐步不平衡设置，随机选择三个类别作为少数类并进行下采样[35]。具体而言，每个

结论

在本文中，我们提出了一种结合LLM和伪标签的新型图增强方法（名为GraphALP）。GraphALP利用LLM生成合成少数类节点，有效平衡类别分布同时降低标签噪声比率。此外，它引入了伪标签机制，通过高置信度节点扩展训练集，从而增强监督信号并进一步降低噪声比率。为应对伪标签引入的类别不平衡问题，

作者贡献声明

夏日婷：文稿撰写–审阅与编辑，文稿撰写–初稿，可视化，验证，监督，软件，资源，项目管理，方法论，调查研究，资金获取，形式化分析，数据管理，概念构思。王如聪：文稿撰写–初稿，软件，资源，方法论，调查研究，数据管理。刘雨霖：文稿撰写–审阅与编辑，可视化，验证，资源，调查研究。刘慧波：文稿撰写–审阅与编辑，资源，

利益冲突声明

作者声明不存在任何可能影响本文报告工作的已知竞争性经济利益或个人关系。

致谢

本工作得到了国家自然科学基金资助[项目编号62506177]；内蒙古自治区自然科学基金资助[项目编号2025QN06010, 2025QN06022]；以及中国内蒙古自治区地方高校改革与发展支持基金（学科建设）和一流学科专项研究项目资助[项目编号YLXKZX-ND-036]。

夏日婷|王如聪|刘雨霖|刘慧波|张岩|李安宸