《NEOTROPICAL BIOLOGY AND CONSERVATION》:Graph Contrastive Learning with Virtual Nodes for Few-Shot Semi-Supervised Classification
编辑推荐:
本文提出了一种基于虚拟节点的对比学习方法,用于解决少样本半监督图分类中的正样本不足和监督信号薄弱问题。通过预训练编码器获取高置信度伪标签,并引入标签引导的虚拟节点连接不同子类节点,增强跨类特征共享。实验表明该方法在六个基准数据集上平均性能提升2.06%。
作者:傅扬庚、刘攀、徐祖豪、林宇曦、唐莉
单位:福建大学计算机与数据科学学院,中国福州,350116
摘要
对比学习在图少样本半监督学习(GFSSL)中展现出了强大的潜力,因为它能够利用有限的标注数据。然而,其性能常常受到两个关键问题的阻碍:监督信号不足以及对比样本不平衡,尤其是正样本的稀缺。这些问题可能导致表示崩溃,即锚节点仅与特定子类的特征对齐。为了克服这些限制,我们提出了一种新的GFSSL框架,该框架在监督对比学习范式中引入了基于标签的虚拟节点。具体来说,我们首先预训练一个图编码器,从局部邻域中挖掘高置信度的伪标签,从而用可靠的伪标签补充稀缺的监督信息。然后,我们引入基于标签的虚拟节点,这些节点作为类级代理,聚合不同子类的特征。这些虚拟节点被整合到图中,以连接语义相似的节点,促进跨子类的特征传播。此外,我们通过将虚拟节点作为正样本纳入对比学习中,增加了正样本的数量,为锚节点提供来自其他子类的更丰富特征,有效防止节点塌陷为单一子类。综合实验表明,我们的模型在六个数据集上的平均性能比最佳基线方法提高了2.06%,凸显了我们方法的有效性。
引言
图在我们生活中无处不在,出现在社交网络(Alemany等人,2022年;Sharma等人,2024年)、引用网络(McLaren和Bruner,2022年)、蛋白质网络(Szk?arczyk等人,2021年)、交通网络(Zhang等人,2022年)等中。图表示学习越来越受到关注,图神经网络(GNNs)作为节点级任务的强大编码器而兴起。尽管GNNs在节点分类等任务中取得了成功,但大多数GNNs(例如GCN、GAT)仍然严重依赖大量标注数据。然而,在实际场景中获取足够的标注节点往往成本高昂或不可行。为了解决这一挑战,最近的研究探索了基于图的少样本半监督学习(GFSSL)方法,该方法结合了半监督学习和少样本学习的原理,以应对每个类别的极端标签稀疏问题。这种方法专注于在每个类别只有少量标注节点的情况下训练模型,同时利用大量的未标注节点(Rizve等人,2021年;Zhu,2005年),使其非常适合标注成本较高的现实世界场景。然而,在这种条件下实现有竞争力的性能仍然是图学习中的一个基本且具有挑战性的问题。
我们专注于GFSSL环境下的节点分类任务。早期的方法主要依赖于基于标签的传播(Chien等人,2020年;Gasteiger等人,2018年),根据已知标签和图结构为未标注节点分配伪标签。尽管高置信度的伪标签有助于扩展监督空间(Guo等人,2021年;Jiang和Bai,2024年;Wu等人,2024年),但仅依赖局部聚合往往缺乏确保标签可靠性的语义和结构上下文。为了解决这些限制,对比学习在GFSSL中成为一个有前景的方向。通过构建和优化正样本和负样本对,它鼓励语义相近的节点具有相似的表示,而无关节点则具有不同的表示。多项研究(Lu等人,2023年;Peng等人,2024年)整合了监督和无监督的对比损失。例如,CG3(He等人,2020年)结合了全局-局部对比视图来捕获与类别无关的特征,同时通过监督对比目标细化类内子结构,有效增强了图在低标签条件下的表示学习。
尽管对比学习前景广阔,但在GFSSL环境中仍面临显著挑战。如图1所示,一些对比方法在标注样本数量减少时性能显著下降。其根本原因可以归结为以下几个方面:对于无监督对比学习,尽管它在完全无监督的环境中表现出色,但在GFSSL中标签的稀缺导致有效的微调缺乏足够的监督信号,常常导致在有限的训练数据上过拟合。对于监督对比学习,尽管标签信息被明确用于指导表示学习,但由于正样本和负样本对之间的不平衡,性能仍可能下降。特别是正样本的稀缺可能导致锚节点塌陷为特定子类的表示,阻碍了整个类别分布的泛化。
为了解决上述问题,我们提出了基于虚拟节点的图对比学习用于少样本半监督分类(GCVN)。首先,我们通过预训练一个编码器来获取高质量的节点表示和高置信度的伪标签,该编码器全面整合了局部邻域信息和全局图结构特征。然后,我们通过添加与标记节点相似的邻居节点来扩展训练集,以防止在标注稀缺的GFSSL中过拟合,前提是这些邻居节点在预训练期间已经达到了足够的收敛。此外,我们引入了虚拟节点,这些节点聚合了所有子类节点的特征,连接潜在的类内节点,通过优化图结构防止子类特定的塌陷,并实现跨子类的特征共享。为了进一步增强子类之间的特征共享,特别是对于那些难以捕获超出其局部子类特征的节点,我们在增加锚节点的正样本数量的同时结合了监督对比学习。这种策略增强了子类级特征的获取,并提高了节点表示的区分能力。
本文的贡献总结如下:
•我们通过基于与标记节点的相似性选择邻居节点来扩展训练集,从而解决了GFSSL中的标签稀缺问题。
•我们提出了一种拓扑增强策略,通过虚拟节点连接潜在的类内节点,并结合监督对比学习,同时增加锚节点的正样本数量,从而促进不同子类之间的特征共享。
•我们在广泛使用的图基准测试上进行了大量实验,以评估我们模型的有效性。结果表明,我们的模型在多种不同设置中优于之前的方法。
本文的其余部分组织如下:第2节回顾了GFSSL和图对比学习的相关工作。第3节介绍了基础知识,包括图的基础知识、GCNs和正式问题定义。第4节介绍了提出的GCVN框架及其设计理念。第5节报告了实验结果和分析。第6节总结了本文并讨论了未来的研究方向。
节选内容
图少样本半监督学习
GFSSL的主要方法通常依赖于标签传播方法。这些方法(Li等人,2023b;Hu等人,2021年)通过基于现有标记节点和图结构为未标注节点分配伪标签来进行分类。然而,在少样本场景中,当标签率极低时,传统的拉普拉斯标签传播方法可能表现不佳。为了应对标签可用性有限的性能下降问题,CGPN(Wan等人,2021b)改进了现有的标签传播方法
基础知识
在本节中,我们介绍了图的基本定义,总结了图卷积网络(GCNs),并介绍了少样本半监督节点分类的一般过程。
基于虚拟节点的图对比学习用于少样本半监督分类
本节全面介绍了GCVN,涵盖了其工作流程和核心模块。
实验
在本节中,我们对提出的GCVN进行了全面评估。所有实验都在配备了单个GeForce RTX 4090 GPU(24 GB)和第13代Intel(R) Core(TM) i5-13600K处理器的Ubuntu系统上进行。实现基于PyTorch(Paszke等人,2019年)和Deep Graph Library(Wang等人,2019年),模型使用Adam优化器(Kingma和Ba,2015年)进行了优化。
数据集我们在六个广泛使用的少样本基准数据集上评估了我们的模型
结论
在本文中,我们研究了用于少样本半监督节点分类的对比学习,旨在改善在标签稀缺和监督有限条件下的表示学习。为此,我们提出了GCVN,它引入了虚拟节点来丰富图拓扑并更好地捕获细粒度的子类特征。为了缓解标注数据的短缺,我们在训练过程中进一步结合了标记节点的邻居节点,以扩展有效的训练范围
CRediT作者贡献声明
傅扬庚:撰写 – 审稿与编辑、项目管理、方法论、概念化。刘攀:撰写 – 审稿与编辑、可视化、验证、形式分析、概念化。徐祖豪:撰写 – 审稿与编辑、初稿撰写、软件开发、方法论、研究、形式分析。林宇曦:撰写 – 审稿与编辑、可视化、验证、方法论、研究。唐莉:撰写 – 审稿与编辑、监督、方法论、研究、形式分析。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本研究得到了中国福建省校际合作项目(2023H6008)和中国国家自然科学基金(12271098)的支持。