《Array》:Enhanced sample selection in graph contrastive learning with attribute-structure fusion
编辑推荐:
本文聚焦图对比学习(GCL)中因正样本选择不足导致的监督信号有限、表征学习受限等问题。研究团队提出了一种新颖的“属性-结构融合采样(ASFS)”模块,该模块可即插即用,能整合到现有GCL模型中,通过综合利用节点属性和图社区结构信息,并结合深度聚类引导的自校正机制,动态筛选高质量正样本。实验表明,该模块在多个基准数据集上能有效增强模型的表征学习能力和泛化性能,为解决标签稀缺场景下的图学习难题提供了新思路。
在当今大数据时代,社交网络、蛋白质相互作用、交通路网等各种复杂系统都可以用图(Graph)这种数据结构来建模。图由节点(代表实体)和边(代表实体间的关系)构成,如何从这些图结构数据中自动学习到有价值的表征,以便进行节点分类、链接预测等下游任务,是人工智能领域一个关键而活跃的研究方向。图神经网络(GNN)一度成为主流,它通过聚合邻居信息来学习节点表征。然而,传统GNN存在依赖大量标注数据、难以捕捉高阶全局结构等局限性,在现实世界中标签稀缺的动态、异构环境中,其泛化能力受到严峻挑战。为了突破对标签的依赖,研究者们借鉴计算机视觉中的对比学习思想,发展出了图对比学习(GCL)框架。其核心思想是,通过数据增强生成图的多个“视图”,并鼓励模型将同一节点在不同视图下的表征(视为正样本对)拉近,同时将不同节点的表征(视为负样本对)推远,以此学习到鲁棒的表征。然而,现有的GCL方法在正样本选择上普遍存在局限。许多方法(如GRACE、GCA)简单地将同一节点在不同增强视图下的表征作为唯一的正样本,忽略了图中其他具有潜在语义相似性的节点;另一些方法(如NCLA)假设“同质性”(即相连节点倾向于相似),直接将邻居作为正样本,但即使在同质图中,也有20%-30%的边连接着不同类别的节点,这会引入噪声。这些简单的策略导致监督信号不足,限制了表征学习的质量,最终影响了模型在下游任务上的性能。针对这一瓶颈,由李亚芳、张浩轩、贾彩艳、祖宝凯、王洪元组成的研究团队在《Array》期刊上发表了题为“Enhanced sample selection in graph contrastive learning with attribute-structure fusion”的研究论文。他们提出了一种创新的、即插即用的“属性-结构融合采样(ASFS)”模块,旨在更精准、更全面地筛选高质量正样本,从而显著提升图对比学习的效能。
为了验证所提出的ASFS模块的有效性,研究人员主要采用了以下关键技术方法:首先,基于GCN(图卷积网络)构建基础的图编码器,以获取节点的初始嵌入表示。其次,设计了核心的ASFS模块,该模块包含两个并行的采样策略:基于属性余弦相似度的自适应阈值采样,以及结合Jaccard相似度与Adamic-Adar(AA)指数的结构相似度采样,两者融合得到候选正样本集。最后,引入了一个基于深度聚类的自校正机制,周期性地对节点嵌入进行聚类(如K-means),利用聚类产生的伪标签和高置信度节点(通过轮廓系数筛选)来过滤候选集中的假阳性样本,动态优化正样本集合。整个框架可以无缝集成到如GRACE、GCA等经典的GCL模型中进行训练和评估。
4.1. Positive sampling strategies
为了更全面地挖掘正样本,ASFS采用了双管齐下的策略。在属性相似性采样方面,该方法计算节点原始特征向量之间的余弦相似度。与简单设定全局阈值不同,ASFS为每个节点动态设定一个自适应阈值,该阈值基于该节点与其所有直接邻居的平均特征相似度计算得出。这一设计利用了同质图的基本假设,即邻居节点通常在特征上具有一定相似性。然后,将图中所有与该节点特征相似度超过其个人自适应阈值的非邻居节点,选入属性相似正样本集。在结构相似性采样方面,该方法综合利用了Jaccard相似系数和Adamic-Adar(AA)指数来衡量节点间的结构相似性。Jaccard系数衡量两节点邻居集合的重叠比例,适用于度分布均衡的图;AA指数则对低度共同邻居赋予更高权重,在异构图中更能识别有信息量的结构关系。通过一个可调权重α将二者线性组合,得到综合的结构相似性得分。最后,为每个锚节点选取结构相似性得分最高的top-ks个节点,构成结构相似正样本集。初步的正样本候选集即为上述两个集合的并集。
4.2. Clustering-guided positive samples construction
由于仅依赖原始属性和结构信息可能引入噪声和假阳性样本,ASFS进一步引入了一个聚类引导的自校正机制。该机制在训练过程中周期性地(例如每训练若干轮后)运行。具体而言,利用当前的节点嵌入表示,采用聚类算法(如K-means)对所有节点进行聚类,为每个节点分配一个伪标签。聚类质量通过轮廓系数进行评估,轮廓系数高的节点被认为其伪标签更可靠。然后,构建一个基于伪标签的“理想”正样本关系矩阵,其中共享同一伪标签的节点对被视为正样本。最后,用这个可靠的伪标签关系矩阵对初步的候选正样本集进行过滤,只保留那些伪标签一致的节点对,从而有效地剔除不一致的假阳性样本,得到最终用于对比学习训练的高质量正样本集。该过程是迭代进行的,随着模型训练和节点表征的优化,聚类结果和伪标签的可靠性不断提升,从而实现对正样本集的动态、渐进式精炼。
研究结论表明,该工作成功设计并验证了ASFS这一新颖的正样本增强模块。该模块的核心贡献在于:第一,提出了一种融合节点属性和图结构信息的双重相似性采样策略,能够从全局视角筛选出在特征空间和拓扑空间均与锚节点对齐的高质量候选正样本。第二,引入了基于深度聚类的自校正机制,能够迭代地过滤掉不可靠的候选样本,有效降低了假阳性风险。第三,ASFS被设计为一个即插即用的通用模块,可以无缝集成到现有的GCL框架(如GRACE、GCA)中,显著提升其基础性能。在六个真实世界图数据集上进行的广泛实验表明,集成了ASFS的模型变体在线性和半监督节点分类任务上, consistently且显著地超越了其基线模型。此外,在少样本学习场景下的实验也证实了ASFS在低监督信号下识别语义相似节点的鲁棒性。这些结果强有力地证明了,通过更智能、更全面的正样本选择来增强监督信号,是提升图对比学习模型表征能力的一条有效途径。
讨论部分进一步强调了本工作的意义与展望。该研究直指当前GCL方法在正样本挖掘上的核心短板,即过度依赖简单的数据增强视图内配对或局部同质性假设。ASFS通过同时利用属性和结构这两种图数据的基本模态信息,并借助自监督聚类进行校验,实现了对正样本更深入、更可靠的挖掘。这不仅为图对比学习提供了更丰富的监督信号,也促进了节点表征同时捕捉语义特征和全局拓扑结构的能力。该方法在多种类型的数据集上表现出的有效性和适应性,显示了其作为通用增强工具的潜力。未来的工作可以探索将该框架扩展到异质图、动态图等更复杂的场景,并研究更高效的聚类算法与相似性度量方法,以进一步提升模块的效率和可扩展性。总而言之,这项研究为推进自监督图表征学习的发展提供了有价值的思路和实践方案。