FSC-MAE:特征结构协同掩码自编码器

《Neurocomputing》:FSC-MAE: Feature structure coordinated mask autoencoder

【字体: 大 中 小 】 时间:2026年05月19日 来源:Neurocomputing 6.5

编辑推荐:

  掩码图自编码器(Masked Graph Autoencoders,MAEs)已成为一种新型自监督学习范式,其通过重构被掩码的图信息来学习节点表征。节点特征与结构特征在不同层次编码语义信息,因此特征融合与协同学习对构建有效表征至关重要。然而,现有多数方法采用单

  
掩码图自编码器(Masked Graph Autoencoders,MAEs)已成为一种新型自监督学习范式,其通过重构被掩码的图信息来学习节点表征。节点特征与结构特征在不同层次编码语义信息,因此特征融合与协同学习对构建有效表征至关重要。然而,现有多数方法采用单视图掩码策略,仅对节点特征或图拓扑进行掩码,未能充分挖掘节点属性与结构信息间的协同关系。此外,当前方法缺乏对节点深层上下文信息的有效建模。为解决上述局限,研究人员提出特征-结构协同掩码图自编码器(Feature-Structure Collaborative Masked Graph Autoencoder,FSC-MAE)。FSC-MAE采用协同掩码策略,同时对节点特征与边连接进行掩码,形成具有联合特征-结构信息损失的自我监督学习框架。此外,研究人员设计了一种特征-结构互补偿机制,实现双向互补学习并捕获多跳邻域的深层语义关系,有效克服了传统方法在协同建模与上下文感知方面的不足。在多个基准数据集上的大量实验表明,FSC-MAE在链接预测与节点分类任务上均取得显著性能提升,验证了所提协同掩码策略的有效性。
该研究针对现有掩码图自编码器(Masked Graph Autoencoders,MAEs)在图自监督学习中的局限展开。研究背景源于掩码建模在自然语言处理与计算机视觉领域的成功,图自监督学习通过掩码部分图信息(节点特征或边)并重构,以无外部标签方式学习数据内在模式。但主流MAE多采用单视图掩码策略:特征掩码法(如GraphMAE)随机掩码节点特征,依赖完整拓扑易导致模型过度依赖局部邻域聚合;结构掩码法(如S2GAE)随机掩码边,依赖完整节点特征易导致模型过度依赖节点属性相似性。这种单视图掩码破坏了图数据的固有完整性——真实图中节点特征与拓扑紧密耦合,单一视图缺失使模型难以利用另一完整视图推理,降低了不完备或含噪图的处理鲁棒性;同时现有方法侧重局部信息恢复,缺乏多跳邻域特征聚合与深层上下文建模能力,限制了全局结构模式的捕获。为此,研究人员开展特征-结构协同掩码图自编码器(FSC-MAE)研究,旨在突破单视图局限,实现特征与结构的深度协同学习。
作者采用的关键技术方法包括:1. 协同掩码模块,同时对原始图的节点特征与拓扑边进行掩码,构建双信息损失的自监督环境;2. 特征-结构互补偿机制,通过特征重构解码器与上下文预测解码器实现双向补偿——结构到特征的补偿利用掩码特征时的拓扑信息预测聚合邻域特征,特征到结构的补偿利用掩码边时的节点特征相似性预测多跳邻域深层语义关系;3. 在11个基准数据集上验证性能,涵盖节点分类任务(Cora、CiteSeer、PubMed、Amazon Photo、Amazon Computers、CS、Arxiv)与链接预测任务的多领域数据集。
研究结果分为以下部分:
掩码图自编码器发展脉络:早期图自编码器(Graph Autoencoders,GAE)与变分图自编码器(Variational Graph Autoencoders,VGAE)仅重构邻接矩阵,因缺乏掩码机制未充分释放潜力;受跨领域掩码建模启发,现有MAE分为特征掩码与结构掩码两类,虽在节点分类、链接预测等下游任务中优于传统图对比学习,但仍受限于单视图缺陷。
问题表述:针对属性图G=(V,E,X)(V为节点集,E为边集,X为节点特征矩阵),目标为学习编码器f:V→Rd(d为嵌入维度)与解码器集合{gi}i=1k(k为解码器总数),通过重构掩码图信息获取鲁棒低维节点表征。
方法框架:FSC-MAE由协同掩码模块、编码器、双解码器构成。预训练阶段同步掩码节点特征与拓扑,迫使模型在双信息缺失下捕获深层协同关系;特征重构解码器基于拓扑信息恢复掩码特征,上下文预测解码器基于节点特征推断掩码边的多跳语义关联。
实验设置:节点分类任务覆盖7个数据集,链接预测任务覆盖3个标准引文数据集,对比基线包括传统GAE、VGAE及主流MAE方法,评估指标采用准确率与AUC值。
理论意义:从方法论层面推进图自监督学习范式,弥补单视角掩码对节点属性与拓扑内在依赖关系的建模不足,通过双信息损失环境增强模型对不完备图数据的鲁棒性。
结论:FSC-MAE通过协同掩码与双向补偿机制,有效融合特征与结构信息,解决了单视图掩码的策略局限与深层上下文建模缺失问题。实验证明其在节点分类与链接预测任务上的性能提升,验证了协同掩码策略的有效性。
讨论与结论翻译:本研究针对现有掩码图自编码器依赖单视图掩码、忽视节点特征与结构拓扑协同作用的局限,以及侧重局部信息恢复而忽略深层节点级上下文语义建模的问题,提出特征-结构协同掩码自编码器(FSC-MAE)。该框架通过协同掩码模块独立掩码节点特征与拓扑,结合特征-结构互补偿机制实现双向学习,最终学习到融合深层上下文信息与特征-结构协同的统一表征。研究证实,FSC-MAE在11个基准数据集上的性能优于现有方法,为图自监督学习提供了更有效的协同建模路径,发表于《Neurocomputing》。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号