跨图免调优GNN提示框架

《Neural Networks》:A cross-graph tuning-free GNN prompting framework

【字体: 大 中 小 】 时间:2026年08月12日 来源:Neural Networks 7.2

编辑推荐:

  图神经网络提示(GNN prompting)旨在调整模型以适应跨任务和跨图,而无需大量重新训练。然而,大多数现有图提示方法仍然需要任务特定的参数更新,并面临跨图泛化的问题,限制了其性能并削弱了提示的核心承诺。在这项工作中,研究人员引入了一个跨图免调优提示框架(

  
图神经网络提示(GNN prompting)旨在调整模型以适应跨任务和跨图,而无需大量重新训练。然而,大多数现有图提示方法仍然需要任务特定的参数更新,并面临跨图泛化的问题,限制了其性能并削弱了提示的核心承诺。在这项工作中,研究人员引入了一个跨图免调优提示框架(Cross-graph Tuning-free Prompting Framework, CTP),该框架支持同质图和异质图,可以直接部署到未见过的图上而无需进一步参数调优,从而实现了一个即插即用的图神经网络(GNN)推理引擎。在少样本(few-shot)预测任务上的大量实验表明,与最先进方法(SOTAs)相比,CTP实现了平均30.8%的准确率提升和最大54%的提升,证实了其有效性,并为图提示学习(graph prompt learning)提供了新的视角。
### 研究背景与问题

图神经网络(Graph Neural Networks, GNNs)在社交网络、知识图谱、生物系统和推荐系统等领域展现出强大的关系建模能力。然而,其实际部署仍受限于以下问题:多数GNN在特定图设置下训练,模型无法有效迁移到结构、语义甚至图类型截然不同的新图上;现有方法依赖监督信号或任务特定标签,导致在标签稀缺场景下可扩展性差;即便迁移到新图,也常需额外微调,带来高昂计算成本。为解决这些局限,主流范式包括预训练-微调(pre-train fine-tune)和提示学习(prompt learning)。预训练-微调仍需要更新任务特定参数,而现有的图提示方法虽冻结了主干网络,却引入了可训练的提示令牌或模块,仍需下游参数优化,未能实现真正的即插即用(plug-and-play)。此外,多数方法在相同图内评估,缺乏跨图归纳泛化能力,且仅支持单一图类型(如仅同质图或仅知识图谱),无法统一处理多种图结构。

### 研究目标与意义

针对上述问题,研究人员提出跨图免调优提示框架(Cross-graph Tuning-free Prompting Framework, CTP),旨在实现:在源图上自监督预训练一次后,直接部署到未见过的下游图,无需任何参数更新,即可执行少样本(few-shot)节点分类和链接预测任务,且同时支持同质图和异质图。该研究填补了图提示学习在免调优、自监督、跨图归纳及多图类型统一支持方面的空白,为图学习提供了更实用的部署方案。

### 关键技术方法

CTP包含三个核心组件,均在预训练阶段优化,推理时无需参数调整:

1. **代表性示例与查询收集**:通过自监督GNN(如GraphSAGE)生成节点嵌入,结合随机游走目标函数捕捉高阶结构信息。对嵌入进行K-Means聚类(K取较大值),选取聚类中心作为候选中心;同时随机补充节点,构成中心集(centroid set)。每个中心提取其h跳邻域,视为一个伪类(pseudo class),从中采样示例(example)和查询(query)节点,构建支持集(support set)和查询集(query set)。

2. **上下文构建与平衡增强**:为每个输入节点提取其邻域子图作为上下文图。为避免过拟合,采用增强策略:定义保护节点集(包括中心、示例、查询及部分剩余节点),仅对非保护节点应用节点丢弃和特征掩码操作。该平衡增强策略在保持结构一致性和完整性之间取得平衡,避免独立增强引入的冲突或破坏关键结构。

3. **判别式提示图学习**:构建提示图(prompt graph),其中上下文节点(示例和查询)通过GNNinit和读出函数得到初始嵌入,标签节点初始化为同类示例嵌入的平均值(平均标签初始化)。随后利用注意力机制GNNref精化所有节点嵌入。分类任务转化为查询嵌入与标签嵌入的余弦相似度比较,优化目标包括交叉熵损失(Cross-Entropy loss)和正交损失(orthogonal loss),后者防止标签嵌入坍塌,保持类间间隔。此外,采用掩码属性预测作为辅助损失(attribute prediction loss)增强学习。

样本队列来源:节点分类任务在MAG240M子集(约20M节点)上预训练,在arXiv数据集(169K节点)上评估;链接预测任务在Wiki数据集(4.8M节点)上预训练,在ConceptNet(791K节点)、FB15K-237(15K节点)和NELL(69K节点)上评估。

### 研究结果

**Exp 1 – 节点分类任务结果**:在arXiv上,CTP在3、5、10、20、40路(way)设置下均取得最佳准确率,相比次优基线PG-NM,分别提升+9.27%、+10.11%、+8.32%、+5.69%、+5.74%。尤其在40路情况下,CTP达到16.37%,而PG-NM为10.63%。所有设置下标准差低,表明稳定性强。随着类别数增加,基线性能下降更明显,CTP在挑战性场景下优势突出。

**Exp 2 – 链接预测任务结果**:在Wiki预训练后,测试于ConceptNet、FB15K-237和NELL。CTP在大多数设置下优于PG-NM、Contrastive和GraphPrompter。例如在FB15K-237的5路、10路、20路下,分别提升+3.31%、+1.55%、+3.01%;在NELL的10路、20路下提升+1.39%、+0.60%。在ConceptNet(4路)上,CTP也优于Contrastive和GraphPrompter。结果表明CTP在异质图跨图迁移中具备强泛化能力。

**Exp 3 – 消融实验**:依次移除三个优化组件(示例查询收集O1、上下文构建O2、图学习目标O3),单独或组合应用均带来性能提升,而三者联合使用(O1+O2+O3)增益最大,表明组件间协同互补。例如在3路下,PG-NM为56.82%,O1+O2+O3达66.16%。

**Exp 4 – 参数研究:λ和p**:考察正交损失权重λ和保护比例p。在0.1~0.5范围内,CTP在所有设置下均优于PG-NM,且在中度参数值(如λ=0.3、p=0.3附近)取得最佳结果,验证了平衡增强和判别式目标的有效性。

**Exp 5 – 参数研究:示例数量**:改变下游任务提供的示例数量(0~20个),CTP在所有配置下均优于PG-NM,且随任务难度增加(更多路数)差距扩大。增益在初始示例增加时显著,约7~10个示例后趋于饱和,但CTP始终稳定,表明其能从有限监督中有效利用信息。

### 总结与讨论

论文结论部分指出:CTP是首批免调优GNN提示框架之一,在单个源图上自监督预训练后,可直接应用于未见过的图,无需参数更新,实现对节点级和边级任务的无缝适应。大量实验表明,CTP在多种图类型上取得稳健性能,在准确性和稳定性上超越现有基于提示的基线。未来工作将扩展至图级别和动态图任务。该研究为图提示学习提供了新的视角,验证了免调优、自监督、跨图归纳框架的可行性,显著降低了实际部署成本,具有良好的应用前景。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号