迈向更实用的自上而下联邦化的图神经网络
《Pattern Recognition Letters》:Towards More Practical Vertically Federated Graph Neural Networks
【字体:
大
中
小
】
时间:2026年04月08日
来源:Pattern Recognition Letters 3.3
编辑推荐:
垂直联邦图学习中异构关系下的隐私保护框架,提出结构信息提取器、语义聚合器和全局伪图生成器三阶段方法,通过加密协议和对比学习解决结构非-IID和负迁移问题,在Cora等数据集上验证有效性。
潘成璐|吴青彪
浙江大学数学科学学院,中国杭州,310027
摘要
图在表示现实世界中的身份和关系方面具有独特的优势,因此受到了广泛关注,这也促进了图神经网络(GNN)的研究。在实践中,由于隐私问题,不同的数据持有者可能会隔离特征和完整的结构信息,导致GNN在每个数据持有者上的性能不佳。联邦学习(FL)被提出作为一种有前景的技术来解决这个问题。它允许在不收集数据持有者隐私信息的情况下训练共享模型。然而,图中存在一种非独立同分布(non-IID)的特性,这显著降低了FL框架的性能,这种现象被称为链接类型异质性。为了解决这个问题,我们提出了一种更实用的框架,用于在垂直联邦环境中训练图神经网络,在这种环境中,每个客户端拥有具有不同关系的本地图数据,但共享大部分节点。具体来说,整个训练过程分为两部分:首先考虑数据隐私,将与数据相关的计算过程保留在每个数据持有者本地;然后从全局角度,我们捕获具有独特图关系的节点的语义属性。最后,在服务器上构建一个伪图,并将其分发给客户端以补充本地图结构。我们通过不同的设置进行了实验,结果证明了我们框架的有效性。
引言
图神经网络(GNN)通过捕捉结构和特征依赖性有效地学习节点表示[1], [2], [3], [4]。然而,在现实世界场景中,图通常分布在具有隐私敏感性的实体(例如银行、电子商务平台)之间,这限制了GNN模拟全局模式的能力。联邦学习(FL)通过允许在不共享原始数据的情况下进行协作模型训练来缓解这一问题[5]。现有的FL-GNN研究主要关注图内设置,分为水平类型(客户端持有不相连的子图,缺少跨客户端链接)[6]或垂直类型(客户端共享对齐的节点,但特征或边是异构的)[7]。对于垂直设置,VFGNN[8]通过分割GNN计算来保护隐私,而FedGL[9]利用从聚合预测生成的伪图来增强本地模型。
然而,现实世界中还存在一种非常常见的场景,与现有研究存在相当大的差距。现有方法主要关注水平划分的 homogeneous 图,忽略了实际中垂直划分的场景,其中对齐的节点在跨域之间具有异构的语义关系。
与假设关系同质的VFGNN[8]和FedGL[9]不同,我们的工作解决了关系类型异质性问题,即对齐的节点表现出根本不同的边语义(例如银行交易与社交互动)。尽管这种实际场景在跨平台应用中很普遍,但尚未得到充分探索。为了弥合这一差距,我们引入了一种专门为这种实际场景设计的新型联邦学习框架。在图1中,我们在垂直划分的数据设置下建立了一个保护隐私的节点分类任务,即每个数据持有者上的节点在全球范围内是对齐的。我们正式定义了一个在垂直划分图下的保护隐私的节点分类任务,其中多个实体(例如金融机构、互联网服务提供商、电信运营商)持有对齐的用户节点,但具有不同的特定于关系的边集(金融交易、社交互动、通信日志)。目标是在不共享私有结构数据(邻接矩阵/边属性)的情况下训练一个联邦GNN编码器。这种设置引入了两个关键挑战:(1)结构稀疏性:本地GNN由于邻接矩阵不完整或噪声较大而受到限制,从而限制了它们的表示能力[10];(2)异质性引起的负迁移:FL中的直接参数平均无法调和客户端之间的不同关系模式,导致模型收敛性下降。我们通过标准FL基线的比较研究实证验证了这些挑战。那么如何捕获跨域可转移的信息呢?我们提出了一个用于节点分类的垂直联邦GNN框架,整合了三个核心组件:(1)结构信息提取器,通过每个客户端的私有数据上的保护隐私的消息传递来学习本地图模式;(2)中央服务器上的语义聚合器,通过加密特征融合来对齐不同域之间的异构节点语义;以及(3)全局伪图生成器,利用跨客户端的语义相关性动态重建缺失的连接,通过伪边分布实现本地图结构的迭代细化。
为了学习全局可转移的节点表示,我们优先考虑结构不变性而不是特征对齐,因为结构模式比领域敏感的特征具有更高的跨域稳定性。每个客户端首先使用私有邻接矩阵通过本地图卷积生成本地嵌入,原始边/标签保留在本地。这些嵌入在服务器上进行安全聚合,生成全局语义,随后通过融合跨客户端的结构相关性来指导伪图的构建。这些伪图分布回客户端,补充了本地拓扑结构,并通过加密协议严格遵循联邦隐私约束,增强了消息传递的完整性。
客户端图之间的结构异质性导致了结构上的非独立同分布(non-IID)现象,其中对本地参数/嵌入的简单平均会引发负迁移。为了缓解这一点,我们引入了一个自监督的虚拟子图区分任务,使用对比学习来对齐跨域的结构语义。最后,通过反向传播将更新后的全局参数分发给客户端,确保及时进行跨客户端同步,同时保持结构隐私。
我们总结的主要贡献如下:(1)我们关注了一种在现实世界中很常见但尚未被研究的垂直联邦图场景。(2)我们提出了一种更实用的垂直联邦图神经网络学习范式,不仅可以与大多数现有的GNN结合使用,还可以捕获跨域可转移的知识。(3)在真实世界数据集上的实验结果证明了我们框架的有效性。
部分摘录
初步
基本符号说明。假设有M个客户端在FL集群中,每个客户端都有一个本地图和链接类型
概述
考虑一个数据被垂直划分的联邦图系统,由于数据隐私问题,每个客户端只能查看自己的数据。也就是说,V1=V2=?=V。在第一阶段,我们需要为每个客户端训练一个图编码器,将每个图中的节点映射到低维嵌入空间。对于有M个客户端的系统,我们分别用Gmfθm表示客户端m?∈?{1, 2, ???, M的本地图数据和本地模型。我们应用FedAvg [15]作为底层结构来聚合本地数据
实验设置
数据集。我们在Cora、Citeseer、Pubmed [14]和Amazon Computers [17]上进行评估,使用标准划分策略模拟垂直联邦场景:(1)边缘删除——客户端随机删除边缘(允许重叠);(2)非重叠分割——边缘根据比例分配给客户端。根据[18],每个数据集生成4个客户端以平衡图的稀疏性和计算可行性。对于大规模数据集,我们采用
相关工作
联邦图学习(FGL)。自联邦学习(FL)作为一种分布式训练范式提出以来,受到了越来越多的关注,在这种范式中,模型参数可以在不共享不同数据持有者数据的情况下进行协作训练。联邦平均(FedAvg)[15]作为传统机器学习问题的第一个框架,展示了FL在欧几里得数据(如语言和图像)上的应用,促进了后续的研究[20]。
结论
本研究解决了在垂直联邦图系统中节点分类的问题,其中节点在全局范围内是对齐的,但不同客户端之间的拓扑结构和链接类型不同。我们提出了一个保护隐私的框架,该框架将原始结构和特征保留在本地,同时使用服务器端的自监督方案来提取可转移的结构和语义模式,避免了在结构非独立同分布(non-IID)情况下的简单参数平均方法。实证结果表明,这种方法能够带来一致的改进
CRediT作者贡献声明
潘成璐:形式分析、方法论、写作——原始草稿。吴青彪:资金获取、监督、写作——审阅和编辑。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所述的工作。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号