对AstroCLIP进行基准测试以评估其在银河系属性估算中的性能:复制性、鲁棒性和嵌入分析
作者:Riccardo Carollo, Ognjen Arandjelovi? 和 Tom Harper
《Information》:Benchmarking AstroCLIP for Galaxy Property Estimation: Reproduction, Robustness, and Embedding Analysis
Riccardo Carollo,
Ognjen Arandjelovi? and
Tom Harper
【字体:
大
中
小
】
时间:2026年04月29日
来源:Information 2.9
编辑推荐:
摘要 在联邦图学习中,机器去学习必须满足多层次的不可区分性要求:目标节点的删除在全球模型层面、去学习客户端的本地模型层面以及每个非目标客户端的本地模型层面都必须无法被检测到。即使是通过基于置信度的审计的近似去学习方法,仍可能在其中一个或多个层面留下几何痕迹
摘要 在联邦图学习中,机器去学习必须满足多层次的不可区分性要求:目标节点的删除在全球模型层面、去学习客户端的本地模型层面以及每个非目标客户端的本地模型层面都必须无法被检测到。即使是通过基于置信度的审计的近似去学习方法,仍可能在其中一个或多个层面留下几何痕迹(即嵌入漂移)。我们对这一要求进行了形式化定义,引入了一个五模型威胁分类系统,并将Hub–Ripple嵌入漂移审计扩展到了全局、本地和跨客户端层面。在涵盖五个图基准测试的31,900次试验中,我们对五种联邦去学习方法和四种补充性消融实验(K值、跨边处理、控制采样和DP-SGD防御)进行了测试,发现所有近似方法都无法满足以下多层次要求:置信度-嵌入差距仍然存在(与集中式方法相比);跨客户端泄露与共享的跨边数量相关;并且联邦参与者在性能上优于白盒外部审计器(AUC值)。在全局层面,客户端级别的去学习比节点级别的去学习更容易被检测到(AUC值)。这一结果与“更粗略的删除方式应该提供更强隐私”的直觉相矛盾。FedRetrain方法满足了全局和本地的不可区分性要求,但由于重新聚合操作本身会扰动全局参数向量,因此仍存在跨客户端的泄露(跨均值L2 AUC值)。没有一种评估方法能够实现完全的多层次不可区分性。补充性研究表明,这是FedAvg方法的一个固有特性;DP-SGD方法仅通过降低准确性来减少跨L2 AUC值;而类似FedSage的邻居共享机制并未改变泄露情况。多层次的几何审计是任何声称遵循可验证隐私规范的方法必须满足的必要评估标准。
1. 引言
欧盟的《通用数据保护条例》(GDPR)[1]以及世界各地的类似立法赋予个人请求从训练好的机器学习模型中删除其个人数据的权利,这一能力被称为机器去学习[2,3]。从零开始在缩减的数据集上重新训练模型可以确保数据的彻底删除,但对于经过多个训练周期的大型模型来说,这在计算上是不可行的。近似去学习方法(包括基于梯度的扰动[4]、影响函数近似[5]和基于分区的认证删除[6])通过修改训练后的参数而非从头开始重新训练,实现了数量级的加速。图神经网络(GNNs)在去学习方面提出了独特的挑战。在社交网络、引用图或知识图上训练的GNN通过迭代消息传递来编码关系依赖性[7];任何节点的表示都受到其多跳邻居表示的影响。当一个目标节点被删除时,其删除信号会通过这种邻域结构向外传播,影响到那些从未直接参与被删除记录的节点。近似方法有效地抑制了输出层面的置信度信号,将成员推理攻击(MIA)的AUC值降低到大约0.5,这似乎表明数据已经被完全擦除。然而,几何检查揭示了不同的情况——删除点附近的中心节点的嵌入漂移留下了基于置信度评估无法察觉的持久残留痕迹,我们将其称为“置信度-嵌入差距”(Gap)。
在实践中,敏感的图数据越来越多地由多个组织而不是单一机构持有。联邦学习[8]通过FedAvg协议解决了这一问题:每个客户端在其自己的子图上进行本地训练,并将参数上传到服务器,服务器计算出加权平均值并广播更新后的全局模型,而不需要交换原始数据。当删除请求到达客户端k时,系统面临的问题比集中式情况要复杂得多。去学习操作只修改了客户端k的本地模型;更新后的模型与其他未修改的客户端模型重新聚合。这种平均操作稀释了全局模型中的删除信号,看似满足了不可区分性要求。我们称这种表面上的安全性为“联邦幻觉”(FedIllusion);FedAvg并没有消除删除信号,而是通过参数共享渠道将其从删除点重新分配给联邦中的每一个参与者。随后,每个非目标客户端都会下载重新聚合后的全局参数,将这些删除痕迹嵌入到他们的本地微调梯度中。即使一个被删除的节点从未存在于非目标客户端上,仅通过参数共享机制,它也会在那些客户端的本地模型中留下几何印记。这一观察揭示了联邦去学习研究中的一个定义性漏洞——该领域尚未明确指出删除操作对于谁来说必须是不可检测的。仅审计全局模型只能回答一个观察者的问题,而K个独立的泄露渠道则未被检查。删除事件发生后,系统中包含了三个不同的模型:服务器上的全局模型、去学习客户端的本地模型以及非目标客户端的本地模型,每个模型都构成了一个独立的审计维度。在某一层面满足不可区分性的方法可能在其他层面失败。我们将这一要求形式化为“多层次不可区分性要求”——成功的联邦去学习需要同时在全球、本地和跨客户端层面都无法检测到删除操作。我们通过30,500次实证试验研究了这一要求,并得出了五个发现:
1. 在FedAvg下,置信度-嵌入差距仍然存在,但有所缩小。FedAvg将全局置信度AUC值提高到了0.67(而在集中式设置中约为0.51),而L2 AUC值保持在0.78。差距从0.35缩小到0.12,这不是因为隐私性有所提高,而是因为平均化对置信度的稀释效果比嵌入漂移更明显。
2. 跨客户端泄露与拓扑连接性成正比。非目标客户端的L2 AUC值与共享的跨客户端边数相关性很强(皮尔逊相关系数)。与目标邻居共享少于50条边的客户端的AUC值较低;而共享超过500条边的客户端的AUC值较高。
3. 审计级别的严重性是结构决定的。没有任何一个层面在所有数据集中都始终占主导地位。跨最大值(Cross-Max)指标始终超过0.83,无论数据集或去学习方法如何,为泄露提供了一个不变的下限。
4. 联邦参与者在性能上优于白盒审计器。一个非目标参与者(TM2-Cross,AUC值)比拥有完整模型访问权限的白盒审计器(TM1,AUC值)更有效地检测到去学习事件。参与者未更改的本地模型作为一个固定参考框架,放大了来自扰动全局参数的差异信号。
5. 删除更多数据会增加可检测性。客户端级别的去学习能够实现0.81的全局L2 AUC值,高于节点级别的去学习(0.77)。将聚合权重从K个客户端重新 normalize 到个客户端会扰动更大比例的全局参数向量。
本文在五个具体方面与以往关于联邦去学习和隐私审计的工作不同:
C1. 形式化的多层次不可区分性:现有的去学习定义[2,9]将不可区分性表述为在全局模型、去学习客户端的本地模型以及所有非目标客户端之间进行单次检查。据我们所知,这是对联邦不可区分性的首次形式化。
C2. 首次系统的联邦图去学习隐私审计:之前的联邦去学习工作[10]仅评估了实用性和效率;之前的图MIA工作[11,12]是在集中式环境下进行的。我们将这些视角统一起来,并报告了首次在五种方法、五个图基准测试和五种威胁模型下进行的系统化实证审计。
C3. 量化的跨客户端泄露传播:我们建立了跨边数量与非目标L2 AUC值之间的单调关系(皮尔逊相关系数),检测阈值大约为50条共享边(第6.4节)。一项专门的消融实验比较了仅使用内部数据的训练与类似FedSage的训练(使用共享邻居特征),确认了主导的泄露渠道是通过FedAvg聚合实现的参数中介效应,而非边结构(第6.8.2节)。
C4. 两个违反直觉的发现:(i) 参与者优势——一个诚实但好奇的非目标客户端(TM2-Cross,AUC值)优于拥有完整模型访问权限的白盒外部审计器(TM1,AUC值),打破了传统的黑盒/白盒层次结构;(ii) 粒度悖论——删除整个客户端(客户端级别的去学习)在全球层面比删除单个节点更易被检测到(AUC值),这与“更粗略的删除应该提供更强隐私”的直觉相矛盾。
C5. 结合防御措施的系统性实证验证:我们进行了31,900次独立的试验,涵盖了多层次审计(30,500次试验)、K值消融(400次试验)、度匹配控制分析(100次试验)、多阈值检测率的ROC曲线(200次试验)、跨边消融(400次试验)以及DP-SGD防御评估(200次试验),所有试验都遵循Bonferroni和Holm–Bonferroni校正的统计协议(第6节)。
三个违反直觉的发现:
(i) 诚实参与者比白盒外部对手更可靠地检测到删除操作;
(ii) 删除整个客户端在全球层面比删除单个节点更易被检测到;
(iii) FedAvg的置信度稀释效应创造了隐私幻觉,而几何审计证实了这一点(置信度-嵌入差距)。
论文结构:第2节回顾了相关工作,并将我们的设置与现有技术进行了对比。第3节形式化了五个基本组成部分。第4节阐述了多层次不可区分性要求和威胁分类系统。第5节描述了多层次Hub–Ripple审计方法。第6节展示了主要结果(RQ1–RQ5)以及四项补充性研究(第6.8节),涉及K值、跨边处理、控制采样、ROC阈值和DP-SGD防御。第7节解释了研究结果并讨论了实际意义。第8节总结了本文。之前的联邦图学习系统(如FedSage、FedGraphNN)主要通过效用指标(分类准确率、链接预测AUC)进行评估,但没有考虑在去学习过程中隐私泄露的情况。我们在第6.8.2节中展示了,引入类似FedSage的邻居共享机制并不会显著改变泄露信号的强度(Cora数据集上,仅使用内部邻居时的Cross L2 AUC与使用共享邻居时的Cross L2 AUC相比),这证实了我们的仅使用内部邻居的设计能够正确隔离主要的泄露通道。
2.3. 成员推断与隐私攻击
我们调查了在一般环境和图结构中的成员推断攻击,解释了为什么在联邦去学习背景下,几何嵌入的漂移比置信度分数提供了更可靠的泄露信号。成员推断攻击[20]通过训练影子模型来判断目标记录是否存在于模型的训练集中,利用模型对成员的较高置信度来进行判断。Carlini等人[21]开发了LiRA,这是一种基于似然比的攻击方法,通过多个影子样本和假设检验实现了最先进的推断能力。在联邦环境中,Nasr等人[13]证明,被动和主动的白盒攻击仍然可以有效针对FedAvg训练的模型,表明仅靠参数平均无法防止成员推断。针对图结构的具体情况,已经研究了节点分类[11]和链接预测中的成员推断方法,这些方法利用了图神经网络(GNN)嵌入中的结构模式。Song和Raghunathan[12]指出,预训练的表示可以通过嵌入相似性泄露私有训练信息,这促使人们使用嵌入漂移作为比置信度分数更敏感的泄露信号。我们的工作将这种方法扩展到了时间相关的场景:我们测量去学习事件前后提取的嵌入之间的漂移情况,将这种漂移视为现有去学习方法未能抑制的侧信道。
据我们所知,之前没有研究对联邦图去学习过程进行多级的几何隐私审计。现有的评估仅针对全局模型进行审计,使用置信度级别的混淆度(MIA)作为主要信号。我们通过形式化级别不可区分性要求,并将Hub–Ripple嵌入漂移审计扩展到全局、本地和跨客户端三个级别,填补了这一空白。
2.4. 与以往工作的比较
我们的工作与以往的研究存在四个主要区别:
审计范围:图去学习方法(如GNNDelete[4]、GraphEraser[6]、GIF[5])仅通过应用于全局模型的单一置信度基混淆度(MIA)进行评估。这是一种针对单个观察者的单级审计。在联邦环境中,每次去学习事件都会产生不同的模型,每个模型都构成了一个独立的审计对象。我们同时审计所有级别,并指出通过全局级别审计的方法通常在本地和跨客户端级别上会失败。
审计信号:在集中式[20,21]和联邦式[13]环境中,基于置信度的混淆度(MIA)是主要的评估信号。在联邦图去学习过程中,FedAvg聚合对置信度信号的稀释作用比几何嵌入漂移更为显著(第3.6节已证实)。在基于置信度的评估中看似安全的方法,在嵌入漂移分析下仍然可以被检测到。这种差异我们称之为“置信度-嵌入差距”,这也是我们采用几何审计方法的原因。
联邦图环境:联邦去学习研究(如FedEraser[10])关注的是通用联邦学习的效果,而不是隐私泄露。联邦图学习系统(如FedSage[18]和FedGraphNN[19])则是基于分类准确率进行评估,而不是去学习是否留下了可检测的痕迹。之前没有研究将联邦训练与图特定的去学习过程以及涵盖本地和跨客户端模型的隐私审计结合起来。
威胁模型覆盖范围:之前的联邦MIA研究[13]考虑的是具有全局模型访问权的被动和主动白盒对手。我们将威胁模型分类扩展到了五种类型,包括TM2-Cross,这是一种诚实但出于好奇心的非目标参与者,它仅使用通过常规协议操作获得的全局模型来进行审计。这一视角揭示了参与者的优势——TM2-Cross的准确率(AUC)高于白盒模型TM1(AUC),因为参与者未修改的本地模型提供了一个固定的参考框架,放大了差异信号。
3. 基础知识
联邦图去学习中的隐私泄露源于图神经网络(GNN)消息传递与FedAvg参数聚合之间的相互作用。本节Clarify了这种相互作用背后的五个基本组成部分:图神经网络、联邦学习、图划分、联邦去学习,以及在集中式环境中观察到的“置信度-嵌入差距”。
3.1. 图神经网络
我们定义了本文中使用的图和GNN的相关符号。用G表示一个带有节点集V、边集E和节点特征矩阵F的属性图,其中d表示特征维度。每个节点v都与一个类别C的标签l相关联。我们用N(v)表示节点v的邻居集。
图神经网络(GNN)通过迭代消息传递来学习节点表示。在每一层l,节点v通过以下方式从其邻居那里聚合信息来更新其表示:
(1) v_new = Σ_w w_n f(v, N(v), w_n ∈ N(v))
其中v^(l-1)是节点v在层l-1的表示。一个k层的GNN因此从每个节点的k跳邻居中聚合信息。最后一层产生一个logit向量l_reg,得出预测标签l_pred。我们使用了一个具有16维隐藏表示的两层图卷积网络(GCN-2L[7]),以便观察到的效果可以归因于联邦聚合而不是架构差异。
3.2. 带有FedAvg的联邦学习
我们定义了FedAvg训练协议,该协议规定了模型参数如何在客户端之间共享,因为这是去学习痕迹传播的主要机制。我们考虑一个由K个客户端和一个中央服务器组成的联邦学习系统。每个客户端持有自己的本地数据集G_k,这在本设置中对应于全局图G的一个子图。客户端通过服务器仅交换模型参数,协作训练一个共享的GNN模型。
训练过程分为T轮通信,使用联邦平均(FedAvg)协议[8]进行:
1. 广播——服务器将当前的全局模型参数广播给所有参与客户端。
2. 本地训练——每个客户端k使用G_k初始化其本地模型,并对其进行E个时代的随机梯度下降,得到更新的本地参数l_k。
3. 上传——每个客户端将l_k传输给服务器。
4. 聚合——服务器计算新的全局模型θ = Σ_k l_k * Σ_i v^(l_k, w_i), where Σ_i表示客户端k的训练节点数量,n_k表示训练节点的总数。
在我们的实验中,除非另有说明,我们设置K=2个客户端,T=10轮通信,每个本地时代E=5,学习率为0.01。
3.3. 图划分与跨客户端边
我们定义了图划分的设置,并引入了跨边比率CR,它在第6.4节的跨客户端泄露分析中起着核心作用。将联邦学习应用于图结构化数据需要对全局图G进行划分,以便将其分配给K个客户端。划分函数f将每个节点分配给恰好一个客户端。这种划分产生了两个不相交的边子集:
- 同客户端边:E_k内部的边,连接同一个客户端内的节点。
- 跨客户端边:E_k与E_c之间的边,连接分配给不同客户端的节点。
我们定义跨边比率CR为跨越客户端边界的边的比例。这个比率在我们的跨客户端信息泄露分析中起着核心作用。
我们假设G是一个连通图,并且划分算法产生的子图是非退化的,即每个客户端至少接收k_n个节点。对于Metis(强制平衡划分大小的算法)和随机划分,这一点都是成立的。
3.4. 联邦图去学习
我们定义了本文中评估的两种去学习粒度:节点级和客户端级去除。
机器去学习要求训练好的模型表现得好像特定数据点从未成为其训练集的一部分。在联邦图环境中,去学习请求指定了要从客户端k的本地子图中移除的目标节点v。具体来说,目标是生成一个更新后的全局模型θ,使其与从不含节点v及其相关边的数据集重新训练整个联邦系统所得到的模型无法区分。
我们考虑了两种去学习粒度:
- 节点级去学习:从G_k中移除单个目标节点v及其相关边。去学习方法在客户端k本地应用,然后服务器与所有K个客户端进行R个额外的聚合轮次(默认为10轮),将更新传播到全局模型θ。
- 客户端级去学习:整个客户端k退出联邦。服务器排除客户端k并重新聚合剩余K个客户的模型。
3.5. “置信度-嵌入差距”
我们解释了为什么基于置信度的混淆度(MIA)在图去学习中低估了隐私泄露,并将这种差异定义为“置信度-嵌入差距”作为主要的衡量标准。
针对去学习的成员推断攻击(MIA)通常比较删除前后模型的输出概率。近似去学习方法能够有效抑制这些置信度级别的差异,将攻击者的AUC降低到约0.50,表明数据被完全擦除。
然而,学习表示的几何结构揭示了不同的情况。置信度分数反映了模型在决策边界上的行为;只要预测类别及其概率保持稳定,基于置信度的MIA就无法发现变化。相比之下,嵌入漂移衡量的是表示流形内部的位移。近似去学习方法可以重新调整决策边界,而不会擦除被删除节点在其邻居的隐藏表示中留下的更深层次的几何痕迹。Hub–Ripple攻击通过测量靠近被删除目标的中心枢纽节点的嵌入漂移来利用这种差异。这种信号产生的AUC值远高于0.5,揭示了置信度分数所忽略的剩余信息。我们将这种差异定义为“置信度-嵌入差距”。
在集中式环境中,这种差距达到0.35(例如GNNDelete方法的置信度AUC约为0.51,L2 AUC约为0.86)。本文研究了联邦聚合是放大还是减少了这种差距,以及它是否引入了新的泄露通道,特别是在跨客户端边界上,这些在集中式环境中是不存在的。
3.6. 为什么选择L2嵌入漂移?
传统的基于置信度的混淆度(MIA)[20]通过测量softmax置信度的变化作为攻击信号。这在集中式环境中是有效的,因为单一的去学习事件会产生可测量的置信度变化。然而,联邦图去学习的三个特性使得基于置信度的信号不可靠,这促使我们选择嵌入漂移作为主要的审计指标:
- 属性1:聚合稀释:FedAvg平均K个客户端的模型,每个模型都对全局参数向量有所贡献。置信度变化是低维的(每个类别一个标量),因此会被这种平均所压缩。我们的K消融实验(第6.8.1节)显示,全局置信度AUC从大约0.66下降到0.36,而L2 AUC仍然可以检测到。嵌入漂移是一个在高维空间中的连续几何量,不太容易受到这种一维稀释的影响。
- 属性2:隐藏层保留:置信度是在softmax之后的输出层计算的。那些扰动隐藏表示但被最终分类器抑制的删除事件对基于置信度的审计是不可见的。L2嵌入漂移在倒数第二层测量,可以捕捉到这些子分类器的扰动,这解释了跨近似联邦方法的持续存在的差距(第6.3节)。
- 属性3:参与者级别的可访问性:在联邦部署中,非目标客户端接收全局模型,但无法获取其在保留数据上的最后一层softmax行为。任何客户端都可以使用自己的本地子图和下载到的全局参数来计算嵌入漂移,这使得L2 AUC成为在TM2-Cross下的自然审计信号。相比之下,基于置信度的信号需要查询访问权限或非目标客户端可能没有的保留数据集。
在集中式图隐私研究中,已经有过几何审计的先例[11,12],其中使用嵌入相似性来进行链接推断。我们的贡献是将这种几何视角扩展到联邦多级环境中,并通过定义2将其正式地与级别不可区分性联系起来。
4. 问题表述
在集中式去学习中,隐私验证简化为单一检查——审计者检查一个模型并确定是否发生了删除。联邦图学习通过产生K个不同的模型(一个全局模型和K个本地模型)使这一点变得复杂,每个模型都可以被对手独立检查。在任何单个层级的违规都构成隐私违反,使得实现联邦不可区分性比集中式环境更加困难。
4.1. 多级不可区分性要求
我们通过扩展标准的集中式定义来形式化多级不可区分性要求,以覆盖联邦系统中的所有模型,并识别出仅在联邦环境中出现的三种失败模式。
定义1(集中式不可区分性):设L为一个学习算法,D为一个训练数据集。一种“去学习”方法如果能够满足?-中心化不可区分性,则认为该方法有效。这种不可区分性是指通过移除目标节点后生成的模型满足特定条件(4),其中新模型是在缩减的数据集上重新训练得到的,而某个指标()用于衡量模型的可区分性。在实践中,这种可区分性是通过成员推理来实现的:攻击者的AUC(面积分数)为0.5表示完美的不可区分性,而AUC显著超过0.5则表明隐私已被泄露。在联邦环境中,仅根据定义1是不足以判断隐私是否被泄露的。在客户端k发生去学习事件后,系统中将包含服务器上的全局模型、该客户端自身的局部模型以及其他非目标端点的局部模型。因此,我们需要更严格的定义来衡量隐私保护情况。
定义2(联邦多层次不可区分性):一种联邦去学习方法如果满足?-联邦不可区分性,则认为该方法有效。具体来说,对于所有审计级别,都必须满足以下条件(5):
- **全局级别(Level G)**:全局模型是通过所有K个客户端在近似去学习后进行精确重新训练得到的结果。
- **局部级别(Level L)**:去学习客户端的局部模型是 ??客户端在去学习后的模型。
- **跨客户端级别(Level C)**:非目标客户端的局部模型是在下载并基于重新聚合的全局参数进行微调后得到的模型。
**均匀界限(Uniform Bound)**:原则上,每个审计级别都可以设置特定的容忍度阈值。为了简化表示,并且因为我们的实证分析关注的是是否有一个级别被违反,所以我们采用一个统一的阈值。
**与集中式不可区分性的关系**:定义1实际上是定义2的特殊情况——即单个客户端拥有所有数据,全局模型和局部模型完全相同,此时跨客户端级别的不可区分性检查是不必要的。因此,联邦不可区分性的要求比集中式不可区分性更为严格,因为它需要同时在所有审计级别上进行不可区分性检查。
**故障模式**:定义2考虑了三种在集中式环境中不存在的故障模式:
1. **全局通过、局部失败**:未经修改的局部模型集合能够充分稀释删除信号,满足不可区分性要求,但去学习客户端的局部模型仍会保留可检测的几何痕迹。
2. **全局和局部都通过、跨客户端失败**:全局模型和去学习客户端的局部模型都满足不可区分性要求,但与目标节点有跨客户端边的非目标客户端仍能检测到泄露信号。
3. **度量依赖性故障**:某种方法在基于置信度的度量下满足定义2,但在基于几何的度量下却违反该定义。
**4.2. 审计视角和结构暴露面**:我们定义了五种威胁模型,这些模型对应于观察者在联邦内部或外部可能占据的结构位置。这些模型按照它们可访问的信息量进行排序,从完全模型的可见性到仅限于预测的访问权限。这项工作的一个关键发现是,联邦去学习中的隐私泄露不一定源于攻击者的恶意意图。FedAvg协议本身通过强制性的参数聚合和重新分配,就创造了结构上的暴露风险:每个在去学习事件后下载更新后全局模型的参与者都会接收到一个编码了删除痕迹的参数向量。观察者只需比较连续的模型状态就能检测到这一事件。因此,我们定义了五种审计视角,对应于观察者在联邦内部或周围可能占据的结构位置,从完全模型访问权限到仅限于预测的访问权限。
- **TM1(完全访问)**:审计者可以访问全局模型和所有K个客户端的局部模型。
- **TM2-相同(请求客户端)**:提交删除请求的数据所有者拥有全局模型和请求客户端的局部模型,通过某种方式审计。
- **TM2-跨客户端(诚实但好奇的参与者)**:一个非目标客户端拥有两个连续的全局模型,分别对应于去学习事件发生前后的模型,这两个模型作为标准同步FedAvg广播的一部分传递给所有非目标客户端(见第3节中描述的FedAvg协议的第1步)。这种审计方式不需要客户端保留超过当前轮次的模型历史记录。即使参与者是完全诚实的,通过比较连续全局模型轮次之间的嵌入差异,也能获取到联邦架构本身提供的跨客户端泄露信号。
- **TM3(诚实但好奇的服务器)**:协调服务器仅访问全局模型,进行审计。
**5. 方法论**:我们的审计方法将Hub–Ripple成员推理攻击扩展到三个联邦级别(全局、局部和跨客户端),使用在去学习前后捕获的模型快照。我们在第5.1节描述了这一扩展,并在第5.2节介绍了量化跨客户端泄露的指标。
**6. 实验**:在30,500次试验中,我们的实验表明,所有近似联邦去学习方法都无法满足多层次不可区分性的要求:几何泄露在每个审计级别上都存在,并且会随着跨客户端的连接性传播;即使是在访问权限有限的参与者中也能被检测到。
**6.1. 研究问题**:我们围绕五个研究问题展开调查,这些问题分别探讨了多层次不可区分性要求的不同方面:
- **RQ1(联邦下的置信度-嵌入差距)**:在FedAvg聚合过程中,置信度-嵌入差距是否持续存在?其与集中式基线的对比情况如何?
- **RQ2(跨客户端泄露传播)**:去学习信息是否通过参数聚合在客户端之间传播?跨客户端边如何影响这一传播过程?
- **RQ3(审计级别严重性排序)**:在哪个审计级别(全局、局部或跨客户端)隐私泄露最为严重?
- **RQ4(威胁模型能力层次)**:具有不同访问权限的审计者在检测去学习事件的能力上如何比较?
- **RQ5(去学习粒度)**:去学习的粒度(节点级别与客户端级别)如何影响在所有审计级别上的检测能力?
**6.2. 实验设置**:我们在五个标准的图 benchmark 数据集上进行实验,这些数据集涵盖了不同的结构特性。表1总结了关键统计信息。同质性是指连接相同类别节点的边所占的比例。在不同划分方案下(如Metis划分),交叉边比例也有相应的报告。数据集之间的差异反映了图结构与Metis划分器目标之间的内在冲突。Metis旨在最小化边割,因此具有强社区结构的密集图(如Chameleon和Squirrel)会产生较低的跨边比率,而稀疏、聚类较弱的图(如CiteSeer)则难以实现均衡划分。这种变化为评估跨客户端连接性如何影响泄露程度提供了天然的实验平台。6.2.2. 联合配置:除非另有说明,所有实验都使用具有Metis划分器的客户端。我们使用FedAvg协议在通信轮次中训练一个具有16维隐藏表示的双层GCN(GCN-2L),每轮有局部时代数,并设置学习率为。在取消学习事件后,服务器会进行额外的重新聚合轮次。
### 默认配置的合理性:
三个因素促成了这些选择:
- **客户端数量**:这是联合图学习基准测试中使用范围的中位数[18,19],并且允许每次取消学习事件进行四次跨客户端审计观察,这对于统计功效来说是足够的,同时不会将每个客户端的子图大小降低到GCN训练所需的水平。我们在第6.8.1节中验证了这些定性发现也适用于其他情况。
- **Metis划分**:Metis产生具有低边割的均衡划分,从而隔离了我们感兴趣的参数介导的泄露通道。随机划分会在每个划分中引入方差,从而混淆跨边分析;我们在表1中包括了随机划分作为对比。
- **GCN-2L架构**:GCN是联合图学习中最广泛评估的架构,两层与引用基准测试中的2跳邻域深度相匹配。无论消息传递机制如何,漂移信号都在倒数第二层计算,因此我们预计这些定性发现也适用于GAT和GraphSAGE;实证验证留给未来的工作。
### 6.2.3. 取消学习方法:
我们评估了五种联合取消学习方法(其中FedGraphEraser在两种划分变体中进行了测试,总共形成了六种配置),每种方法都将集中式取消学习算法与FedAvg结合使用。所有近似方法仅在目标客户端k处应用取消学习,然后进行额外的聚合轮次以传播更新。
#### FedRetrain:
所有K个客户端从修改后的数据集(从客户端k中移除了目标节点及其相关边)重新训练它们的本地模型。然后服务器进行完整的重新聚合。这是精确的取消学习基线。
#### FedGNNDelete:
客户端k将其本地模型应用GNNDelete [4]中的基于梯度的参数修改。然后将校正后的本地模型与其余客户端的未修改模型一起在R轮额外的FedAvg轮次中进行重新聚合。
#### FedGIF:
客户端k应用影响函数近似[5]来估计并从其本地模型参数中减去的影响。校正后的本地模型在R轮中重新聚合。
#### FedGraphEraser:
客户端k对其本地子图应用基于分区的认证删除(BEKM或BLPA变体)[6]。受影响的片段在去除后重新训练,然后重新聚合得到的本地模型。
#### FedClientUnlearning:
离开的客户端k完全从联合体中排除。服务器使用重新归一化的权重重新聚合其余客户端的模型。这种方法处理客户端级别的退出请求。
### 6.2.4. 统计协议:
主要的多级审计中的每个实验配置都在100次独立试验中进行评估,每次试验的目标节点选择是随机的,使用种子。第6.8节中的补充消融实验每个配置使用50次试验,除非另有说明。我们报告所有指标的平均值和标准差。
### 多重比较校正:
所有成对比较都使用Wilcoxon秩和检验进行测试,并使用Bonferroni和Holm–Bonferroni程序进行校正[23]。校正是在比较家族内部进行的(方法级别、审计级别、威胁模型、粒度、K值、DP预算),而不是全局性的;每个家族有m次比较,Bonferroni校正后的p值为。我们总共进行了50次家族内部的成对测试(以及作为源代码发布的每个数据集的50次方法比较;详见GitHub上的数据可用性,版本标签v1.0)。表2报告了正文中提到的跨家族比较的校正后p值。表3提供了涵盖每个家族中每个测试的家族级总结,以确保没有比较被选择性报告所掩盖。
#### 表2. 带有Bonferroni校正的关键成对比较(m = 家族大小)
- *** 表示显著 <0.001,* 表示显著 <0.05,ns = 不显著。
#### 表3. 家族级Bonferroni总结,涵盖每个家族中的每个成对测试
- Sig (Bonf) 和 Sig (Holm) 分别报告每次校正后显著的测试数量。
完整的逐行CSV(总共100次测试,包括这里未总结的每个数据集的50次方法比较)随源代码一起发布在GitHub上的数据可用性链接中。最后一行的粗体标记了所有家族的总和。整个实验计划包括31,900次试验:主要的多级审计(第6.3、6.4、6.5、6.6和6.7节)以及第6.8节的四个补充消融实验中的1,400次试验。
### 6.3. RQ1:联合信任–嵌入差距
集中式近似取消学习方法已经表现出固有的几何泄露(L2 AUC ≈ 0.86,而Conf AUC ≈ 0.51)。我们将这种已建立的泄露视为追踪器;通过将这些方法移植到联合环境中并观察它们的泄露特征如何变化,我们可以分离出FedAvg聚合本身的影响。集中式和联合式泄露特征之间的差距正好揭示了“联合错觉”。
#### 6.3.1. 全局模型审计结果
表4展示了全局模型的主要审计结果,平均来自所有五个数据集和每种配置的100次试验。表4. 全局模型审计结果,平均来自五个数据集(每个数据集×100次试验)。值为平均值 ± 标准差。差距 = L2 AUC ? Conf AUC。跨平均值是所有非目标客户端的平均L2 AUC。图2可视化了所有方法之间的信任–嵌入差距。所有近似方法都显示出了显著的正面差距,揭示了基于信任的评估所无法察觉的几何泄露。
#### 6.3.2. 分析
对于所有四种近似方法,信任–嵌入差距都是正面且显著的。单样本t检验拒绝了FedGNNDelete()、FedGIF()、FedGE-BEKM()和FedGE-BLPA()的零假设。效应大小从中等到较大,证实了实际意义。联合式差距(0.11–0.14)比集中式差距(0.35)要窄,但这并不表示更好的隐私保护。FedAvg模糊了两种信号,然而信任的稀释更为剧烈:L2 AUC从0.85(集中式)降至0.78(减少了8%),而由于多客户端基线,Conf AUC从0.51升至0.66。几何泄露仍然是主要的侧信道。
#### 每个数据集的变化很大
Chameleon和Squirrel(密集的、异构的图,具有较低的跨边比率)在全局层面的L2 AUC超过了0.96。相比之下,CiteSeer的全局L2 AUC仅为0.45,低于检测阈值。FedRetrain在全局和局部层面都实现了约0.50的AUC,证实了精确重新训练是最可靠的擦除机制。然而,即使FedRetrain也表现出非零的跨平均值L2 AUC,为0.62,表明重新聚合本身在跨客户端层面引入了可检测的参数扰动。
### 6.4. RQ2:跨客户端边界泄露
本节探讨在一个客户端取消学习后是否会在其他客户端留下可检测的痕迹,以及这种泄露的幅度是否由取消学习的客户端与观察者之间共享的跨客户端边数决定。
#### 6.4.1. 相关性分析
我们在节点级取消学习事件后测量每个非目标客户的L2 AUC,并将其与两个客户端之间的跨客户端边数相关联。在所有近似方法、数据集和试验中(客户端级观察),我们得到了皮尔逊相关系数()、斯皮尔曼等级相关系数()和线性回归()。
#### 6.4.2. 分组跨边分析
表5展示了按跨边计数分组的非目标客户的平均L2 AUC。表5. 非目标客户的分组跨边分析。这种关系随跨边数量的增加而单调增加,并有一个明显的检测阈值(图3)。与目标客户端共享少于50条跨边边的客户端显示出L2 AUC ≈ 0.50,与随机猜测无法区分。超过这个阈值后,泄露逐渐增加,共享500条或更多边的客户端的AUC达到0.84。
#### 6.4.3. 数据集级模式
跨客户端泄露强度在不同数据集之间差异很大。PubMed(每个客户端对平均1,128条跨边边)和Squirrel(平均4,686条)显示出最强的非目标泄露,相应的平均跨边L2 AUC值分别为0.86和0.93。即使在精确重新训练(FedRetrain)的情况下,仍有44%的非目标客户端的L2 AUC > 0.60。这种残留信号是由于重新聚合本身(将重新训练后的模型与未修改的模型平均)引入了可检测的参数扰动。非目标客户端之间的泄露也是不对称的;在单次取消学习事件中,L2 AUC从低于0.50(与随机情况无法区分)变化到高于0.90,这取决于观察客户端与被删除邻域的拓扑接近程度。这种差异证实了跨客户端泄露是由特定于分区的结构关系驱动的,而不是由统一的协议级效应引起的。
### 6.5. RQ3:多级审计层次结构
本节比较了三个审计级别(全局、局部和跨客户端)之间的泄露严重程度,并描述了决定给定数据集和方法的哪个级别显示最高AUC的结构因素。
#### 6.5.1. 综合结果
在所有近似方法中,三个审计级别的综合L2 AUC值分别为:全局 = 0.78,局部 = 0.77,跨平均值 = 0.71。配对t检验确认全局和局部在统计上无法区分(),而两者都显著超过了跨平均值()。然而,这些综合平均值掩盖了相当大的结构异质性;没有单一级别在所有数据集中都一致占主导地位,层次结构的排序是由图属性决定的,而不是由固定的架构规则决定的。最一致的综合发现是Cross-Max不变量;所有非目标客户端的最大L2 AUC始终超过0.83,无论数据集或取消学习方法如何。因此,实际问题不是哪个级别的泄露平均最多,而是哪个级别被防守者忽视了。图4展示了每个数据集在所有三个审计级别上的细分情况。图4. 五个数据集和三个审计级别的L2 AUC热图(平均来自所有近似方法)。密集的异构图(Chameleon和Squirrel)在所有级别上都普遍脆弱。PubMed遵循预期的Local > Global > Cross的层次顺序。Cora由于信号扩散,在所有级别上都低于检测阈值。
#### 6.5.2. 结构层次模式的分类
每个数据集的结果揭示了四种不同的模式,每种模式都可以追溯到特定的图结构属性。表6总结了这些映射。表6. 审计级别层次模式的结构分类。密度按平均度量;是与的Metis跨边比率。
#### 6.5.3. 每个数据集的细分和机制
**模式1—天花板收敛(Chameleon和Squirrel)**:所有审计级别的L2 AUC都超过0.93。高边密度在每个级别都提供了丰富的枢纽节点池,覆盖了局部邻居、全局聚合和跨客户端子图,使嵌入漂移信号饱和。当每个级别都独立超过实际检测阈值时,层次问题就不成立了。
**模式2—预期的层次顺序(PubMed)**:Local(0.90)> Global(0.87)> Cross(0.86)符合信息衰减的直觉。在直接应用取消学习操作的局部模型中,被删除节点的几何痕迹最强。将局部模型平均以形成全局模型大约会稀释信号。通过FedAvg参数共享的跨客户端传输引入了另一个衰减步骤,使AUC降至0.86。PubMed的大规模()提供了足够的统计功效来分辨这些小差异。
**模式3—反向层次顺序(Cora)**:Cross(0.68)> Global(0.64)> Local(0.54)打破了预期的顺序。两个复合效应导致了这种反转。首先,Cora的五向划分使每个客户端大约有540个节点,导致局部枢纽集的中位数节点数较少。由于每次试验的枢纽观察较少,局部AUC估计的方差较大,降低了平均性能。其次,跨客户端的枢纽——即位于不同客户端的——正是最直接暴露于FedAvg参数扰动的节点;他们在每次重新聚合时都会接收到更新后的全局权重,并将这些扰动纳入他们的局部梯度中。因此,与同一客户的中心节点相比,他们的漂移信号被放大了而不是减弱了。模式4——低于阈值(CiteSeer):所有级别的AUC都在[0.45, 0.54]之间,与随机猜测无法区分。CiteSeer结合了非常高的跨边比率()和平均度仅为1.42。高的比率意味着Metis划分器无法隔离强连接社区,因此每个客户的子图在结构上是分散的。当取消学习操作去除这些连接时,产生的参数扰动会分散到许多弱连接的中心节点候选者中,而不是集中在一个小的、高度的邻域内。在所有三个审计级别上,中心节点的漂移信号都低于噪声阈值。6.5.4 监控差距 Cross-Max不变量具有具体的防御含义。在五个数据集中,有四个可以检测到泄漏的数据集中,至少有一个非目标客户达到了L2 AUC。仅监控全局模型的服务器或审计员(TM3)平均实现了全球L2 AUC = 0.79——这很有意义,但低于任何具有本地模型访问权限的参与者可以实现的水平。仅依赖全局级别验证的防御者可能会宣布取消学习是成功的,而跨客户对手仍然具有强大的检测能力。Cora的反转进一步说明了这种风险:取消学习的客户的本地模型看起来相对安全(Local AUC = 0.54),但跨客户客户实现了AUC = 0.68。单独审计任何一层都会留下至少一个未监控的通道;满足定义2的多层不可区分性要求需要在所有级别同时进行验证。6.6 RQ4:威胁模型能力 本节评估了每种威胁模型可以提取多少信息,从最受限制的观察者(TM4,仅限预测API)到最不受限制的(TM1,完整的模型访问权限)。核心问题是减少对手的访问权限是否实质上降低了他们的检测能力。表7报告了每种威胁模型的平均L2 AUC和检测率。图5可视化了检测能力排名。百分比表示检测率(AUC > 0.60)。TM2-Cross(联邦参与者)甚至优于白盒基线(TM1),证明了参与者优势。对所有五种威胁模型进行的Kruskal–Wallis测试表明,TM1和TM2-Same在统计上无法区分。TM2-Cross > TM1。这是参与者优势——在不同客户上的联邦参与者表现得比白盒外部审计员更好。参与者未改变的本地模型作为一个固定参考框架,可以与扰动的全局参数进行比较,从而产生比外部观察者可用的绝对嵌入变化更清晰的信号。TM3 < TM1。服务器访问提供的审计能力稍弱。TM4在嵌入级别上完全看不到(L2 AUC = 0.50),尽管置信度AUC ≈ 0.65表明有适度的预测级别泄漏。简而言之,诚实但好奇的参与者可以比外部白盒对手更有效地审计取消学习,这是联邦内部差异信号的直接结果。6.7 RQ5:取消学习的粒度 本节比较了所有三个审计级别上的节点级和客户级取消学习,探讨从联邦中删除更多数据是否能够提供更强的隐私保证,或者正如我们的结果所暗示的,是否具有更好的可检测性。6.7.1 主要结果 FedClientUnlearning实现了全球L2 AUC。四种近似节点级方法的平均全球L2 AUC为。因此,在全球审计级别上,客户级取消学习比节点级取消学习更易于检测。然而,在本地审计级别上,客户级取消学习几乎实现了完美的删除;Local L2 AUC =,因为客户的整个模型被从系统中删除,而不仅仅是进行了近似修改。跨客户的局势介于两者之间;Cross-Mean L2 AUC =,Cross-Max L2 AUC =。图6展示了所有三个审计级别上的这种对比。6.7.2 粒度悖论 这种模式构成了一个粒度悖论——从联邦中删除更多数据使得取消学习事件在全局级别上更易于检测。在FedAvg下,删除一个客户会将聚合权重从变为重新标准化的,扰动了大约的全球参数向量。相比之下,单个客户处的节点级取消学习只扰动了该客户参数的一小部分,这部分又被聚合进一步稀释了。由客户级删除引起的较大参数扰动产生了比例更大的嵌入漂移。在本地级别,悖论得到了清晰的解决;客户级取消学习彻底消除了客户的模型,从而实现了L2 AUC = 0.50。隐私失败不在于本地删除程序,而在于全局聚合机制。粒度悖论反映了FedAvg协议本身的一种内在权衡。提供可扩展性和数据局部性的相同参数平均在删除大量数据分区时会产生不可减少的全局参数扰动。没有免费的午餐;在FedAvg下运作的机制无法同时最小化局部残余痕迹和全局参数扰动。这种紧张关系是协议的结构属性,而不是任何特定取消学习算法的缺陷。其含义是直接的;较粗的删除以牺牲全局可检测性为代价保证本地删除,而较细的删除则以牺牲局部残余痕迹为代价限制全局扰动。要同时满足这两点需要从头开始重新训练,只有FedRetrain能够做到这一点。6.7.3 计算考虑 FedClientUnlearning在数据集上的平均完成时间为秒,而FedRetrain为秒,速度提升了。这种效率优势是显著的,但伴随的全局泄漏(AUC = 0.81)使其不适合需要在所有审计级别上进行可验证删除的应用。6.7.4 总结 这种紧张关系没有简单的解决方案——较粗的删除实现了本地删除,但在全局模型中创建了更大的可检测差距;较细的删除产生了较小的全局扰动,但在本地留下了残余痕迹。没有一种粒度能够在不进行精确重新训练的情况下实现多级不可区分性。6.8 RQ6:对实验配置的敏感性 主要实验使用了客户端、Metis划分和2层GCN。我们报告了四项补充研究,这些研究测试了这些选择对结果的敏感性,并解决了关于控制采样、统计校正和防御机制的方法学问题。每项研究每种配置使用50次试验,除非另有说明。6.8.1 K值消融:测试稀释声明 我们在Cora上改变客户端数量,使用FedGNNDelete和FedRetrain,总共进行了400次试验。表8报告了结果。表8. 全局L2 AUC和跨平均L2 AUC随客户端数量K的变化(Cora, Metis, 50次试验)。数值是平均值±标准差。准确性是在取消学习之前的测试准确性;在相同的K下,两种方法的准确性是相同的。稀释声明部分得到支持。全局L2 AUC从在减少到在,下降了。然而,这种下降并不线性:在和之间,全局L2 AUC的变化仅为,表明随着聚合变得更加均匀而出现了一个底限效应。取消学习之前的准确性也随K减少(在,在)。因为较小的每个客户子图减少了本地训练数据,这证实了在较大K下全球L2 AUC的减少反映了参数稀释和基础模型较弱的事实。跨客户级别的情况有所不同。跨平均L2 AUC在所有K之间保持在到之间,与K没有明显单调关系。这一观察结果与第7节中的机制分析一致;跨客户泄漏是通过参数聚合一次性传播的,而不是通过反复稀释传播的,因此较大的K并不会减少它。这意味着全局级别的错觉(置信度稀释)确实随K而扩展,但跨客户泄漏并不会。增加客户端数量可以保护免受全球审计员的攻击,但不能保护免受参与者审计员的攻击。这加强了多级审计的论点;仅报告全球AUC会暗示随着K的增长,联邦取消学习变得更安全,这与跨平均L2 AUC的结果相矛盾。6.8.2 仅限内部边与类似FedSage的训练 主要实验仅在客户内部边上进行训练,隔离了参数介导的泄漏通道。真实的联邦图系统通常使用邻居生成[18]来恢复跨边界信息。我们通过在不同客户端边界之间共享真实邻居特征来构建FedSage的上限。这比实际的FedSage提供了更多的跨客户信息。如果即使这个上限也无法放大泄漏,那么实际的FedSage也不会。实验在Cora和CiteSeer上进行了400次试验,使用FedGNNDelete和FedRetrain;表9报告了结果。表9. 仅限内部边和类似FedSage的训练下的Cross L2 AUC。ns = 不显著。有两个观察结果。首先,在Cora上,两种模式产生的Cross L2 AUC在统计上无法区分(对于FedGNNDelete)。其次,在CiteSeer上,使用邻近邻居的训练产生了较低的泄漏,这可以通过伴随的准确性提升()来解释,后者产生了更稳定的嵌入。这个结果为泄漏机制提供了直接的因果证据。如果边结构信息是主导渠道,那么恢复跨客户边会增加Cross L2 AUC。我们没有观察到这种增加。因此,主导渠道是参数介导的,这与第7节中描述的机制一致。主要实验中使用的仅限内部设计并不是人为简化,它正确地隔离了重要的渠道。6.8.3 控制采样:均匀采样与度匹配 均匀随机采样控制节点可能在枢纽和控制节点之间产生度差异。我们通过比较在Cora上使用FedGNNDelete时的均匀采样和度匹配采样来测试这种差异是否会影响AUC,进行了50次配对试验。在均匀采样下,平均枢纽度为,平均控制度为,产生了的度差距。在度匹配采样下(控制节点在枢纽度的范围内),差距缩小到。全局L2 AUC从(均匀)变为(匹配),差异为。配对Wilcoxon符号秩检验显示:差异具有统计显著性,但在幅度上很小。Cross L2 AUC没有显示出有意义的变化。度匹配效应仅限于全局级别,并且不会改变任何定性结论:两种策略下的所有AUC都远高于不可区分性阈值,且级别的排序(全局 > 本地,Cross > 本地)得到了保持。含义是均匀采样对全局L2 AUC施加了大约的上限偏差。这种偏差小于表4中报告的所有近似方法的效应大小,并且在度匹配控制下保留了定性发现。6.8.4 检测率阈值:ROC曲线和多阈值分析 主要结果使用AUC作为检测率阈值,定义为随机基线以上的一个标准差,遵循MIA评估中的常见做法[21]。为了确认结论不依赖于这个特定的阈值,我们为每200次试验(50次试验×2个数据集×2种方法)计算了完整的ROC曲线,并报告了两个平均ROC曲线(图7)和四个阈值下的检测率(表10)。图7. 在Cora和Squirrel上,FedGNNDelete和FedRetrain的平均ROC曲线(每次曲线50次试验,阴影部分为标准差)。在Cora上,FedGNNDelete曲线在每个操作点上都优于FedRetrain;在Squirrel上,两种方法都位于左上角附近。虚线对角线标记了随机基线。图例中显示的平均AUC值与表8中K = 5时的全局L2列相匹配,证实了AUC总结与底层ROC几何形状一致。阴影带表示平均值上下一个标准差,是在每种方法的50次试验中计算得出的。表10. 检测率(超过阈值的试验比例),来自图7的ROC曲线。Cora的检测率随阈值平滑下降,而FedGNNDelete与FedRetrain之间的对比在每个阈值下都得到了保持。Squirrel在所有阈值下表现出一致的检测率,因为其异质结构产生了强烈的漂移,在图7中表现为曲线紧贴左上角。因此,第6.3节的结论不依赖于特定的阈值;选择只影响数值检测率,而不影响方法的排名或数据集的排名。6.8.5 DP-SGD作为防御:隐私-效用权衡 我们评估了差分隐私(DP-SGD)[24](在隐私增强型联邦系统[25]中的标准原语)是否可以缓解观察到的泄漏。我们在Cora上进行局部训练时应用了每样本梯度剪切()和校准至的高斯噪声,进行了200次试验。表11报告了隐私-效用结果。表11. 在Cora上使用FedGNNDelete时的DP-SGD防御评估。数值是50次试验的平均值±标准差。这是没有差分隐私(DP)的基准情况。在某个阈值下,准确率从某个值下降到另一个值,有明显的下降。全局L2 AUC从某个值下降到另一个值,看似有所改善。然而,交叉平均L2 AUC仅从某个值下降到另一个值,下降幅度很小。从这个模式可以得出两个结论:首先,全局L2 AUC的下降并不反映真正的隐私改善;在那个准确率水平上,模型已经退化到接近随机行为,因此在全球层面上观察到的“保护”实际上是模型本身的崩溃,而不是成功的噪声校准。其次,交叉平均L2 AUC(即参与者审计者可以观察到的泄露情况,即TM2-Cross)基本上没有变化。这表明强差分隐私是成立的。
对于安全聚合,理论论证就足够了。安全聚合可以防止服务器(TM3)检查单个客户的更新,但不会改变发送给每个客户的全局模型。每个客户仍然可以通过协议获得相应的数据,并且可以像在TM2-Cross中描述的那样计算嵌入漂移。因此,安全聚合解决了服务器端的威胁,但不会改变客户端的威胁情况。
这意味着:标准的防御机制无法解决本文中提出的跨客户端泄露问题。在可用的隐私预算下(较大的预算),DP-SGD的效果可以忽略不计;在较苛刻的预算下(较小的预算),它虽然能减少泄露,但会损害实用性。有效的防御措施必须是替换FedAvg聚合机制,或者引入隔离参与者机制,以防止非目标客户区分连续的全局模型。
7. 讨论
我们的结果有三个方面与传统关于联邦隐私的直觉相悖:FedAvg是重新分配泄露信息而非消除它,参与者在审计表现上优于外部审计者,以及删除更多数据反而会增加可检测性。我们讨论这些发现,提出实际建议,并指出其局限性。
7.1. 解释反直觉的发现
我们解释了三个看似与联邦隐私常见假设相矛盾的结果背后的因果机制:为什么FedAvg会重新分配泄露信息而不是消除它,为什么参与者比白盒审计者表现更好,以及为什么更粗略的删除操作会产生更大的全局可检测性。
7.1.1. 泄露信息的重新分配
FedAvg是在整个联邦网络中重新分配未学习信息的几何痕迹,而不是消除它。参数平均化会将信号减弱大约某个比例,足以抑制基于置信度的检测(Conf AUC ≈ 0.66),但不会影响嵌入漂移(L2 AUC = 0.78)。这一因果机制分为两个阶段:首先,在重新聚合过程中,FedAvg迫使未学习客户的扰动参数与其他客户的未扰动参数混合,将未学习痕迹嵌入到全局权重向量中;其次,当非目标客户下载更新后的全局模型并继续进行本地训练时,通过跨客户端边计算的梯度会将这一痕迹投影到每个客户的本地嵌入空间中。客户与被删除节点的邻域共享的跨客户端边越多,这种投影效果就越明显。
7.1.2. 参与者的优势
TM2-Cross(AUC = 0.83)优于TM1白盒审计(AUC = 0.81)似乎有些矛盾;实际上,访问权限较少的对手反而比具有完整模型视图的对手表现得更好。解释在于存在一个固定的参考框架。白盒对手会在聚合模型的不断变化的参数空间中寻找删除痕迹,但所有参数都已经被平均化步骤所扰动。相比之下,联邦参与者拥有一个静态的本地子图及其对应的本地模型,可以作为比较的固定坐标系,从而能够更清晰地识别更新后的全局参数之间的差异。
7.1.3. 粒度悖论
人们可能会认为删除更多数据会提供更强的隐私保护;然而我们的结果显示恰恰相反。从包含542个客户的系统中删除一个节点,只会扰动该客户大约0.18%的数据。但删除整个客户会使得聚合权重发生20%的重新分配,影响全局模型中的每个参数。这种更大的扰动会导致更明显的可检测痕迹。在本地层面上,这种悖论得到了解决;因为删除操作会完全消除该客户的模型(AUC = 0.50)。但在涉及聚合的每个层面上,这种悖论依然存在。这种内生的权衡并不是任何特定算法的缺陷,而是FedAvg本身的结构特性。一个将所有参与者参数统一为单一全局向量的协议无法选择性地抑制某个参与者的贡献,而不会按该参与者的份额相应地扰动其他所有权重。因此,这种粒度悖论为FedAvg兼容的近似学习方法所能实现的效果设定了一个硬性限制:在这个家族中,没有任何方法能够在不进行精确重新训练的情况下同时保证本地擦除、全局参数稳定性和跨客户端的不可检测性。
7.2. 对实际部署的启示
我们的发现为系统设计者、审计者和防御研究者提供了三个建议:
- 对于系统设计者:置信度-嵌入差距表明,仅凭预测级别指标无法验证未学习行为。一个声称实现了擦除效果的系统必须对本文中定义的所有层级进行检查。
- 对于审计者和监管者:诚实的参与者比外部黑盒审计者具有明显的审计能力(参与者优势,AUC)。由此带来三个后果:首先,委托给外部机构的合规性审计可能会系统性地低估泄露程度;其次,内部审计虽然更可靠,但需要信任审计者;第三,审计能力是不对称的且依赖于参与者,因此审计协议需要在多个参与者之间进行抽样,而不能集中在单一的外部评估者身上。
- 对于防御研究者:我们的DP-SGD实验(第6.8.5节)表明,强差分隐私()虽然降低了准确率,但仅减少了交叉L2 AUC的少许。当目标是减轻跨客户端的几何泄露时,这种隐私-实用性权衡并不理想。安全聚合可以保护服务器端(TM3)的视图,但无法保护参与者端(TM2-Cross);参与者仍然可以通过协议接收聚合模型,并可以计算所需的漂移信号。因此,有效的防御措施必须(a)放弃FedAvg风格的参数平均化,转而使用分片或加密的更新方案;(b)引入隔离参与者机制,防止非目标客户区分连续的全局模型。
8. 结论
我们的发现为系统设计者、审计者和防御研究者提供了三个建议:
- 对于系统设计者:置信度-嵌入差距表明,单独依赖预测级别指标无法验证未学习行为。声称实现了擦除效果的系统必须对本文中定义的所有层级进行审计。粒度悖论进一步表明,提供粗略的擦除选项并不能提高隐私性,反而会将泄露从本地层面转移到全局层面。我们建议将多层级不可区分性检查集成到联邦学习流程中,作为发布前的必要步骤。
- 对于审计者和监管者:诚实的参与者具有比外部黑盒审计者更强的审计能力(参与者优势,AUC)。由此带来三个后果:首先,委托给外部机构的合规性审计可能会系统性地低估泄露程度;其次,内部的参与者审计虽然更可靠,但需要信任审计者;第三,审计能力是不对称的且依赖于参与者,因此审计协议需要在多个参与者之间进行抽样,而不能集中到单一的外部评估者身上。
- 对于防御研究者:我们的DP-SGD实验表明,强差分隐私虽然降低了准确率,但仅减少了交叉L2 AUC的少许。当目标是减轻跨客户端的几何泄露时,这种隐私-实用性权衡并不理想。安全聚合可以保护服务器端(TM3)的视图,但无法保护参与者端(TM2-Cross);参与者仍然可以通过协议接收聚合模型,并可以计算所需的漂移信号。因此,有效的防御措施必须(a)放弃FedAvg风格的参数平均化,采用分片或加密的更新方案;(b)引入隔离参与者机制,防止参与者区分连续的全局模型;或者(c)接受跨客户端几何泄露是FedAvg的固有特性,并设计能够报告这种泄露的审计协议。
8. 开放性挑战
目前评估的任何近似学习方法都无法满足多层级不可区分性的要求。设计一种同时实现(i)重新训练时间效率低于线性、(ii)本地擦除(Local L2 AUC)以及(iii)跨客户端不可检测性(Cross L2 AUC)的联邦图学习方法仍然是未解决的任务。第6.8.2节和第6.8.5节的证据表明,在FedAvg框架内无法实现这一目标;这需要新的聚合协议或参与者隔离机制。
- 对于未来的工作:需要设计一种联邦图学习方法,既能实现(i)重新训练时间效率低于线性,(ii)本地擦除(Local L2 AUC),又能实现(iii)跨客户端不可检测性(Cross L2 AUC)。此外,还需要设计一种多层级审计框架,以满足这些要求。
9. 限制
我们指出了当前结果的四个局限性,并指出了未来研究的方向:
- 同步协议假设:跨客户端审计需要两个连续的全局模型快照来围住未学习事件。在同步FedAvg中,这些快照是协议的副产品。在完全异步的协议中[26],客户端更新是分阶段的,非目标客户可能收到的是平滑后的聚合模型,而不是完整的学习前后模型。删除痕迹仍然存在于累积的参数变化中,但将其定位到特定的未学习事件上更加困难。研究攻击效率如何随着平滑窗口的扩大而下降是一个未解决的问题。
- FedSage上限模拟:第6.8.2节中的跨边实验是在客户边界之间共享真实邻居特征,这比实际FedSage的基于生成器的共享更强。因此,这种模拟是FedSage泄露的一个上限。使用训练有素的FedSage生成器的研究是未来的工作方向。
- 数据集覆盖范围:第6.8.1节的K-消融实验、第6.8.5节的DP-SGD防御实验以及第6.8.3节的度匹配对照实验都使用Cora作为主要测试平台。第6.8.2节的跨边消融实验还涵盖了Cora和CiteSeer。将这些补充研究扩展到异构图(Chameleon和Squirrel)是未来的工作方向。
- 控制样本偏差:第6.8.3节显示,均匀控制抽样会在全局L2 AUC上引入大约某个比例的偏差。这种偏差小于所有近似方法报告的效应大小,并且在度匹配控制下保持了定性结论的可靠性。我们保持均匀抽样作为默认设置,因为在稀疏子图中,度匹配抽样有时无法找到有效的对照样本。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号