迈向隐私保护与通信高效的联邦蒸馏技术

《Expert Systems with Applications》:Towards Privacy-Preserving and Communication-Efficient Federated Distillation

【字体: 大 中 小 】 时间:2026年02月04日 来源:Expert Systems with Applications 9.4

编辑推荐:

  马兴格|王金|张学杰中国昆明云南大学信息科学与工程学院摘要联邦蒸馏作为一种有前景的替代方案,用于在分散式的客户端之间进行协作训练,通过交换与大规模无标签公共数据集相关的模型输出来利用它们的私有数据。然而,最近的研究表明,在遭遇恶意攻击时,共享模型输出仍然存在数据泄露的隐私风险。尽

  马兴格|王金|张学杰中国昆明云南大学信息科学与工程学院摘要联邦蒸馏作为一种有前景的替代方案,用于在分散式的客户端之间进行协作训练,通过交换与大规模无标签公共数据集相关的模型输出来利用它们的私有数据。然而,最近的研究表明,在遭遇恶意攻击时,共享模型输出仍然存在数据泄露的隐私风险。尽管通过差分隐私技术对模型参数进行扰动以生成安全的模型输出,或在共享之前直接向模型输出注入经过校准的噪声,可以为联邦蒸馏提供强大的隐私保障,但这种方法要么由于本地模型学习的领域特定知识有限而导致知识传递效率低下,要么会因所需的噪声量与被扰动目标的规模成正比而产生高昂的隐私成本,从而显著降低模型输出的实际效用。为平衡知识效用与隐私保护之间的权衡,本文提出了FedLA这一兼具隐私保护和通信高效性的联邦蒸馏框架,该框架借助本地差分隐私和主动数据采样技术,能够主动从大规模无标签公共数据集中选择最具信息量的子集,作为本地扰动和知识传递的高质量载体。这样一来,减少了对本地模型的查询次数,从而降低了隐私成本和通信开销,同时提升了模型性能。在多种评估环境下的两个流行基准数据集上的实验表明,FedLA在模型精度、通信效率、隐私成本以及抗攻击能力方面均具有优势。相关代码可在以下地址获取:https://github.com/maxinge8698/FedLA。引言机器学习模型的巨大成功与从各种来源收集数据用于集中训练密切相关(Zha等人,2025年)。然而,随着人们对数据隐私的日益关注以及相关法规的出台,如《健康保险可移植性和责任法案》(HIPAA)(1996年)和《通用数据保护条例》(GDPR)(Voigt & Von dem Bussche,2017年),这些法规大大限制了数据用户(即服务器)与数据所有者(即客户端)之间为数据集中处理而进行的数据共享。联邦学习为在分散式客户端之间开展协作提供了一种隐私保护解决方案,使各方能够在无需承担数据共享所带来的风险的情况下利用各自的私有数据,每个客户端都在其私有数据上训练本地模型,仅将本地训练得到的模型参数上传至中央服务器进行聚合。尽管联邦学习在医疗保健(Raza, Tran, Koehl, & Li,2023年)、金融领域(Venkata Krishna Reddy等人,2024年)、推荐系统(He等人,2025年)以及交通行业(Vyas, Bhumika, Das, & Chaudhury,2023年)等对隐私要求较高的领域展现出了巨大潜力,但参数聚合机制也使其面临一些固有挑战。首先,虽然联邦学习的初衷是通过将原始数据保留在本地来保护数据隐私,但由于模型存在记忆训练数据的倾向,共享模型参数仍然存在从参数反推原始数据的隐私风险(Blanco-Justicia等人,2021年)。其次,参数共享带来的巨大通信开销使得资源有限的客户端难以参与其中,也阻碍了更大规模模型的应用以实现高效的协作(Almanifi, Chow, Tham, Chuah, & Kanesan,2023年)。第三,在参数空间中对基于非独立同分布数据的本地模型进行直接平均处理,无法得到全局最优模型,从而导致模型收敛速度缓慢且性能下降(Zhu, Xu, Liu, & Jin,2021年)。最后,参数共享会导致所有参与者使用相同的模型架构,这严重妨碍了客户端根据自身的硬件能力和数据特征独立设计模型架构,以应对系统差异性问题(Ye, Fang, Du, Yuen, & Tao,2023年)。考虑到在训练过程中获得的知识不仅体现在模型参数中,还体现在模型输出中,联邦蒸馏将知识蒸馏技术引入联邦学习中,使得可以通过共享模型输出而非模型参数来实现客户端之间的灵活知识传递。每个客户端首先从私有数据中提取领域特定知识并融入其本地模型,然后将该本地模型在大规模无标签公共数据集上的输出结果上传至中央服务器。随后,中央服务器将这些来自客户端的模型输出汇总为无标签公共数据集的软标签,这些软标签不仅用于训练全局模型,还会被反馈给客户端,以便进一步优化其本地模型。因此,联邦蒸馏相比联邦学习具有诸多优势。一方面,由于模型输出通常远小于模型参数,所暴露的敏感信息也少得多,因此通信开销和隐私风险都大幅降低。另一方面,客户端可以凭借自主设计多样化模型架构的灵活性来满足个性化需求,同时还可以利用来自不同客户端的隐性知识作为正则化约束,以此解决非独立同分布问题,从而在保留本地知识的同时获取全局知识,而非通过参数平均直接丢失或消除本地知识。然而,近期的一些研究指出,模型输出也与原始数据中的私有信息存在关联,这使得联邦蒸馏中的数据隐私依然无法得到保障。为防止原始数据意外泄露,可以将差分隐私技术整合到联邦蒸馏中,通过扰动模型参数或在对模型输出注入经过校准的噪声来提供强大的隐私保障。一种简单的做法是使用本地差分隐私技术为每个客户端的本地模型输出添加噪声,例如拉普拉斯机制。不过,由于本地差分隐私技术产生的噪声量与被扰动目标的规模成正比,这在需要依赖大规模无标签公共数据集且需进行多轮通信的联邦蒸馏场景下会带来高昂的隐私成本,进而严重影响模型输出的实际效用。另一种方法是FedMD-NFDP,它通过随机选取部分私有数据用于本地训练,而不额外添加噪声,从而确保各个客户端发布的模型输出满足无噪声差分隐私要求。然而,不足的本地训练会导致本地模型无法获得足够的领域特定知识,进而影响知识传递的效果。还有FedMD-DPSGD方法,它在本地训练过程中采用差分隐私随机梯度下降算法,确保每个本地模型都满足差分隐私要求,然后通过后处理机制将差分隐私训练得到的本地模型的隐私保障扩展到其模型输出上。同样,对梯度进行裁剪后再在这些裁剪后的梯度上添加噪声,也会显著降低本地模型的性能,妨碍有效的知识传递。由此可见,现有的解决方案都无法在知识效用与隐私保护之间实现理想的平衡。为解决这一难题,本文提出了FedLA这一兼具隐私保护和通信高效性的联邦蒸馏框架,该框架借助本地差分隐私和主动数据采样技术,旨在在保持本地训练完整性的同时获取足够的领域特定知识,同时通过缩小用于本地扰动和知识传递的无标签公共数据集的规模,减少对本地模型的查询次数。在每一轮通信中,中央服务器都会采用基于不确定性的主动数据采样策略,从大规模无标签公共数据集中主动挑选出最具信息量的子集,作为知识传递的高质量载体。之后,再利用精心设计的分段机制对选定子集上的本地模型输出进行本地扰动,从而为安全的数据共享提供更强的隐私保障。最终,中央服务器会将从客户端收集到的这些经过扰动的模型输出汇总起来,将本地模型的知识传递给全局模型,然后再将带有噪声的汇总结果反馈给客户端,以便进一步优化模型,提升其全局泛化能力。通过这种方式,FedLA有效减少了對本地模型的查询次数,从而在降低隐私成本和通信开销的同时提升了模型性能。总之,本文的主要贡献如下:•我们提出了一种兼具隐私保护和通信高效性的联邦蒸馏框架,该框架借助本地差分隐私和主动数据采样技术,旨在在引入联邦蒸馏的同时实现知识效用与隐私保护之间的平衡,并提供更强的隐私保障。•一方面,我们引入了分段机制,通过添加有限幅度的噪声来扰动模型输出,从而在尽可能保持知识效用的同时实现更强的隐私保障。•另一方面,我们采用了基于不确定性的主动数据采样策略,减少了对本地模型的查询次数,进而降低了隐私成本和通信开销,提升了模型性能。•通过在多种评估环境下的两个流行基准数据集上进行的实证实验及深入分析,证明了FedLA在模型精度、通信效率、隐私成本以及抗攻击能力方面的优势。本文的其余结构如下:第2节介绍相关研究工作,第3节阐述所提出的FedLA框架,第4节展示实验评估结果,第5节对本研究进行总结并展望未来工作。片段内容联邦学习与联邦蒸馏在实践中,训练数据通常分布在K个数据所有者手中,每个所有者k∈{1,2,…,K}都作为一个独立的客户端,拥有包含Nk个数据样本的私有数据集Dk=(Xk,Yk),其中Xk={xk(i)|i=1,2,…,Nk}表示输入空间,Yk={yk(i)|i=1,2,…,Nk}表示输出空间,yk(i)∈{1,2,…,C}是第i个样本xk(i)∈Rd对应的类别标签,C为类别总数。中央服务器的目标是从这些分布式客户端那里提取领域特定知识,从而学习到……方法为平衡知识效用与隐私保护之间的矛盾,本节介绍了一种名为FedLA的兼具隐私保护和通信高效性的联邦蒸馏框架,该框架将本地差分隐私技术与主动数据采样策略相结合。通过从大规模无标签公共数据集中筛选出最具信息量的样本,然后在这些样本对应的模型输出中注入本地差分隐私噪声,该方法可以有效降低高昂的隐私成本和通信开销。数据集所提出的FedLA框架在联邦蒸馏研究中常用的两个流行基准数据集上进行了测试,具体如下:•CIFAR-10。CIFAR-10数据集(Krizhevsky,2009年)源自8000万张小型图像数据集(Torralba, Fergus, & Freeman,2008年),其中包含了60,000张32×32像素的彩色图像,这些图像属于10个不同的类别,数据集被划分为50,000个训练样本和10,000个测试样本。•CIFAR-100。CIFAR-100数据集(Krizhevsky,2009年)是8000万张小型图像数据集中的一个更为多样化的子集……结论在本研究中,我们提出了FedLA这一兼具隐私保护和通信高效性的联邦蒸馏框架,该框架借助本地差分隐私和主动数据采样技术,旨在在引入联邦蒸馏的同时实现知识效用与隐私保护之间的平衡,并提供更强的隐私保障。在多种评估环境下的两个流行基准数据集上进行的实证实验及深入分析,充分证明了FedLA在模型精度、通信效率、隐私保护以及抗攻击能力等方面的优势。CRediT作者贡献说明马兴格:研究设计、方法论、验证、软件实现、形式化分析、初稿撰写。王金:概念构建、项目管理、论文审阅与编辑、资金筹集。张学杰:资源协调、指导监督、资金筹集。利益冲突声明作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。马兴格是中国昆明云南大学信息科学与工程学院的博士候选人,他在中国昆明云南大学国家软件示范学院获得了学士学位。他的研究兴趣包括自然语言处理、计算机视觉以及联邦学习。他曾于2023年获得EMNLP颁发的优秀论文奖。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号