基于原型引导的循环式联邦学习与知识蒸馏技术

《Knowledge-Based Systems》:Prototype-guided cyclic federated learning with knowledge distillation

【字体: 大 中 小 】 时间:2026年01月16日 来源:Knowledge-Based Systems 7.6

编辑推荐:

  PCFedKD通过原型引导的循环联邦学习结合知识蒸馏,有效解决数据异构性问题,提升全局共识与本地个性化。实验表明其在跨域适应和特征/标签偏移场景下显著优于基准方法,兼具高效收敛与强鲁棒性。

  
孟青源|赵宇|李雪|陈思光
中国南京河海大学计算机科学与软件工程学院,211100

摘要

在本文中,我们提出了一种新颖的联邦学习(FL)框架,称为“基于原型的循环联邦学习与知识蒸馏(PCFedKD)”,以应对分布式机器学习中的数据异构性问题。与传统FL模型不同,PCFedKD结合了全局和局部原型,实现了个性化模型训练,同时保证了高效的全局知识共享。该框架采用循环训练方法,客户端依次进行知识蒸馏(KD),以在训练过程中保留和精炼知识。KD使得客户端之间能够高效地传递知识,提高了学习精度,并减少了通信开销。此外,原型的使用为数据提供了特定于类别的表示,有助于将全局知识与客户端特定的数据分布对齐。全局原型捕获了客户端之间的共享知识,而局部原型则指导客户端特定的个性化,从而提高了模型的适应性和性能。总之,PCFedKD建立了一种轻量级且保护隐私的FL范式,通过基于原型的循环蒸馏共同增强了全局共识和局部个性化。广泛的实验表明,我们的方法在包括特征和标签变化在内的多样化数据集上显著优于基准模型,实现了更高的精度、更快的收敛速度和更好的可扩展性。结果突显了所提出框架在现实世界异构FL场景中的实际适用性和鲁棒性。

引言

在技术快速发展时代,数据驱动的人工智能技术已成为现代产业的基石。物联网(IoT)技术广泛应用于智慧城市[1]、医疗保健[2][3][4]和工业自动化[5]等领域,产生了大量网络边缘数据。传统的集中式机器学习(ML)技术通常将分散的数据收集到一个中心来训练ML模型,这常常遇到一系列挑战,包括数据隐私和安全问题,以及由数据传输引起的高通信开销。
2017年,谷歌提出了一种名为联邦学习(FL)的分布式ML框架,以解决上述问题[6]。FL使分布式客户端能够在不传输敏感的本地数据的情况下协作训练共享的全局模型,从而保护隐私并减少通信开销。这种分布式方法因其能够在保持高效学习的同时增强数据隐私而受到了ML领域的广泛关注。通过允许客户端设备在本地更新模型,并仅定期与中央服务器交换模型参数,FL促进了现实世界应用中的可扩展性和安全性。最近的研究进一步证明了FL在现实世界设置中的实际价值。例如,Khullar等人[7]将FL应用于分布式皮肤病变分类,在非独立同分布(non-IID)临床数据下取得了良好的性能。这些应用突显了开发在异构环境中仍保持鲁棒性的FL方法的重要性。
作为一种著名的传统FL方法,联邦平均(FedAvg)算法消除了将用户敏感数据上传到中央服务器的需要,使边缘设备能够在自己的本地数据集中本地训练共享模型[8]。通过聚合本地模型的更新梯度,FedAvg满足了隐私保护和数据安全的基本要求。然而,FedAvg方法下获得的局部收敛点可能与全局模型的目标不一致[9]。因此,客户端模型经常偏离理想的全局优化点,并对其本地目标过拟合[10]。实际上,FL中客户端之间的数据分布通常表现出非独立同分布(non-IID)特征,也称为数据异构性[11][12]。FedProx[13]在每个客户端的优化目标函数中引入了一个近端项,使算法能够更好地处理客户端的异构性,从而在整个FL过程中提供了更大的鲁棒性。最近,提出了一种基于聚类的FL方法FedClust[14],该方法通过基于本地训练的模型策略性地选择部分权重来衡量客户端之间的相似度,并一次性将客户端分组到不同的簇中,从而实现了更高的模型精度和更快的收敛速度。
尽管大多数现有的FL算法关注于客户端之间具有不平衡或缺失类别的传统non-IID设置,但在实践中,分布差异可能更为复杂,例如域分布的变化。例如,张等人[15]构建了一种新的FL友好方法,称为泛化调整(GA),通过动态校准聚合权重来保证在域变换下的泛化能力。FedINB[16]提出了一种联邦域转换方法,为每个客户端生成伪数据,这对于多种下游学习任务可能很有用。域变换可以分为两种主要类型:特征变换,即输入特征的分布发生变化;以及标签变换,即客户端之间的标签分布不同。这些变换带来的挑战需要定制的解决方案来确保在不同域中的有效模型训练。为此,研究人员考虑采用一些方法,如知识蒸馏(KD)技术。王等人[17]将每个客户端中的本地数据视为一个特定域,并设计了一种新的基于域知识的联邦蒸馏方法DaFKD,该方法可以区分每个模型对蒸馏样本的重要性,从而优化来自不同模型的软预测集成。从原型的角度来看,黄等人[18]提出了用于域转换下的联邦原型学习(FPL)。核心思想是构建簇原型和无偏原型,提供丰富的域知识和公平的收敛目标。尽管上述方法在一定程度上取得了一定的成果,但在数据异构场景中的模型泛化能力和个性化性能方面仍存在挑战。
根据上述挑战,我们提出了基于原型的循环FL与知识蒸馏(PCFedKD)。主要贡献总结如下:
  • •
    我们构建了一个结合了知识蒸馏和全局原型的循环FL模型。使用全局原型确保每个客户端都能从共享的高级知识中受益,即使在特征变换的情况下也能提取共同知识。
  • •
    在基于客户端数据分布的局部原型指导下进行个性化训练。这确保了每个客户端在受益于全局共识的同时,也能适应其特定的标签分布并实现最佳性能。
  • •
    广泛的实验证明了我们的方法在应对FL中的数据异构性方面的有效性。与现有方法相比,我们的方法在性能上有显著提升,同时也表现出更好的可扩展性和鲁棒性。此外,我们的方法在面对不同风格和域的数据时具有很强的适应性。
  • 本文的其余部分组织如下。第2节我们介绍了相关工作。第3节介绍了我们方法的系统模型。第4节详细解释了我们算法的各个组成部分。随后,在第5节中,我们通过广泛的实验证明了我们算法的有效性,第6节对本文进行了总结。

    节选

    相关工作

    FL作为一种关键方法,用于解决分布式ML中的数据隐私和协作学习挑战。FL可以利用分布式用户数据,同时通过迭代下载模型、在客户端本地训练模型、上传模型以及在服务器上聚合模型来保护隐私。然而,实现高效协作训练的挑战主要包括高通信开销和在异构数据场景中的模型性能不佳。如今,KD[19]

    系统模型

    在本节中,我们构建了一个包含KD的循环FL模型,该模型由两个层次组成:客户端层和云层。整个过程主要分为两个阶段。图1说明了这两个层次的功能和关系。
    客户端层:该层由N个不同的客户端组成,它们的本地数据是异构的,每个客户端都不愿意共享它们的数据。客户端使用本地数据训练其本地模型,之前训练过的客户端作为教师

    问题阐述

    在客户端之间的个性化FL设置中,N个不同的客户端拥有自己的数据,表示为{D1,D2,…,DN}。这些数据集假设来自同一域,并具有相同的标签和标签分布,但客户端之间的数据具有异构性,特征重叠度完全一致。由于每个客户的原始数据始终保留在本地且在训练期间不共享,因此信息泄露的风险降低了,隐私和安全性得到了保障

    实验

    在本节中,我们进行了实验,以证明我们提出的方案与其他传统基准方案相比的有效性和优越性。

    结论

    在这项工作中,我们提出了PCFedKD,这是一种基于原型的循环联邦学习框架,它通过结合全局原型对齐、客户端间的知识蒸馏和个性化的局部原型适应有效地解决了数据异构性问题。在域适应和医学成像数据集上的广泛实验表明,我们的方法在特征变换和标签变换下具有更高的精度、更快的收敛速度和更好的鲁棒性,突显了我们方法的实际相关性

    CRediT作者贡献声明

    孟青源:撰写——原始草案、方法论、概念化。赵宇:撰写——原始草案、验证、软件、方法论。李雪:撰写——审稿与编辑、项目管理、形式分析。陈思光:撰写——审稿与编辑、监督、项目管理、资金获取。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作部分得到了中央高校基本科研业务费(B250201047)、江苏省333高层次人才培养项目以及南京大学新型软件技术国家重点实验室开放研究基金(KFKT2025B03)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号