联邦学习中基于多准则和自适应截止时间的客户端选择

《Future Generation Computer Systems》:Client selection of multi-criteria and adaptive deadline in federated learning

【字体: 大 中 小 】 时间:2026年09月05日 来源:Future Generation Computer Systems 6.2

编辑推荐:

   摘要边缘计算赋能的联邦学习(FL)对于隐私保护型数据密集型应用至关重要,但数据和系统的异构性严重降低了全局模型性能、减缓了收敛速度并引发公平性问题。现有的单标准客户端选择方法无法应对强数据异构性,而静态定时控制加剧了异构环境中的掉队效应。为解决这些关键挑战,我们提出FedMA

  

摘要

边缘计算赋能的联邦学习(FL)对于隐私保护型数据密集型应用至关重要,但数据和系统的异构性严重降低了全局模型性能、减缓了收敛速度并引发公平性问题。现有的单标准客户端选择方法无法应对强数据异构性,而静态定时控制加剧了异构环境中的掉队效应。为解决这些关键挑战,我们提出FedMA,一种集成多标准客户端选择(MCCS)和自适应截止时间确定(ADD)的新型联邦学习框架。MCCS综合了三个关键指标——数据量、数据分布(通过地球移动距离,EMD测量)和参与频率——以确保数据质量和选择公平性,避免高资源客户端的主导地位。ADD使用截止时间效率(DDLE)和轮次效用动态调整轮次截止时间,以适应设备的计算/通信能力和训练进度。在FEMNIST、CIFAR-10和GoogleSpeech数据集上的大量实验证明了FedMA的有效性。在FEMNIST上,FedMA在所有比较方法中达到了最高准确率(81.45%);在CIFAR-10(70.95%)和GoogleSpeech(71.51%)上,其准确率与最强基线(Oort)相当。至关重要的是,与最先进方法相比,FedMA将端到端延迟降低了28.02%–85.67%,在准确性和训练效率之间实现了优越的权衡,同时不影响公平性。

引言

随着数据安全和隐私保护意识的提高,边缘计算服务[1]与联邦学习数据联合[2]的结合有效克服了移动边缘计算中资源有限、数据孤岛和数据隐私方面的挑战。这种集成方案为数据密集型应用提供了更高效的解决方案,并已在医疗、智能交通和智能制造等领域得到广泛认可和应用。
尽管取得了巨大成功,但在实际应用中,数据分布、通信网络和边缘设备存在显著差异,使得异构边缘计算环境中的联邦协作面临挑战。在这种环境中,参与者的异构性主要分为两类:(1)数据异构性。不同移动设备地理位置、用户属性或行为模式等因素导致用户间数据分布和数据的差异,呈现出非独立同分布的特征。这可能导致不同参与者的优化方向不一致,从而对模型的整体性能和收敛速度产生不利影响[3]。(2)系统异构性。由于不同客户端本地硬件资源的异构条件,尤其是存储和计算能力的差异[4],以及网络通信速度的差异,客户端上传模型更新时存在不同程度的延迟。这可能导致较慢的客户端需要更长时间上传模型更新,从而影响整个联邦学习过程的公平性[5]。
在异构边缘计算环境中,数据异构性和系统异构性对全局模型的整体性能和收敛速度构成威胁。将所有设备视为平等参与者或仅聚合训练性能好的客户端可能导致模型偏差,进而引发公平性问题[6]。为应对这些挑战,已有各种客户端选择算法被提出以解决联邦学习中的掉队效应问题,即由于数据和系统异构性,某些参与者参数上传出现延迟,导致服务器在等待过程中空闲,增加了全局模型聚合的等待时间,降低了整个系统的效率和性能。然而,这些算法仍存在一定局限性:
(1)基于单一标准的客户端选择算法难以应对不同数据分布下的挑战。单一标准无法有效处理异构边缘计算环境中的多样性、复杂性和动态性,这可能导致模型在不同数据分布下的性能下降,降低模型的泛化能力[7]。公平性问题也被忽视,可能低估或忽略某些客户端的贡献。此外,基于单一标准的客户端选择方法倾向于偏向计算能力强、响应速度快的客户端,这可能导致模型聚合偏差,影响优化过程以及最终结果的全面性和准确性。
(2)静态时间控制方案难以在异构边缘计算环境中适应变化。静态阈值的固定性意味着它们无法随环境变化而调整,这可能导致资源利用控制不足或过度[8],任务完成延迟和资源浪费。此外,它们未考虑数据和系统异构性,可能忽视某些参与者的需求,影响系统的整体性能。此外,静态阈值的僵化性意味着它们无法应对快速变化的环境,可能导致系统无法满足实时需求,降低联邦学习系统的响应能力。
为解决上述问题,我们提出FedMA(具有多标准客户端选择和自适应截止时间确定的联邦学习),一种专为异构边缘计算环境设计的联邦学习框架。其核心目标是同时缓解数据异构性、系统异构性和公平性问题,同时提高训练效率和模型性能。本文的主要贡献总结如下:
(1)新颖的异构性缓解集成框架:我们设计了FedMA,一种统一联邦学习框架,协同集成了多标准客户端选择(MCCS)和自适应截止时间确定(ADD)。与仅解决单一类型异构性或忽视公平性的现有方法不同,FedMA针对边缘联邦学习中数据异构性、系统异构性和选择公平性的三重挑战,在确保包容性参与的同时实现分布式数据资源的高效利用。
(2)用于公平性和数据质量的多标准客户端选择(MCCS):为克服单一标准选择在处理强数据异构性方面的局限性,MCCS综合了三个互补指标:数据量(确保贡献充足性)、数据分布(通过地球移动距离EMD测量以减少分布偏差)和参与频率(一种新颖的面向公平的指标)。这种设计避免了高资源客户端的主导地位,平衡了不同能力设备的参与机会,优化了聚合数据的质量——同时解决数据异构性和公平性问题。
(3)用于动态效率的自适应截止时间确定(ADD):为解决静态定时控制不灵活的问题,ADD通过融合两个核心指标动态调整轮次截止时间:截止时间效率(DDLE,量化客户端参与率与时间成本之间的权衡)和轮次效用(反映训练进度)。与仅考虑客户端响应时间的简单自适应方法不同,ADD同时集成了系统动态(计算/通信能力)和训练动态(损失趋势),有效减少了掉队效应和资源浪费,同时提高了联邦学习系统在动态边缘环境中的响应能力。

章节摘要

相关工作

异构边缘计算环境表现出数据异构性和系统异构性的复杂特征,导致联邦学习任务面临非独立同分布数据特性的问题,影响模型的整体性能和收敛速度。为应对这些挑战,大多数现有工作采用联邦优化技术[9],允许本地客户端采用不同的训练策略来应对异构性,例如添加正则化项或

概述

在联邦学习中,FedMA框架同时应用了这两种框架。基于自适应调整时间,它旨在尽可能最小化端到端延迟。通过使用MCCS方法选择高效用客户端,加速了模型的收敛速度,使模型能在更短时间内达到更高的准确率。MCCS并非现有标准的简单组合。它独特地加权参与频率以平衡客户端

系统模拟

我们在模拟环境中评估了FedMA的性能,为了更好反映真实条件下的性能,随机分配了硬件性能给客户端设备,并根据网络带宽和延迟引入了通信时间差异。此外,使用了真实数据集,并将合成数据集划分以反映现实环境中的不同情况。

数据集和模型

我们在三个数据集(FEMNIST、CIFAR-10和GoogleSpeech)上进行了实验。
FEMNIST是

结论

本研究提出了FedMA,一种集成多标准客户端选择(MCCS)和自适应截止时间确定(ADD)的联邦学习框架,以解决边缘联邦学习中的数据/系统异构性和公平性问题。在FEMNIST、CIFAR-10和GoogleSpeech数据集上的实验证实,FedMA为异构边缘环境提供了强大的准确率-效率权衡:它在FEMNIST上达到最佳准确率,并在

CRediT作者贡献声明

高子怡:撰写 – 审阅与编辑,撰写 – 初稿,软件。孙烨涛:撰写 – 初稿,方法论,调查研究。张流阳:形式化分析,概念化。王瑞:撰写 – 审阅与编辑,验证,监督。朱海燕:验证,监督。

利益冲突声明

作者声明他们不存在可能影响本文所报告工作的已知经济利益冲突或个人关系。

致谢

本工作部分由国家自然科学基金资助,项目编号62173158;部分由国家重点研发计划资助,项目编号2019YFC0119600;部分由海南省重大科技专项资助,项目编号ZDKJ202004。
高子怡目前正在中国北京科技大学计算机与通信工程学院攻读硕士学位。他的研究兴趣包括联邦学习和边缘计算。
高子怡|孙烨涛|张流阳|王瑞|朱海燕
北京科技大学计算机与通信工程学院,北京 100083,中国
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号