随着数据安全和隐私保护意识的提高,边缘计算服务[1]与联邦学习数据联合[2]的结合有效克服了移动边缘计算中资源有限、数据孤岛和数据隐私方面的挑战。这种集成方案为数据密集型应用提供了更高效的解决方案,并已在医疗、智能交通和智能制造等领域得到广泛认可和应用。
尽管取得了巨大成功,但在实际应用中,数据分布、通信网络和边缘设备存在显著差异,使得异构边缘计算环境中的联邦协作面临挑战。在这种环境中,参与者的异构性主要分为两类:(1)数据异构性。不同移动设备地理位置、用户属性或行为模式等因素导致用户间数据分布和数据的差异,呈现出非独立同分布的特征。这可能导致不同参与者的优化方向不一致,从而对模型的整体性能和收敛速度产生不利影响[3]。(2)系统异构性。由于不同客户端本地硬件资源的异构条件,尤其是存储和计算能力的差异[4],以及网络通信速度的差异,客户端上传模型更新时存在不同程度的延迟。这可能导致较慢的客户端需要更长时间上传模型更新,从而影响整个联邦学习过程的公平性[5]。
在异构边缘计算环境中,数据异构性和系统异构性对全局模型的整体性能和收敛速度构成威胁。将所有设备视为平等参与者或仅聚合训练性能好的客户端可能导致模型偏差,进而引发公平性问题[6]。为应对这些挑战,已有各种客户端选择算法被提出以解决联邦学习中的掉队效应问题,即由于数据和系统异构性,某些参与者参数上传出现延迟,导致服务器在等待过程中空闲,增加了全局模型聚合的等待时间,降低了整个系统的效率和性能。然而,这些算法仍存在一定局限性:
(1)基于单一标准的客户端选择算法难以应对不同数据分布下的挑战。单一标准无法有效处理异构边缘计算环境中的多样性、复杂性和动态性,这可能导致模型在不同数据分布下的性能下降,降低模型的泛化能力[7]。公平性问题也被忽视,可能低估或忽略某些客户端的贡献。此外,基于单一标准的客户端选择方法倾向于偏向计算能力强、响应速度快的客户端,这可能导致模型聚合偏差,影响优化过程以及最终结果的全面性和准确性。
(2)静态时间控制方案难以在异构边缘计算环境中适应变化。静态阈值的固定性意味着它们无法随环境变化而调整,这可能导致资源利用控制不足或过度[8],任务完成延迟和资源浪费。此外,它们未考虑数据和系统异构性,可能忽视某些参与者的需求,影响系统的整体性能。此外,静态阈值的僵化性意味着它们无法应对快速变化的环境,可能导致系统无法满足实时需求,降低联邦学习系统的响应能力。
为解决上述问题,我们提出FedMA(具有多标准客户端选择和自适应截止时间确定的联邦学习),一种专为异构边缘计算环境设计的联邦学习框架。其核心目标是同时缓解数据异构性、系统异构性和公平性问题,同时提高训练效率和模型性能。本文的主要贡献总结如下:
(1)新颖的异构性缓解集成框架:我们设计了FedMA,一种统一联邦学习框架,协同集成了多标准客户端选择(MCCS)和自适应截止时间确定(ADD)。与仅解决单一类型异构性或忽视公平性的现有方法不同,FedMA针对边缘联邦学习中数据异构性、系统异构性和选择公平性的三重挑战,在确保包容性参与的同时实现分布式数据资源的高效利用。
(2)用于公平性和数据质量的多标准客户端选择(MCCS):为克服单一标准选择在处理强数据异构性方面的局限性,MCCS综合了三个互补指标:数据量(确保贡献充足性)、数据分布(通过地球移动距离EMD测量以减少分布偏差)和参与频率(一种新颖的面向公平的指标)。这种设计避免了高资源客户端的主导地位,平衡了不同能力设备的参与机会,优化了聚合数据的质量——同时解决数据异构性和公平性问题。
(3)用于动态效率的自适应截止时间确定(ADD):为解决静态定时控制不灵活的问题,ADD通过融合两个核心指标动态调整轮次截止时间:截止时间效率(DDLE,量化客户端参与率与时间成本之间的权衡)和轮次效用(反映训练进度)。与仅考虑客户端响应时间的简单自适应方法不同,ADD同时集成了系统动态(计算/通信能力)和训练动态(损失趋势),有效减少了掉队效应和资源浪费,同时提高了联邦学习系统在动态边缘环境中的响应能力。