异构无线联邦学习中基于AIMD机制的长期收敛优化方法

《Scientific Reports》：LESA: Lyapunov-controlled wireless federated learning with adaptive straggler mitigation

　　

摘要

无线联邦学习（FL）已成为一种有前景的解决方案，能够从无线智能客户端上的分布式本地模型生成全局模型。然而，面对具有不平衡且非独立同分布（non-IID）数据分布的异构客户端，该技术面临诸多挑战。这些挑战导致客户端出现拖尾（straggler）现象、计算和通信资源分配效率低下，从而导致学习效果不佳。为解决上述问题，本文利用随机优化问题，构建了在异构客户端存在情况下无线联邦学习系统的长期收敛模型。采用Lyapunov漂移加惩罚（drift-plus-penalty）框架，将长期优化问题分解为一系列可处理的分轮次子问题。该分解方法可针对客户端调度、通信与计算资源分配以及每个客户端的本地训练轮数进行求解。值得注意的是，本文提出了一种加法增大乘法减小（AIMD）机制，用于在每个全局轮次自适应地调整每个客户端的本地训练轮数。该机制能够有效缓解由数据分布不平衡、信道条件差以及计算能力有限所引起的拖尾客户端效应。大量实验结果表明，所提出的算法在非独立同分布数据条件下，在收敛速度、学习准确率和长期能量稳定性方面均优于现有基准方法。