异构边缘计算环境中分裂联邦学习的性能优化

《IEEE Transactions on Industrial Informatics》：Performance Optimization of Split Federated Learning in Heterogeneous Edge Computing Environments

针对联邦学习客户端计算能力异构导致的训练延迟问题，提出异构分联邦学习框架，通过个性化分层选择和服务器资源配置优化客户端负载、批量大小及服务器资源分配，采用交替迭代调度算法解决设备异构性影响，实验表明其性能提升最高达32.2%。

　　

摘要：

在联邦学习（FL）中，不同客户端的计算能力可能存在差异，这会导致在部署复杂的深度神经网络时训练延迟较长。为了解决这一问题，分割联邦学习（SFL）提出了一种方法，该方法将主要的计算任务从资源受限的设备卸载到服务器上，同时实现并行训练。然而，现有的SFL框架存在两个主要局限性：采用统一的切层策略未能考虑客户端之间的异构性；它也没有有效地利用服务器端资源来提高训练效率。本文提出了一种框架，即异构分割联邦学习（HSFL），该框架通过考虑个性化的切层选择和服务器资源配置来加速异构边缘计算环境中的SFL。通过将全局模型分为每个客户端对应的两个部分，我们的框架在考虑设备异构性的同时，共同优化了客户端端的工作负载、批量大小控制以及服务器资源配置策略。具体来说，我们开发了一种交替迭代调度算法，以获得切层、批量大小和服务器资源配置的近似方案，从而减轻设备异构性的影响。实验结果表明，在各种数据分布场景下，HSFL的性能优于其他方法，两个数据集的性能提升幅度高达3.9%至32.2%，这证明了所提出策略的有效性。

引言

联邦学习（FL）[1]是一种分布式、并行且注重隐私保护的框架，允许多个客户端协同训练全局模型。在服务器的协调下，网络边缘的客户端在本地数据集上并行训练模型，并在指定训练轮次后将模型发送到服务器进行汇总，而无需共享原始数据。由于其优势，FL有效地解决了边缘计算环境中的带宽成本和隐私保护问题[2]、[3]。