一种保证公平性的半异步联邦学习框架

《IEEE Transactions on Network Science and Engineering》：A Fairness-Guaranteed Framework for Semi-Asynchronous Federated Learning

联邦学习（FL）通过分布式训练保护数据隐私，但同步FL效率低，异步FL系统开销大。半同步FL在效率与开销间权衡，但资源受限环境下客户端调度不公。本文提出Libra框架，通过限制过快训练设备、基于参与度选择旧模型、结合资源与本地损失的不公平调度策略，在公平性与效率间取得平衡，实验验证其在收敛精度、系统开销和公平性上的优越性。

　　

摘要：

联邦学习（FL）是一种有前景的分布式机器学习框架，它允许客户端在不泄露数据的情况下协作训练全局模型。同步FL由于速度较慢的客户端（称为“落后者”）的存在，导致训练效率低下。尽管异步FL能够有效解决效率问题，但它会引入大量的系统开销和模型退化。作为一种兼顾同步FL和异步FL优缺点的框架，半异步FL受到了越来越多的关注。然而，当客户端的资源成为瓶颈时，不公平的客户端调度可能会降低全局训练的准确性并增加系统开销，尤其是在异构环境中。在本文中，我们提出了Libra，这是一个新的FL框架，旨在实现半异步FL模式下的公平客户端调度。Libra根据模型差异限制训练速度过快的设备，并根据参与FL训练的客户端数量选择过时的本地模型。此外，Libra在考虑客户端资源和本地损失的同时进行有偏的客户端选择。实验结果表明，Libra在收敛准确性、系统开销和客户端参与公平性方面优于其他基线方法。我们还进行了消融研究以进一步证明Libra的有效性。总之，Libra能够实现公平的客户端调度并减少低效的本地更新。

引言

联邦学习（FL）[2]作为一种有前景的框架，已被用于在边缘设备上进行分布式机器学习[3]、[4]、[5]。传统上，数据驱动的机器学习需要大量数据集中处理，这对于越来越重视数据隐私保护的现代数据所有者来说是不可接受的。为此，FL允许设备将模型传输到中央参数服务器进行聚合，而无需共享它们的私有数据[6]、[7]、[8]、[9]、[10]、[11]。