通过最大化通信渠道利用率来加速非独立同分布（Non-IID）数据上的联邦学习

《IEEE Transactions on Networking》：Expediting Federated Learning on Non-IID Data by Maximizing Communication Channel Utilization

联邦学习通过参数通信渠道实现间接数据共享，但非-iid数据导致噪声渠道限制信息传输容量。本文建立GSNR量化指标，证明其主导信道容量，提出FedGSNR优化方法提升利用率，加速收敛并解决客户端贡献评估难题。

　　

摘要：

联邦学习（FL）是智能互联网架构的核心。它允许客户端在不直接共享数据的情况下共同训练模型。在这个过程中，客户端和中央服务器通过由参数构成的通信渠道来交换信息。然而，客户端中的非独立同分布（non-iid）训练数据显著影响了模型的全局收敛性，并给局部贡献的评估带来了困难。大多数现有研究试图通过提高一致性、减少方差或使用正则化方法来扩展通信渠道，但这些方法忽略了一个重要因素，即渠道利用率，因此它们共享信息的能力没有得到充分利用。此外，贡献评估的问题仍然没有解决。在本文中，我们通过将FL的间接数据共享建模为信息通信问题，同时解决了前两个挑战（即模型收敛性和贡献评估）。我们证明了使用非独立同分布数据的FL会形成噪声较大的通信渠道，这些渠道的信息传输能力有限，即通道容量有限。决定通道容量的主要因素是梯度信噪比（GSNR）。通过分析GSNR，我们进一步证明了可以通过最优的局部更新来达到通道容量，并提出了一种名为FedGSNR的方法来计算它，这种方法能够最大化FL中的渠道利用率，从而加快模型收敛速度。此外，由于局部数据集的贡献取决于所提供的信息量，因此计算出的GSNR使服务器能够准确评估不同客户端的贡献（即局部数据集的质量）。

引言

联邦学习（FL）[25] 是智能互联网架构[37]、[40] 的核心。它关注的是多个客户端在不直接共享数据的情况下协作训练模型的实际场景。通常，FL会将全局模型发送给不同的客户端，然后所有客户端使用自己的数据集对全局模型进行优化，而这些数据集在现实中总是遵循非独立同分布。最后，优化结果会将局部数据集的信息反馈给服务器进行汇总。简而言之，服务器和所有客户端通过传输梯度来交换信息，即模型梯度构成了一个逻辑通信渠道。特别是像FedAvg [25] 这样的FL算法通常通过多次局部更新来加速全局模型的收敛，这些更新将更多来自局部数据集的信息加载到共享的梯度中。