在概念漂移情况下的联邦学习的信息论分析

《IEEE Transactions on Network Science and Engineering》：An Information-Theoretic Analysis for Federated Learning under Concept Drift

针对联邦学习在动态数据流中的概念漂移问题，本文基于信息理论提出算法，建模漂移为马尔可夫链，推导稳态泛化误差上界，分析三种漂移模式影响，并设计正则化方法提升长期性能，通过树莓派测试平台验证有效性。

　　

摘要：

近期在联邦学习（FL）领域的研究通常使用静态数据集来训练模型。然而，现实世界中的数据往往以数据流的形式出现，且其分布会发生变化，从而导致性能下降，这种现象被称为“概念漂移”。本文利用信息论分析了联邦学习在概念漂移情况下的性能，并提出了一种算法来减轻性能下降。我们将概念漂移建模为马尔可夫链，并引入了“静态泛化误差”来评估模型捕捉未来未见数据特征的能力。该误差的上界是通过KL散度和互信息推导出来的。我们研究了三种漂移模式（周期性、渐进性和随机性）及其对联邦学习性能的影响。受此启发，我们提出了一种算法，该算法通过结合KL散度和互信息来规范经验风险最小化过程，从而提升模型的长期性能。此外，我们还通过确定帕累托前沿来探讨性能与成本之间的权衡。为了验证我们的方法，我们使用Raspberry Pi4设备搭建了一个联邦学习测试平台。实验结果与理论分析一致，证实了漂移模式对性能有显著影响。我们的方法在这三种漂移模式下均优于现有方法，证明了其在应对联邦学习中的概念漂移方面的有效性。