SeqFedEDT：通过逐元素解耦训练加速非独立同分布（non-IID）数据上的序列联邦学习

《IEEE Transactions on Mobile Computing》：SeqFedEDT: Accelerating Sequential Federated Learning on non-IID Data via Element-wise Decoupled Training

本文提出SeqFedEDT框架，通过分离共享与个性化参数子集解决顺序联邦学习中的异质性数据分布问题，采用梯度、Fisher信息及参数重要性三种评分指标优化个性化参数选择，并设计分位数阈值机制，实验表明该框架在多种数据集和异质性场景下优于八种基线方法。

　　

摘要：

序列联邦学习（SFL）以链式方式在客户端之间协同训练模型。与传统采用星形拓扑结构的并行联邦学习（FL）相比，这种顺序能够提高通信效率。然而，当客户端之间的本地数据分布存在显著统计异质性时，SFL可能无法产生稳定的训练结果。为了解决这些问题，我们提出了一种新颖的逐元素模型解耦框架SeqFedEDT，通过将每个客户端的模型参数分为用于全局知识协作的共享子集和用于处理数据异质性的个性化子集来加速SFL训练。我们基于梯度、费希尔信息（Fisher information）和参数重要性（Parameter Importance, PI）探索了三种参数贡献评分指标，以实现个性化参数选择。此外，我们还提出了一种基于分位数的阈值机制来区分共享子集和个性化子集，并在数值研究中探索了最佳的分位数选择方案。大量实验表明，SeqFedEDT在各种数据集和异质性场景下均优于八种现有的最先进方法。所有代码和结果均可在https://github.com/tian0920/SeqFedEDT获取。