针对模型异构性个性化联邦学习的专家组合

《IEEE Networking Letters》：Mixture of Specialized Experts for Model-Heterogeneous Personalized Federated Learning

联邦学习在解决数据异构性和模型结构差异问题时，常面临性能与计算成本的平衡难题。本文提出FedMoEKD算法，基于混合专家（MoE）框架引入动态路由机制和解耦训练策略，通过知识蒸馏强化本地专家模型的专业性，在CIFAR-10数据集上较FedProto提升0.58%准确率，同时降低58%计算开销，且在多个数据集上验证了其收敛速度和模型精度优势。

　　

摘要：

联邦学习是一种分布式机器学习范式，旨在促进协作式模型训练的同时保护用户数据隐私。然而，在实际应用中，数据和模型的异质性已成为其广泛应用的重大障碍。现有的模型异质个性化联邦学习（MHPFL）算法通常需要在性能和计算成本及通信成本之间进行权衡。为了解决这个问题，我们提出了一种基于专家混合（MoE）框架的新型MHPFL算法FedMoEKD，该算法采用了动态路由机制和解耦的训练策略。这种方法将本地MoE训练分离出来，并通过知识蒸馏增强本地专家模型的专业化能力。通过专注于专家的专业化，FedMoEKD在性能上优于现有方法，同时保持最小的计算和通信开销：在CIFAR-10数据集上的准确率至少提高了0.58%，计算开销比FedProto降低了58%。在多个数据集上进行的广泛实验表明，FedMoEKD在收敛速度和模型准确性方面均优于现有的MHPFL方法。

引言

联邦学习（FL）是一种去中心化的学习范式，它能够在不共享原始数据的情况下实现协作式模型训练，从而在隐私保护方面具有固有的优势。尽管潜力巨大，但由于客户端之间的异质性，FL尚未实现最初设想的平稳和稳定的训练过程。这种异质性源于本地数据分布的差异以及不同客户端对不同模型架构的需求。