pFedLoRA：一种模型异构的个性化联邦学习方法，采用同构的低秩适配器在移动边缘设备上进行数据共享

《IEEE Transactions on Mobile Computing》：pFedLoRA: Model-Heterogeneous Personalized Federated Learning with Homogeneous Low-Rank Adapter Sharing on Mobile Edge Devices

针对模型异构个性化联邦学习中的数据与模型异质性问题，提出基于共享同构LoRA适配器的pFedLoRA框架，通过迭代训练实现全局-本地双向知识传递，实验表明其计算和通信成本分别降低11.81倍和7.41倍，模型精度优于9种基线方法。

　　

摘要：

联邦学习（FL）是一种新兴的机器学习范式，其中中央服务器协调多个参与者（FL客户端）协作训练分散的数据。在实际应用中，FL经常面临数据、系统和模型的异构性问题，这促使了模型异构个性化联邦学习（MHPFL）领域的发展。然而，现有的MHPFL方法依赖于额外的公共数据，或者忽略了客户端之间本地私有异构模型与共享的均匀模型之间的关系。这导致了模型性能不佳、计算开销高以及通信成本高的问题。为了解决这一难题，我们提出了一种基于共享均匀低秩适配器（LoRA）的新型高效模型异构个性化联邦学习框架（pFedLoRA），LoRA在微调预训练模型方面非常流行。具体来说，我们设计了一种轻量级的均匀适配器，而不是使用传统的LoRA，以促进每个客户端使用我们提出的迭代训练方法进行异构本地模型的训练，并实现全局-局部的双向知识交换。这些均匀的本地适配器在FL服务器上被聚合，生成一个全局适配器。我们从理论上证明了该框架的非凸收敛速率为O(1/T。在5个数据集上的实验表明，pFedLoRA在模型准确性方面优于9种最先进的基线方法，同时计算开销降低了11.81，通信成本降低了7.41。