FedGPA：基于全局个性化聚合的联邦学习新框架及其在异构数据下的性能优化

为解决联邦学习(FL)在非独立同分布(non-IID)数据场景下的性能瓶颈问题，Zongfu Han团队提出FedGPA框架。该研究通过原型对齐的局部-全局正则化损失和模块化个性化聚合策略，在五个基准数据集上验证了方法的优越性。研究创新性地将模型解耦为特征提取器(f)和分类器(c)，分别设计聚合策略，显著提升了在类别分布和样本数量双重异构场景下的模型性能，为个性化联邦学习(PFL)提供了新思路。

　　

在人工智能医疗和移动计算蓬勃发展的今天，数据隐私保护与协同建模的需求催生了联邦学习(Federated Learning, FL)技术。然而现实世界中，医疗影像、可穿戴设备等场景产生的数据往往呈现"数据孤岛"特性——不仅分布在不同的终端设备上，更存在严重的非独立同分布(non-IID)问题。就像不同医院的病历系统可能侧重不同病种，用户的手机输入法也各有输入偏好，这种数据异构性导致传统FL方法如FedAvg训练出的全局模型在个体客户端上表现欠佳。

针对这一挑战，北京邮电大学计算机学院的Zongfu Han团队在《AI Open》发表了创新性研究。现有解决方案主要存在两个局限：一是单模型方法如FedProx、SCAFFOLD难以兼顾所有客户端的个性化需求；二是多模型方法如FedPer又面临计算成本高和泛化性不足的问题。更关键的是，鲜有研究同时考虑客户端本地模型的调整和服务端聚合权重的优化。

研究团队提出的FedGPA框架包含两大核心技术：首先，通过原型(prototype)驱动的局部-全局对齐机制，在客户端训练时引入基于原型的正则化损失，将全局信息整合到本地模型中。具体而言，计算每个类别的本地原型C_i^(k)和全局原型C?^(k)，通过最小化二者距离实现特征空间对齐。其次，在服务端实施模块化个性化聚合，将模型解耦为特征提取器f(·)和分类器c(·)，分别设计聚合策略：对特征提取器采用基于原型相似性和样本量的加权聚合(α_i,j)，而对分类器则通过求解二次规划问题获得最优权重(β_i,j)。

关键技术方法包括：1) 在五个基准数据集(FMNIST/EMNIST/CIFAR等)上构建三种异构数据场景；2) 采用卷积神经网络(CNN)作为基础架构；3) 设计原型矩阵计算和距离度量方法；4) 实现基于欧式距离的权重分配算法；5) 应用二次规划优化分类器聚合。

研究结果部分显示：

1. 1.

   模型性能：在Data Heterogeneity Setting 1下，FedGPA在CIFAR-10上达到76.73%准确率(s=20)，比FedPAC提高0.39%；在CIFAR-100上以55.79%超越基准方法9.83%。

2. 2.

   消融实验：逐步添加LGA、GPA(c)和GPA(f)模块时，CINIC-10数据集准确率从54.21%提升至64.40%，证明各组件均有贡献。

3. 3.

   权重可视化：热图分析显示特征提取器的权重分布(α)比分类器权重(β)更均匀，印证了设计理念。

4. 4.

   参数调优：超参数μ在0.4-0.6区间能平衡原型相似性与样本量的影响。

5. 5.

   扩展性测试：客户端数量从20增至100时，FedGPA仍保持80.13%的稳定性能。

讨论部分指出，FedGPA的创新性体现在三个方面：一是首次将原型对齐与个性化聚合有机结合；二是提出模块化差异聚合策略；三是通过严格的数学推导确保算法收敛性。相比需要共享数据的FedFTG和计算复杂的FedHC，该方法在保护数据隐私的同时，仅增加O(m²|w|)的计算复杂度。在医疗影像分析、个性化推荐等场景中，这种能同时处理类别分布偏斜和样本量差异的框架具有重要应用价值。

未来工作将聚焦于降低通信开销，并探索与差分隐私等技术的结合。该研究为联邦学习在医疗健康等敏感数据领域的应用提供了新的技术路径，其模块化设计思想也对其他分布式机器学习算法具有启发意义。