FedAPE：一种基于注意力引导聚合和原型增强的异构联邦学习方法

《Future Generation Computer Systems》：FedAPE: Heterogeneous Federated Learning with Attention-guided Aggregation and Prototype Enhancement

原型引导的异构联邦学习通过原型传输减少通信开销同时保护客户端隐私，但现有方法存在三方面局限：1）传统原型平均忽略类内差异；2）对客户端特征空间类别分布不平衡敏感；3）异构环境泛化能力受限。本文提出FedAPE框架，包含注意力引导的特征聚合机制、本地训练的对比学习目标以及自适应原型增强策略，有效解决类内差异捕捉、类别不平衡补偿和异构环境泛化问题。实验表明FedAPE在CIFAR-10、CIFAR-100和GTSRB数据集上分别提升2.82%、5.65%和2.94%的测试精度。

　　

王晓|吴正达|朱京华

黑龙江大学计算机科学与技术学院，哈尔滨，150000，中国

摘要

基于原型的异构联邦学习作为一种高效范式应运而生，它通过原型传输减少了通信开销，同时保护了客户端隐私。然而，现有方法存在三个关键限制：1）传统的原型平均方法忽略了类内差异；2）对客户端特征空间中类别分布不平衡敏感；3）在异构环境中的泛化能力受限。本文提出了FedAPE——一种新颖的基于注意力引导的聚合和原型增强框架，用于异构联邦学习。我们的技术贡献有三个方面：首先，我们开发了一种基于注意力的特征聚合机制，动态捕捉类内相似性模式以学习具有区分性的特定类别原型；其次，我们引入了一个对比学习目标，在本地训练过程中明确强制实现类间可分性和类内紧凑性；第三，我们设计了一种自适应原型增强策略，在特征空间中代表性不足的区域合成伪原型，有效补偿了类别分布不平衡。在CIFAR-10、CIFAR-100和GTSRB数据集上的全面评估表明，FedAPE优于现有方法，在异构模型配置中分别实现了2.82%、5.65%和2.94%的准确率提升。这些结果验证了我们的框架在处理特征异质性和类别不平衡场景方面的增强能力。

引言

随着智能设备的快速普及和发展，边缘计算已成为处理大量分布式数据的关键计算范式[1]。传统的集中式机器学习方法需要在中央服务器上聚合所有数据，这引发了严重的隐私问题，并需要大量的通信资源。联邦学习（FL）是一种新兴的分布式机器学习框架，它通过允许多个参与者协作训练模型来应对这些挑战，同时保护数据隐私[2]。在典型的联邦学习框架中，参与者使用自己的数据进行本地训练，仅将模型参数上传到服务器。服务器汇总这些参数以更新全局模型，然后将其分发给参与者进行后续训练。

然而，在实际应用中部署FL面临两个关键挑战：系统异质性和数据异质性。系统异质性源于客户端设备在计算能力、内存容量和电池寿命方面的差异，这通常使得大型模型的统一部署变得不切实际[3]、[4]、[5]、[6]、[7]、[8]、[9]、[10]。数据异质性表现为非独立同分布（non-IID）数据，其中不同客户端之间的数据分布可能存在显著差异[11]、[12]、[13]、[14]。传统的联邦学习方法（如FedAvg[15]）要求所有客户端训练相同的模型结构，在面对这两种异质性时表现不佳。

为了解决系统和数据异质性的挑战，异构联邦学习应运而生，允许客户端部署具有不同结构的模型[16]、[17]、[18]、[19]。现有的异构联邦学习方法可以分为两类：需要公共数据集的知识蒸馏方法和不依赖公共数据集的方法。前者以FedMD[20]和FedDF[21]为代表，它们依赖于高质量的公共数据集，限制了其实际应用性。后者包括FedRep[22]、LG-FedAvg[23]和FedGen[24]，它们避免依赖公共数据，但通常将模型分为特征提取器和分类头，只共享一个组件。这种方法可能会降低通信效率，并阻碍全局知识的捕获[25]。

具体来说，FedGH[19]通过共享全局预测头取得了进展。然而，其简单的类原型聚合平均机制忽略了类内差异，可能导致次优的原型学习结果。此外，现有方法通常忽略了两个关键问题：提高客户端特征表示学习的粒度以及解决全局头训练中的类别不平衡问题。这些限制严重限制了异构联邦学习在高度非独立同分布（highly non-IID）环境中的有效性。

为了解决这些挑战，我们提出了FedAPE（基于注意力引导的聚合和原型增强的异构联邦学习），这是一个包含三个关键创新的协作优化框架：1）一种基于注意力的特征聚合策略，使用双重相似性度量动态评估类内相似性（图1(b)展示了我们的方法如何结合表示质量和相关性，与图1(a)中的传统平均聚合不同）；2）在本地训练期间整合对比学习以增强特征学习的粒度；3）一种自适应原型增强机制，以减轻服务器端全局模型训练中的类别不平衡问题。我们的贡献总结如下：

• •
  我们引入了一种基于注意力的特征聚合机制，动态评估类内样本相似性，以生成更具代表性的类别原型。这与对比学习策略相结合，增强了特征表示的类间可分性和类内紧凑性。
• •
  我们设计了一种自适应原型增强算法，通过差异化的合成策略有效减轻分类偏差并解决非独立同分布（non-IID）环境中的类别不平衡问题。
• •
  在CIFAR-10、CIFAR-100和GTSRB数据集上的全面实验表明，FedAPE在异构模型环境中显著优于基线方法，分别实现了2.82%、5.65%和2.94%的平均测试准确率提升。

相关工作

相关工作

异构联邦学习（HtFL）是一种关键技术范式，它在保护用户隐私的同时支持模型异质性和统计异质性[26]。基于模型划分和共享机制，HtFL可以分为两种主要架构方法。

第一种方法将模型划分为特征提取器和分类器，通过组件共享实现异构协作。例如FedRep[22]、FedGC[27]和FedBABU[28]

问题陈述

我们考虑一个由中央服务器和N个客户端设备{1, 2, ..., N}组成的联邦学习系统。每个客户端k拥有一个本地数据集D_k，其数据分布通常具有非独立同分布（non-IID）特性。在异构联邦学习框架中，每个客户端上的本地模型由两个关键组件组成：

$P_k$