FedPGP：基于原型引导梯度投影的非独立同分布联邦学习

《Neurocomputing》：FedPGP: Prototype-guided gradient projection for non-IID federated learning

　　

•原型引导的梯度投影方法缓解了客户端漂移问题。
•混合类原型实现了轻量级的跨客户端知识迁移。
•逐层投影纠正了局部梯度方向中的冲突。
•投影过程在不增加梯度范数的前提下保留了原型知识。
•实验表明，在数据倾斜条件下，准确率和通信效率均有所提升。

## 引言

神经网络在智慧医疗、工业监测和移动边缘计算中的日益广泛应用，增加了从分布式数据源学习的迫切需求[1], [2], [3]。然而，由于隐私要求、数据法规以及通信成本的限制，来自不同机构、设备和边缘节点的原始数据无法被直接集中。联邦学习（FL）使多个客户端能够在不共享原始数据的前提下协同训练模型，是隐私保护机器学习的一个重要范式[1], [4]。

在联邦学习中，非独立同分布（non-IID）数据常表现为标签分布倾斜，即各类别在不同客户端上的比例存在显著差异。在此类倾斜条件下，局部模型倾向于学习偏向本地观测类别的判别性结构。这种偏差同时影响分类器参数和中间特征空间，从而导致客户端更新方向之间产生冲突。已有研究表明，标签分布倾斜会降低联邦模型的收敛速度和最终性能[3], [5], [6], [7]。因此，在保持本地适应性的同时维持全局判别性结构，仍然是联邦学习面临的重要挑战。

现有研究主要从三个角度解决由标签分布倾斜引起的客户端漂移问题。第一类方法通过正则化或漂移校正项修改局部目标函数，以缩小局部与全局优化之间的分歧[8], [9], [10], [11], [12]。这些方法易于集成到局部训练过程中，但其效果取决于所选正则化的类型。第二类方法利用辅助状态、控制变量或方差缩减机制来校正局部或聚合后的更新[13], [14], [15], [16], [17]。这些方法可以稳定联邦优化过程，但会带来额外的存储、计算或通信开销。第三类方法通过特征表示、知识蒸馏或类别级语义信息来迁移全局知识[18], [19], [20], [21], [22]。尽管这些方法提供了超越参数聚合的信息，但它们通常依赖于额外的训练目标、共享数据或服务端融合。此外，它们并未直接刻画局部梯度方向与全局类结构之间的关系。

近年来，基于原型的联邦学习引起了越来越多的关注。类原型表示特征空间中某个特定类别的中心或语义锚点。与原始数据相比，原型的数据泄露风险通常更低，同时相比完整的模型参数，它们提供了更直接的类结构表示。已有研究利用原型来减少客户端之间的特征分布差异，并改善数据异质性条件下的模型训练[23], [24], [25], [26], [27]。这些研究表明，原型可以为分布式神经网络训练提供跨客户端的类参考信息。

然而，现有基于原型的方法主要将原型用于特征对齐、知识蒸馏或个性化建模[23], [24], [28]。这些方法通常会引入辅助损失来强制局部特征或原型与全局原型之间的一致性，因此其效果主要局限于特征空间的表示约束。但是，当某个客户端没有特定类别的训练样本时，它无法为该类别构建可靠的局部表示或原型。对于这样的客户端而言，没有可用的局部样本来作为锚点，以使全局原型与局部特征空间对齐。因此，通过传统的原型对齐方法，全局的缺失类知识难以被有效地融入局部优化过程。在严重的标签分布倾斜下，局部经验风险梯度仍然由本地观测到的类别所主导，导致局部更新方向持续偏向本地的类结构。因此，仅靠原型距离约束或特征级对齐可能不足以直接纠正局部更新方向。

从优化的角度来看，在non-IID数据下训练的困难可以被视为局部与全局目标的梯度方向之间的不匹配[8], [13]。局部梯度指示了客户端私有经验风险的下降方向，而全局优化则寻求在所有客户端联合数据分布上最小化风险。如果局部梯度持续偏向客户端特定的数据分布，则聚合后的更新可能会偏离全局经验风险的下降方向。这种偏离会削弱联邦优化的稳定性并损害全局模型的泛化性能。此外，在持续学习中也存在类似的冲突，其中利用梯度约束或参数正则化来减少新任务更新对已有知识造成的损害[29], [30]。这一视角为异构联邦学习提供了有益的启示。尽管持续学习与联邦学习在问题设定上有所不同，但二者都涉及当前更新对已有或共享知识的影响。在联邦学习中，刻画局部更新与跨客户端共享知识之间的方向性关系，可能有助于识别有害的局部更新偏差。这一观察促使我们在梯度空间中对局部更新进行直接校正。

综上所述，本工作聚焦于联邦学习中的标签分布倾斜问题。核心问题在于局部经验风险梯度的方向性偏差与全局模型应当保持的跨客户端类知识之间的矛盾。局部小批量梯度可能在降低客户端所观测类别上的经验风险的同时，与共享类判别信息所对应的方向背道而驰。在这种冲突下反复进行局部更新，可能会破坏全局的判别性结构。本工作所考虑的具体问题是：如何构建跨客户端类知识的轻量级表示，并利用它来识别和纠正局部更新中的冲突分量，同时保持本地适应性并避免原始数据共享或额外的生成模型。

基于上述分析，我们提出了联邦原型引导投影方法（FedPGP），一种面向联邦学习的原型引导梯度投影方法。借鉴了持续学习中GEM的梯度约束原理，FedPGP利用跨客户端构建的全局原型池来表示联邦学习中的共享类知识。FedPGP并不将原型视为标准的特征正则化工具。相反，它将全局原型池通过神经网络的下游层传播，并根据由此产生的原型损失计算原型诱导梯度。该梯度捕获了原型池所承载的跨客户端判别性知识，但并不直接用于更新模型参数。FedPGP不需要原始数据上传、额外的生成器训练，也不需要维护公共数据集。因此，它可以通过轻量级的原型池迁移跨客户端类知识，而不必直接共享原始数据或个体样本表示。

具体来说，在局部训练完成后，每个客户端从选定的网络层中提取类特定表示，并利用它们构建局部类原型。原型提取层可根据网络架构和任务特性进行选择。为降低个体样本表示的暴露风险，每个客户端将同一类别的表示进行混合以生成混合原型。服务端收集按类别上传的混合原型，并通过随机划分和样本量加权聚合来构建全局原型池。在下一轮局部训练中，每个客户端利用全局原型池计算原型诱导梯度，同时利用其私有数据计算局部经验风险梯度。当这两个梯度的内积为负时，FedPGP检测到当前局部更新中存在梯度冲突，随后将局部梯度投影到其原型诱导梯度内积非负的可行域中。通过这一机制，FedPGP将原型信息从辅助特征级约束转化为梯度空间中的方向性校正信号。全局原型池因此不仅传递了类知识，还直接引导了局部模型优化方向的校正。FedPGP的总体框架如图1所示。

我们的主要贡献总结如下：

1. 我们提出了FedPGP，一种原型引导的梯度投影框架。FedPGP从全局原型池构建原型诱导梯度，并在该梯度与局部经验风险梯度的内积为负时施加投影校正。

2. 我们设计了混合原型上传机制和基于划分的加权原型聚合策略。上传机制通过混合同类别内的表示来降低个体样本表示的暴露风险。聚合策略在保持类内多样性的同时，控制了全局原型池的通信开销。

3. 我们从理论上刻画了FedPGP的最小校正性质、原型损失的一阶可控性以及非凸收敛界。我们证明了逐层投影是在方向性约束下满足条件的最小欧氏校正，且不会放大梯度范数。我们还建立了保持标准一阶平稳率的充分条件。

4. 我们在多个图像分类基准上，针对不同non-IID设置进行了实验。结果表明，FedPGP在最终准确率以及达到目标准确率所需的通信轮次数方面，均优于大多数代表性的联邦学习基线方法。

本文其余部分组织如下：第2节回顾数据异质性下的联邦学习、基于原型的联邦学习以及梯度投影。第3节介绍FedPGP，包括混合原型和全局原型池的构建、原型诱导梯度的计算以及逐层投影校正。第4节建立FedPGP的最小扰动性质、一阶原型保持性、多原型稳定性和非凸收敛性分析。第5节描述数据集、基线方法、模型架构和实验设置。第6节报告准确率和通信结果，并分析梯度冲突机制和参数敏感性。第7节讨论与现有聚合机制的兼容性以及向个性化联邦学习、异构模型和形式化隐私保护等方向的潜在扩展。最后，第8节对全文进行总结。

## 章节片段

### 数据异质性下的联邦学习

联邦学习中的数据异质性会在客户端局部目标与全局目标之间造成不匹配。在non-IID数据条件下，局部更新受到本地类别比例、样本数量和数据采集环境的影响。这些因素可能导致局部更新方向偏向客户端特定的数据分布。经过多轮局部训练和服务端聚合，这种偏差可能累积并导致客户端漂移。Zhao等人较早地分析了non-IID

### 问题形式化

本节形式化non-IID数据下的基本学习问题。考虑一个包含客户端的联邦系统，以索引。客户端持有私有局部数据集，其中表示输入样本，表示其类别标签。这里，是类别数量，是客户端持有的样本数量。所有客户端的总样本数为。

服务端旨在训练一个全局模型，且不接触任何客户端的原始数据。令表示神经网络参数，令表示

### 理论分析

本节从四个角度分析FedPGP：投影几何、原型知识保持、多原型的统计稳定性以及非凸收敛性。详细证明见附录A。

### 数据集

为评估FedPGP在异构联邦学习设置下的表现，我们在四个图像分类基准上进行了实验：MNIST [42]、Fashion-MNIST [43]、SVHN [44]和CIFAR-10 [45]。

在联邦学习实验中，我们将每个训练集分配到20个客户端。在每个通信轮次中，服务端随机选择70%的客户端参与训练。我们使用Dirichlet分布来构建non-IID数据划分。具体而言，每个类别的训练样本被分配至

### 准确率

表1报告了在规定的训练预算内获得的最终测试准确率。FedPGP在12种数据集与non-IID设置中的10种设置下取得了较高的最终准确率。在所有设置的平均值上，FedPGP的准确率比FedAvg高出5.64个百分点。与四种最近提出的基线方法相比，其平均准确率分别比FedFed、FedLDR、FedVLS和FedTGP高出2.45、2.91、9.41和3.11个百分点。

FedPGP的表现

### 讨论

实验结果和分析表明，当non-IID数据导致局部优化方向与共享类信息之间产生冲突时，FedPGP可以有效发挥作用。本节讨论该方法与现有联邦学习框架的兼容性以及若干可能的扩展方向。

FedPGP在原理上与现有的联邦聚合机制兼容。其核心贡献是将基于原型的正则化方法（如FedProto）扩展到梯度空间校正。FedPGP构建了

### 结论

为解决non-IID数据下联邦神经网络训练中的客户端漂移和局部更新方向性偏差问题，我们提出了FedPGP，一种原型引导的联邦梯度投影方法。FedPGP利用客户端上传的混合类原型构建全局原型池，并利用该原型池计算原型诱导梯度。

在本地训练过程中，FedPGP 能够检测局部经验风险梯度与原型诱导之间的负内积冲突。

CRediT 作者贡献声明
柳纯桐：撰写—审阅与编辑，撰写—初稿，验证，方法论。范金美：验证，资源，调查研究。张云海：撰写—审阅与编辑，验证，调查研究，经费获取。

数据与代码可用性
FedPGP 的原始数据和代码已公开于 https://github.com/Liu-Chuntong/FedPGP。

写作过程中生成式人工智能及人工智能辅助技术的声明
在本研究的撰写过程中，使用了生成式人工智能工具 ChatGPT 进行语言润色、翻译辅助和代码调试。所有人工智能辅助输出的内容均经过仔细审核和必要的编辑修改。本文的核心方法论思想、理论推导、实验设计、实验结果、分析及结论均由作者独立完成。作者对本手稿的内容承担全部责任。

利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

致谢
本工作受国家自然科学基金（批准号：12561098 和 12061027）以及桂林理工大学博士科研基金（批准号：GUTQDJJ2007027 和 GUTQDJJ2018033）资助。

柳纯桐目前是桂林理工大学数学与统计学院硕士研究生，中国桂林。他的研究方向包括数据隐私与联邦机器学习。柳纯桐 | 范金美 | 张云海