GC-Fed:一种基于梯度集中式联邦学习的方法,允许部分客户端参与

《Information Fusion》:GC-Fed: Gradient Centralized Federated Learning with Partial Client Participation

【字体: 大 中 小 】 时间:2026年01月15日 来源:Information Fusion 15.5

编辑推荐:

  针对联邦学习中客户端数据异质性和参与度不足导致的客户端漂移问题,提出基于梯度中心化(GC)的更新约束方法。通过Local GC和Global GC分别优化客户端和服务器端更新,进一步融合为GC-Fed模型。理论分析和实验表明,GC-Fed有效缓解漂移,在CIFAR-10等基准任务中精度提升达20%,显著优于依赖历史信息的传统方法。

  
Jungwon Seo|Ferhat Ozgur Catak|Chunming Rong|Kibeom Hong|Minhoe Kim
斯塔万格大学电气工程与计算机科学系,挪威斯塔万格,4021

摘要

联邦学习(FL)能够实现保护隐私的多源信息融合(MSIF),但在数据高度异构的环境中会面临客户端漂移的问题。许多现有方法通过为客户端提供共同的参考点(通常来自过去的信息)来减轻漂移,以对齐目标或梯度方向。然而,在部分参与者严重的情况下,这种依赖历史的参考点可能会变得不可靠,因为每轮参与的客户端数据分布可能会发生巨大变化。为了克服这一限制,我们提出了一种不依赖过去信息的方法,通过梯度中心化(GC)来限制更新空间。具体来说,我们引入了局部GC和全局GC,分别在局部和全局更新阶段应用GC,并进一步提出了GC-Fed,这是一种结合了两种方法的混合形式。理论分析和在基准FL任务上的广泛实验表明,GC-Fed有效减轻了客户端漂移,在数据异构和部分参与条件下实现了高达20%的准确率提升。

引言

联邦学习(FL)是一种保护隐私的范式,它利用多源信息融合(MSIF)[1],[2]来实现分布式训练[3]。在这个框架中,每个客户端独立地从其本地数据集中提取有价值的见解,并将这些观察结果转换为模型更新,形式可以是完整的模型或增量参数变化。这些本地生成的更新代表了多样且异构的数据源,然后传输到中央服务器。在这里,融合过程通常依赖于简单的平均[3]或更复杂的共识策略[4],[5],[6],[7],[8],将这些贡献整合成一个统一的全局模型。这种协作合成不仅维护了数据隐私,还利用了多源信息的丰富性[9],[10],从而得到了对底层数据景观更稳健和全面的表示。
尽管联邦学习在保证数据隐私方面具有优势,但它仍然面临客户端数据异构性的挑战。实际上,大多数多源数据集本质上是多样化的。这种异构性不仅体现在多模态场景中,也体现在单模态设置中,其中数据量、特征表示和标签分布的差异很常见。在假设客户端数据独立同分布(i.i.d.)的情况下,FL可以实现与传统的分布式学习方法[11],[12],[13]相当的性能。然而,当客户端数据非独立同分布时,这种差异会导致一种称为客户端漂移的现象[5]。在这种情况下,每个客户端在优化过程中会经历不同的损失路径,导致局部训练轨迹的分歧和向不同局部最优解的收敛,最终阻碍了全局模型的收敛,导致次优解[14],[15],[16]。此外,当数据异构性与部分客户端参与结合时,训练可能会变得更加不稳定[6]。这种情况经常与持续学习中众所周知的灾难性遗忘问题相关联[17],因为每轮更新构建的数据集分布可能会发生巨大变化,导致客户端忘记在之前轮次中获得的知识。模型并没有随着轮次的进行而稳步提高性能,反而表现出持续的波动,因此收敛速度更慢。
为了解决数据异构性和部分客户端参与导致的性能下降问题,已经提出了许多FL算法,其中许多算法侧重于减少客户端更新之间的方差。一种常见的方法是在原始目标函数中增加额外的正则化项,以鼓励局部模型以各种方式保持与全局模型的接近[4],[7],[8],[19]。另一类工作直接针对梯度,指导由梯度下降确定的局部梯度更好地与全局更新方向对齐[5],[20],[21],[22]。这些方法通常受到经典优化技术的启发,并适应FL环境以减少客户端和轮次间的方差。
我们观察到现有方法中的一个共同点:它们依赖于历史信息来调整当前的局部更新。例如,一些方法在更新过程中最小化与之前全局模型的几何距离,而其他方法在调整梯度时连续结合前一轮的更新方向。我们假设,尽管这些策略在客户端参与度相对较高的跨孤岛环境(例如数据中心)中可能是稳定的,但在跨设备场景(例如物联网设备和智能手机)中可能效果较差,因为参与的客户数量相对于整体客户池来说较少。如图1a所示,部分客户端参与可能导致全局更新与完全参与获得的全局更新不同。此外,我们的初步实验(图1b)表明,随着参与度的降低,真实更新(来自所有客户)与部分更新之间的差异会扩大。换句话说,当参与的客户无法充分代表整个群体时,之前轮次生成的历史信息可能不再可靠,无法指导当前的更新。
虽然控制客户端间的方差至关重要,但在部分客户端参与的情况下依赖历史信息可能会有问题,因为这些信息可能不再可靠。另一方面,完全忽略历史信息会导致过大的方差,从而阻碍收敛。受到这一困境的启发,我们探索了一种替代方法:通过限制更新空间来规范局部更新,如图2所示。如果所有客户端在轮次间始终在固定的空间内进行更新,这个空间本身就可以作为一个参考。重要的是,这样的参考对所有客户端和轮次都是不变的,为减轻漂移提供了一个稳定的锚点。
然而,确定这样的空间并非易事。为了解决这个问题,我们重新研究了投影梯度方法[23],[24],[25],并验证了梯度中心化(GC)[26]提供了一个不会损害学习过程的固定超平面。GC通过减去梯度分量的平均值来实现,有效地强制执行了一个零均值结构,可以解释为投影到一个共同的子空间上。通过将所有客户端的更新限制在这个共享空间内,GC在不依赖历史信息或引入额外通信的情况下减少了更新的变异性。这一特性使得GC在联邦学习环境中特别有吸引力,因为在联邦学习环境中,客户端间的漂移和参与引起的变异性非常显著。
受到这一观点的启发,我们接下来研究了两种将GC整合到FL工作流中的方法:(i)在客户端优化期间进行局部GC,以及(ii)在服务器端聚合期间进行全局GC。局部GC在每个局部优化步骤应用投影,提供细粒度的规范,同时保持更新轨迹的灵活性。全局GC则相反,它在服务器端每轮进行一次投影,从而增强了聚合更新的收敛性并提高了轮次间的稳定性。初步实验证实了这种互补行为:局部GC通常能够实现更高的峰值准确率,而全局GC则表现出更平滑和更稳定的进展。这些观察结果,加上深层层通常表现出更大的客户端间差异的众所周知的趋势,促使我们提出了分层混合设计。因此,我们引入了GC-Fed,它在特征提取层应用局部GC,在分类器层应用全局GC。这种方法结合了两种变体的优点,即使在数据高度异构和部分客户端参与的情况下也能提供一致的稳健性能。我们的实现可在https://github.com/thejungwon/GC-Fed公开获取。
我们的贡献总结如下:
  • •
    我们证明了梯度中心化(GC)引入的子空间可以作为减轻FL中数据异构性和部分客户端参与挑战的稳定和高效参考。
  • •
    我们引入了两种变体,局部GC和全局GC,它们在联邦优化过程的不同阶段应用GC。
  • •
    我们进一步提出了GC-Fed,这是一种通过分层控制投影位置灵活结合局部GC和全局GC的混合形式。
  • •
    我们提供了理论分析和全面的实证验证,表明基于GC的方法一致地提高了稳定性,加速了收敛速度,并在各种FL基准测试中实现了更高的准确率。
为了便于阅读,我们在表1中总结了本文余下部分将使用的主要符号。

部分摘录

背景:联邦学习

如算法1所述,FL的训练过程可以大致分为两个部分:局部(客户端)优化和全局(服务器)优化。局部优化阶段类似于集中式学习中的梯度下降过程,其中每个客户端使用本地数据独立更新其模型。关键区别在于通信机制:在FL中,局部更新的模型会定期传输到服务器,在那里进行聚合。

FL中的方差减少方法

在现代优化中,从全批量梯度下降到随机梯度下降(SGD)和小批量SGD的转变引入了梯度方差,这可能会阻碍收敛[32]。为了缓解这个问题,已经开发了多种策略,包括动量和自适应学习率方法[33],[34],[35],以及随机方差减少技术,如SAG、SVRG和SAGA [36],[37],[38],[39]。另一条研究路线

初步:梯度中心化

GC是一种优化技术,旨在补充各种归一化方法,如批量归一化、组归一化和层归一化[52],[53],[54]。与这些直接修改激活矩阵的归一化技术不同,GC在反向传播过程中针对梯度矩阵。通过中心化梯度,GC已被证明可以通过提高泛化和平滑的损失景观来增强模型性能和训练稳定性[26]。
我们首先回顾GC

实验设置

数据集、模型和基准。我们在EMNIST [55]、CIFAR-10、CIFAR-100 [56]和TinyImageNet [57]上评估了我们的方法。仅在训练期间应用标准增强(随机裁剪和水平翻转)。我们尝试了多种架构,从简单的MLP和CNN到更大的模型,如VGG11和ResNet18。为了进行基准测试,我们与截至2024年发布的10个基准进行了比较。实验资源的详细总结见表4。
训练和

讨论

这项工作研究了GC在FL中的作用,表明基于GC的变体在数据异构和部分客户端参与的情况下一致地提高了稳定性和泛化能力。除了实证收益之外,我们的分析还强调了GC有效地收缩了客户端特定的更新组件,使其特别适合FL固有的方差结构。
GC-Fed的实际配置。我们的理论和实证发现揭示了一个简单且与模型无关的原则

结论

FL由于两个结构性挑战而遭受性能下降:数据异构性和部分客户端参与。这些因素引入了跨轮次累积的客户端间梯度方差,形成了集中式训练中未观察到的持续误差底部。现有方法通常试图通过依赖历史信息来调整当前更新来缓解这个问题,但当参与度很高时,这种依赖历史的策略会变得不可靠

CRediT作者贡献声明

Jungwon Seo:撰写 – 审稿与编辑,撰写 – 原始草稿,方法论,概念化。Ferhat Ozgur Catak:撰写 – 审稿与编辑。Chunming Rong:资金获取。Kibeom Hong:撰写 – 审稿与编辑,撰写 – 原始草稿。Minhoe Kim:撰写 – 审稿与编辑,撰写 – 原始草稿,监督。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号