通过顺序块级训练突破联邦学习中的内存限制

《IEEE Transactions on Parallel and Distributed Systems》:Transcending Memory Constraints in Federated Learning via Sequential Block-Wise Training

【字体: 大 中 小 】 时间:2026年09月18日 来源:IEEE Transactions on Parallel and Distributed Systems 5.9

编辑推荐:

   摘要:联邦学习(FL)能够在保持数据隐私的同时,实现跨分布式客户端的协同模型训练。然而,模型训练所需的庞大内存开销给资源受限的边缘设备带来了严峻的内存瓶颈问题,严重限制了这些设备的参与,损害了联邦学习系统的包容性。为了弥合这一差距,我们提出了ScaleFL,一个可扩展且具有

  

摘要:

联邦学习(FL)能够在保持数据隐私的同时,实现跨分布式客户端的协同模型训练。然而,模型训练所需的庞大内存开销给资源受限的边缘设备带来了严峻的内存瓶颈问题,严重限制了这些设备的参与,损害了联邦学习系统的包容性。为了弥合这一差距,我们提出了ScaleFL,一个可扩展且具有包容性的联邦学习框架,旨在通过顺序块级训练来克服内存瓶颈。与传统端到端方法不同,ScaleFL将全局模型划分为离散的块,并对它们进行顺序训练,从而大幅降低峰值内存消耗。此外,为了应对这种范式固有的块级信息丢失和块间隔离等根本性挑战,ScaleFL引入了两个协同组件:(1)课程导师(Curriculum Mentor),基于信息瓶颈理论,制定课程感知的目标函数,引导每个块进行结构化特征学习;以及(2)训练协调器(Training Harmonizer),通过实现参数协同适应机制,在正向传播和反向传播过程中重新建立双向信息流。此外,我们提供了严格的理论收敛性分析。大量的实证评估表明,ScaleFL显著优于当前最先进的方法,准确率最高提升84.2%,峰值内存使用量最多减少50.4%,收敛速度最快提升1.9倍。

I. 引言

联邦学习(FL)[1]、[2]、[3] 已成为一种突出的分布式学习范式,它能够在保持数据隐私的同时,使多个客户端协同训练一个共享模型。联邦学习无需将原始数据收集到云端进行集中式训练,而是直接在参与客户端上进行本地训练,然后聚合本地更新 [4]、[5]。尽管联邦学习具有令人前景的优势,但一个根本且持续存在的挑战阻碍了联邦学习在现实场景中的广泛部署,即内存瓶颈问题 [6]、[7]。在本地训练过程中,所有中间激活值、模型权重和优化器状态都必须保存在内存中,从而产生巨大的内存开销。例如,在ImageNet上训练ResNet34模型消耗的内存超过12 GB。然而,现成移动设备的可用随机存取存储器(RAM)通常仅为4到12 GB [8]、[9]、[10]。这意味着这些边缘设备无法承担本地训练,从而阻止了它们的宝贵数据对全局模型做出贡献。向更深、更宽的模型架构发展的趋势进一步加剧了这一挑战,因为这些架构旨在实现更高的分析能力 [11]、[12]、[13]、[14]。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号