I. 引言
联邦学习(FL)[1]、[2]、[3] 已成为一种突出的分布式学习范式,它能够在保持数据隐私的同时,使多个客户端协同训练一个共享模型。联邦学习无需将原始数据收集到云端进行集中式训练,而是直接在参与客户端上进行本地训练,然后聚合本地更新 [4]、[5]。尽管联邦学习具有令人前景的优势,但一个根本且持续存在的挑战阻碍了联邦学习在现实场景中的广泛部署,即内存瓶颈问题 [6]、[7]。在本地训练过程中,所有中间激活值、模型权重和优化器状态都必须保存在内存中,从而产生巨大的内存开销。例如,在ImageNet上训练ResNet34模型消耗的内存超过12 GB。然而,现成移动设备的可用随机存取存储器(RAM)通常仅为4到12 GB [8]、[9]、[10]。这意味着这些边缘设备无法承担本地训练,从而阻止了它们的宝贵数据对全局模型做出贡献。向更深、更宽的模型架构发展的趋势进一步加剧了这一挑战,因为这些架构旨在实现更高的分析能力 [11]、[12]、[13]、[14]。


