通过结合稀疏化的端到端神经压缩提升跨设备联邦学习的通信效率

《Internet of Things》：Enhancing Communication-Efficiency of Cross-Device Federated Learning Through End-to-End Neural Compression with Sparsification

　　

摘要

深度学习应用的广泛传播引起了人们对个人数据隐私的日益担忧。针对这些担忧，联邦学习作为一种可行且稳健的解决方案被提出。尽管联邦学习前景广阔，但其大规模采用仍受到训练过程中巨大通信开销的阻碍。这种开销在跨设备设置中尤为突出，而跨设备设置构成了物联网应用的很大一部分。为了改善联邦学习中的通信效率，本文提出了稀疏神经压缩（SNC），一种权重更新压缩框架。SNC利用本地客户端更新之间的冗余信息以及压缩率与其失真之间的天然权衡，训练一个端到端压缩神经网络，类似于流行的变分自编码器。通过偏差稀疏性降低了SNC的计算复杂度，并使用基于斐波那契的游程算法对位置进行编码。实验表明，SNC优于所有已审查的压缩算法，在高压缩率下对训练质量和收敛性的影响最小。本研究结果表明，深度学习作为压缩工具，可能成为联邦学习中绿色通信的重要里程碑。

引言

过去几十年来深度学习（DL）研究的快速发展，使人工智能（AI）在现代生活中的地位更加稳固。凭借DL利用日益增长的数据资源的能力，它在许多领域取得了令人瞩目的成功，包括但不限于医疗保健、工业制造和交通[1]，[2]，[3]。此外，物联网（IoT）和大数据的兴起，以及广泛可用且可靠的数字通信的发展，导致了前所未有的数据生成和收集速率[4]。尽管这些曾被视为技术革命的主要标志，但公众对数据不当处理或缺乏隐私的关注日益增长，由此引发了全球范围内保护隐私的监管行动[5]，[6]。

幸运的是，上述发展与计算能力和存储容量的大幅增长同时发生，而价格却在下降。这促使了联邦学习（FL）作为一种保护隐私的DL解决方案被提出，尤其在计算机视觉领域取得了令人瞩目的成功[7]，[8]，[9]。FL是一种分布式策略，利用客户端的本地计算资源来训练DL模型，从而无需数据集中化。训练过程的关键步骤如图1所示。典型的FL协议始于中央服务器将未训练的模型传递给所有参与的客户端，客户端随后在本地训练其模型副本。客户端定期将模型更新发送给服务器进行聚合。聚合后的全局模型随后被发回客户端，该过程迭代重复特定时间或直到收敛[8]。

尽管从通信的更新中推断客户端数据仍然可能，但越来越多的研究提出了针对此类问题的解决方案[10]。这进一步巩固了FL作为保护隐私替代方案的可行性。然而，FL带来的巨大通信开销仍然是广泛采用的重大障碍[11]。从根本上说，这种开销源于DL模型的庞大体积，近年来其参数数量迅速攀升，甚至从数百万跨越到数十亿[12]。在有限带宽下往返通信如此大的模型并经过多次迭代，极其昂贵，在许多情况下几乎不可行。

在客户端设备能力和数据方面，FL分为两种类型：跨孤岛（cross-silo）和跨设备（cross-device）[13]。跨孤岛FL涉及计算能力充足且拥有大量良好分布数据库的客户端[14]，[15]。另一方面，跨设备FL涉及大量计算能力有限、数据不平衡且通过传统网络通信的客户端[13]，[16]。在跨设备设置下，FL固有的极端通信开销受到这些限制的进一步加剧[17]。

近期研究工作提出了多种策略来缓解这种开销，包括优化的资源分配[18]、动态客户端选择[19]，[20]以及更新的分层聚合[21]，[22]。然而，直接压缩传输的更新仍然是最直观且最有效的解决方案之一。关于压缩的工作几乎完全围绕有损方法展开，因为DL模型更新以实值张量表示，这使得无损压缩效率低下[11]。因此，通信速率与信息损失之间的权衡自然产生[23]。迄今为止引入的方法可大致分为稀疏、稠密或两者结合。稀疏压缩通过以预设速率丢弃某些更新来降低通信成本。被丢弃更新的选择以及相应的速率参数化方法并控制权衡。另一方面，稠密范式用离散值表示浮点更新以启用编码，这个过程通常称为量化。尽管已取得了令人瞩目的压缩率，但仍有大量改进空间[17]。尽管手动选择参数对权衡有直接影响，但实际建模和优化它的工作却很少。

本研究的主要动机是填补这一空白，并开发一种利用客户端更新之间冗余信息的FL更新压缩方案，直接优化压缩比与信息损失之间的权衡。本研究在前人研究的基础上，提出了适用于跨设备FL的混合稀疏量化协议。我们的方法名为稀疏神经压缩（SNC），融入非线性变换以实现极具竞争力的压缩率，同时对更新的质量和分布影响最小。该非线性变换是一个类似于具有离散潜变量的变分自编码器（VAE）的深度神经网络（DNN），优化FL压缩问题中固有的失真-速率权衡。SNC不仅提升了通信效率，而且非线性变换还导致加密更新，提供额外的保护层。

章节片段

相关工作

FL的根源可追溯至分布式学习，其中训练过程分布在多个处理单元甚至同一单元的节点上。FL的开创性工作之一从分布式学习领域汲取灵感，并引入了联邦随机梯度下降（FedSGD）[7]。在FedSGD下，每次迭代时选择一个随机客户端子集，其梯度被传输，模仿传统DL优化中的相同过程。

范围

为确保我们方法的聚焦性和应用的真实性，我们设定了若干约束。具体而言，本工作的方法论和实验范围限于以下方面：

a) 所提出的方案建立在FedAVG之上，而非FedSGD。对于上游可传输数据量有上限约束且连接缓慢的应用，大量的通信轮次是不可行的。虽然高压缩率减少了数据传输...

联邦学习

一般来说，对于一个包含示例x及其对应预测目标y的数据集D（规模为n），DL训练过程通过最小化某个损失函数L(x, y; w)（简化为L(w)）来寻找最优模型参数w。在联邦设置下，假设有K个客户端，每个客户端k（k ≤ K）托管数据的一个分区P_k ? D，规模为n_k。问题变成了通过加权平均各个客户端的损失L_k(w_k) = (1/n_k) Σ_{i=1}^{n_k} m来优化全局损失函数L_g(w_g)。

方法

领域变换一直是各种数据压缩算法中的关键长久步骤。特别是非线性变换展现了巨大潜力，正如第2节所述。因此，本研究将其作为构建所提出压缩方案稀疏神经压缩（SNC）的第一步。

总体设置

为了在经验上测试和分析所提出方法的性能，我们构建了多个模拟，大部分模拟了FL在实际中的设置。模拟及其设置主要由Python3脚本编写，并借助多个包。具体而言，使用了四个包：Numpy[76]、TensorFlow[77]、TensorFlow Compression[78]和Scikit-Learn[79]。所有实验都在一台配备NVIDIA 4080 RTX GPU（6GB专用显存）的机器上进行...

结论

联邦学习是一种在不损害客户端隐私的情况下训练深度学习模型的可靠替代方案。然而，其在跨设备设置中的采用受到巨大通信开销的限制。更新压缩已被证明在缓解开销影响和促进联邦学习通信效率方面非常有效。我们提出了稀疏神经压缩（SNC），它利用了压缩率之间的固有权衡...

数据可用性

本研究使用的所有数据集均为公开可获得的。

CRediT作者贡献声明

Omair Rashed Abdulwareth Almanifi：撰写——初稿，软件，资源，方法论，调查，形式分析，概念化。Chee-Onn Chow：撰写——审阅与编辑，验证，监督，项目管理，资助获取，概念化。Mau-Luen Tham：撰写——审阅与编辑，验证，监督。Joon Huang Chuah：撰写——审阅与编辑，监督，项目管理。Jeevan Kanesan：。David Chieng：撰写——审阅与编辑，验证。

利益冲突声明

作者声明以下财务利益/个人关系，可能被视为潜在利益冲突：Chee-Onn Chow报告获得了马来西亚高等教育部（MOHE）的财务支持。如果还有其他作者，他们声明没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

Omair Rashed Abdulwareth Almanifi | Chee-Onn Chow | Mau-Luen Tham | Joon Huang Chuah | Jeevan Kanesan | David Chieng

马来西亚大学，工程学院电气工程系，马来西亚大学，吉隆坡联邦区，吉隆坡，50603，马来西亚