面向高效通信的联邦学习中的相关性感知参数蒸馏

《Neurocomputing》：Relevance-aware parameter distillation for communication-efficient federated learning

　　

Giovanni Paragliola

ICAR-CNR，那不勒斯，意大利

摘要

联邦学习是一种分布式学习范式，旨在通过无需共享原始数据即可实现模型协同训练，从而缓解数据孤岛问题及隐私限制。然而，尽管具有诸多优势，但由于客户端与中央服务器之间需要频繁交换模型参数，联邦学习仍会受到高通信成本的影响，这限制了其可扩展性和效率。本文提出了FLEXD（具备可解释性与蒸馏功能的联邦学习）：这是一种新方法，通过在联邦学习过程中仅传输最相关的模型参数来降低通信开销。FLEXD整合了一种基于层级相关性传播的可解释性驱动机制，用于在客户端评估参数的重要性，并引导基于相关性意识的蒸馏过程。该方法在包含EMNIST、CIFAR-10/100、基于文本的情感分析基准测试以及Breastmnist在内的多个数据集构成的模拟联邦环境中进行了测试。实验结果表明，FLEXD在保持与现有最先进联邦学习方法相当准确率的同时，可将通信成本降低多达92%，这表明通信效率与模型收敛性之间存在有效的权衡。

引言

联邦学习是一种用于在分布式环境中构建基于人工智能的模型的新方法，其提出旨在解决数据孤岛问题以及当前数据共享所面临的障碍[20]。尽管具有诸多优势，联邦学习仍存在一些亟待解决的挑战，其中通信成本便是开发联邦网络方法时的关键瓶颈。

联邦学习要求与参与训练的客户端进行持续的通信，直到学习过程收敛。在每一轮通信中，客户端模型中的所有参数都会被共享并更新，这一过程会一直持续到联邦学习结束。由于更新数据的维度较高，往往会导致较高的通信成本，进而形成训练瓶颈：

• 1)
  大量计算资源的使用会带来较高的能耗，同时模型也会占用过多内存，影响客户端的可用内存和电池寿命[4]。
• 2)
  在那些通过无线网络或带宽受限的网络进行通信的大规模部署场景中，通信拥堵以及部分节点性能差异较大的问题可能会显著降低训练速度[21]。
• 3)
  多个工作节点上的数据通常无法遵循相同的概率分布，不同节点的本地模型收敛方向可能与参数服务器的期望不一致，从而导致整体训练速度下降[32]。

上述问题都会影响联邦学习的训练效率与数据安全性，因此有必要提升联邦学习的通信效率。

本文介绍了一种旨在降低通信成本、进而保障联邦模型收敛性与正确性的新型联邦学习方法的初步研究，该方法被称为FLEXD（具备可解释性与蒸馏功能的联邦学习）。“可解释性”这一表述意味着在联邦学习过程中融入了基于可解释性的技术，用于分析本地模型的内部结构；而“蒸馏”则指的是在服务器端的聚合步骤中仅使用本地模型的一部分参数。

FLEXD的核心思想可通过以下问题来概括：

• 1)
  是否所有共享的参数都是必需的？
• 2)
  所有共享的参数的重要性是否相同？

本研究通过引入一种基于相关性意识的通信方式，直接针对上述问题展开探讨。

所提出的方法会根据参数对客户端本地学习过程的相关性来确定哪些参数需要传输给服务器，仅传输那些“足够”相关的参数。这样一来，在通信过程中仅需共享部分参数，从而降低了通信成本。服务器随后也会仅对这些参数进行聚合处理。该方法的目的是提取本地节点在本地学习过程中获取的知识，然后仅传输其中最相关的参数。

每个参数的相关性是通过将基于可解释性的层级相关性传播算法[5]融入联邦学习过程的客户端端来确定的。

总体而言，本文的贡献可总结为以下几点：

• 1)
  能够评估本地模型参数对联邦学习过程的相关性贡献。
• 2)
  提出了一种融合层级相关性传播算法的联邦学习方法原型，可用于减少联邦学习训练过程中需要共享的参数数量。
• 3)
  对通信成本降低与联邦模型收敛性之间的权衡关系进行了定量分析。

为验证研究结果，研究人员构建了一个模拟联邦环境，用于收集和整理数据，以便对基于深度学习的模型进行训练和验证。由于EMNIST数据集非常适合用于联邦学习场景，因此被选为测试基准。该数据集天然支持按数据生成者进行客户端级数据划分，从而形成异构且非独立同分布的数据分布，这与现实世界中的去中心化环境十分相似。此外，EMNIST在联邦学习相关研究中也被广泛使用，这有助于与现有方法进行公平比较，同时确保实验结果的可重复性。

实验数据表明，该方法的性能与现有最先进方法相当，同时通信成本也有所降低，降低幅度在10%到97%之间。

章节节选

相关研究

传统的联邦学习方法，如联邦平均法（FedAvg），是通过根据数据量对所有参数进行平均，从而将各个本地模型的更新结果汇总为全局模型。不过，这些方法在处理不同客户端之间的数据与模型差异时存在一定困难。为了解决这些问题，人们提出了联邦聚合技术，这类技术借助知识蒸馏机制，将多个模型中的知识整合到一个模型中，通常会利用无标签的公共数据来实现这一目标。

为了

方法

本节将介绍以下内容：1）应用场景：对用于联邦学习过程的场景进行详细说明。2）混合深度模型：概述学习阶段所使用的神经网络架构。3）所提方法概要：阐述用于训练本地模型的联邦学习策略。

结果与讨论

下一节将呈现通过实证研究得出的结果，用以评估所提出的联邦学习方法的效果。

在实验中，所有的节点都是在本地集群上模拟实现的，这些集群包含73台双处理器、16核的节点，内存容量分别为512/1024GB，磁盘容量为1.2TB；还有292块NVIDIA V100 16/32GB规格的GPU，以及带宽为100Gb/s的InfiniBand网络，弹性存储的总容量为1.3PB。

结论

本文对FLEXD这一新型联邦学习方法进行了初步研究，该方法结合了可解释性技术及阈值规则，用于评估构成本地模型的各参数的重要性，进而降低通信成本。

初步实验表明，通过调整阈值，可以将通信成本降低27%至92%不等。不过，成本降低与模型精度之间存在一定的权衡关系，但在特定阈值下，模型的性能依然处于可接受的水平。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知利益冲突或个人关系。

Giovanni Paragliola目前是意大利国家研究委员会高性能计算与网络研究所（ICAR）的高级研究员。他于2012年在那不勒斯费德里科二世大学获得计算机工程硕士学位，2016年在那不勒斯帕尔泰诺佩大学获得信息工程博士学位，其博士论文主题为“电子健康系统中的网络安全”。他还是“时变环境的预测与自适应模型”研究小组的成员。