去中心化联邦学习中的通信效率：核心组件与优化技术的分类体系

《Computer Communications》：Communication efficiency in Decentralized Federated Learning: A taxonomy of core components and optimization techniques

　　

通信开销阻碍了去中心化联邦学习（Decentralized Federated Learning, DFL）的应用。直接因素与间接因素共同决定了总通信成本。系统化的分类体系能够实现对不同DFL方法的清晰比较。组合方法及并发挑战要求进行权衡取舍。 联邦学习（Federated Learning, FL）是一种机器学习（Machine Learning, ML）范式，它通过共享模型参数更新而非原始数据，实现在私有、去中心化的数据分区上进行模型训练[1]。与分布式机器学习[2]不同，数据保留在各自的生产设备上而不被公开，而非被收集、分割为分区并分发至各设备。凭借其隐私保护能力，FL已成为众多领域的常用技术。除隐私保护外，FL还解决了分布式机器学习中通过网络传输大型数据文件所带来的性能瓶颈。尽管近年来对FL进行了广泛研究，我们仍面临重大挑战，包括通信效率、系统异构性、数据异构性和隐私问题[3]，[4]。 传统FL（也称为集中式联邦学习，Centralized FL, CFL）[5]基于一个中心服务器，该服务器编排学习过程并聚合模型更新。然而，这种设置导致所有参与设备共享单一通信点，最终在服务器端造成重大通信瓶颈。此外，服务器构成网络中的单点故障。因此，去中心化联邦学习（Decentralized FL, DFL）[6]，[7]应运而生，通过移除CFL中的中心服务器来解决这些问题，从而实现完全去中心化。在这种改变的设置下，参与设备与邻居交换模型更新并自主聚合，以形成协作模型。 尽管DFL试图通过移除服务器并将其职责外包给各个设备（参与者）来消除中心节点的通信瓶颈，但通信瓶颈仍可能出现在参与者自身。在最简单的DFL策略中，网络由全连接的参与者组成，每个参与者将其模型更新发送至所有其他参与者。由于每个参与者必须接收所有对等方的更新，通信瓶颈从CFL服务器转移到了每个参与者。因此，仅消除服务器并不足以解决通信瓶颈。然而，我们可以通过专门的模型聚合技术、同步方法和网络拓扑配置来降低通信成本，从而缓解DFL中的通信瓶颈。除这些通用DFL配置外，我们还可以应用压缩、本地计算和部分设备参与等技术来进一步降低通信开销。

论文主体内容总结

1. 引言

联邦学习（Federated Learning, FL）是一种机器学习（Machine Learning, ML）范式，通过共享模型参数更新而非原始数据，实现在私有、去中心化的数据分区上进行模型训练。集中式联邦学习（Centralized FL, CFL）基于中心服务器编排学习过程并聚合模型更新，但该设置导致服务器端出现通信瓶颈，且服务器构成网络中的单点故障。去中心化联邦学习（Decentralized FL, DFL）通过移除中心服务器实现完全去中心化，参与设备与邻居交换模型更新并自主聚合。然而，在最简单的全连接网络DFL策略中，每个参与者必须接收所有对等方的更新，通信瓶颈从CFL服务器转移至每个参与者。通过专门的模型聚合技术、同步方法和网络拓扑配置，以及压缩、本地计算和部分设备参与等技术，可以缓解通信瓶颈。

本文的贡献包括：系统化梳理DFL方法并重点关注通信成本；识别对通信成本具有重大影响的三个核心DFL组件，并讨论三种流行的通信效率优化技术；建立三个DFL组件内部及三种优化技术内部的分类体系，揭示其对通信的影响；将分类体系应用于近期文献中的DFL方法，验证其适用性并揭示已有研究覆盖的组合。文献检索时间范围为2018年至2025年，范围限定为非区块链的水平DFL方法，共选取13种方法。

2. 背景与相关工作

2.1 集中式联邦学习

集中式联邦学习（CFL）利用各联邦工作节点的计算资源，从数据中计算不允许还原源数据的预聚合结果，随后联邦工作节点将各自的预聚合结果发送至中心服务器，由服务器聚合为全局模型并返回给各工作节点。CFL研究主要聚焦于四大核心挑战：安全与隐私（模型更新仍可能泄露训练数据的敏感信息，常与差分隐私或同态加密结合）、数据异构性（数据分区违反独立同分布假设，导致收敛问题）、系统异构性（设备计算、通信和存储资源差异，需异步或半异步机制），以及通信瓶颈（所有工作节点向同一中心服务器发送更新，主要优化手段包括部分客户端参与、本地更新和压缩技术）。

2.2 去中心化联邦学习

去中心化联邦学习（DFL）是联邦学习的变体，使设备无需集中协调即可训练协作ML模型，在文献中也称为点对点联邦学习（P2P FL）、八卦联邦学习或分布式联邦学习。DFL中不存在服务器与客户端的区分，参与者共享交换模型参数更新和聚合接收信息的责任。DFL系统由三个核心组件表征：学习单元（支持参与者利用本地数据进行模型训练）、节点间通信（在相邻参与者之间交换模型参数更新）和聚合引擎（将接收到的模型参数更新纳入学习过程）。这三个组件对应DFL的三个阶段：本地更新、模型更新交换和模型聚合，一次完整的三阶段循环称为一个通信轮次。

DFL研究面临与CFL类似的挑战，但因设置不同需从不同视角处理。安全与隐私方面，DFL消除了服务器相关威胁，但因缺乏信任和点对点通信的更高复杂性而放大了风险，主要威胁包括节点故障或退出、恶意参与者（含模型投毒攻击）和信息泄露（含对私有数据的推理攻击）。数据异构性方面，应对方法分为全局收敛和个性化模型两类目标。系统异构性方面，异步训练和半同步策略用于解决掉队者问题，但会产生过时模型更新的问题。

本文中，通信效率指在保持收敛的前提下最小化通信成本。通信成本定义为DFL参与者之间交换的信息总量，以网络中所有传输消息的累积大小衡量，仅考虑训练期间参与者之间通信的数据量，明确排除延迟、传输时延或其他与时间相关的因素。

2.3 相关工作

现有DFL综述覆盖了近期文献中的大量方法。部分综述聚焦于安全与隐私、数据异构性、系统异构性等特定挑战。部分综述讨论了所选方法的通信方面，但据本文作者所知，当前文献中尚无以DFL系统通信成本为专门研究对象的综述论文。

3. 通信影响组件

在DFL中，众多系统组件决定总通信成本。计算通信开销需考虑三个问题：“什么”被通信、“与谁”通信以及“多久”通信一次。信息传输量主要受模型聚合技术影响，因为它决定了交换信息的类型（如模型参数、梯度等）；网络拓扑通过指定参与者的邻居关系影响“与谁”通信；通信频率受同步方法影响，因为它决定了系统在等待时间和通信轮次潜在中断方面的行为。据此，本文识别出三个通信影响组件：模型聚合、同步方法和网络拓扑。

3.1 模型聚合

模型聚合方案是DFL的核心部分，决定将接收到的模型参数更新纳入训练过程的方法，同时决定参与者需要交换的信息类型，即模型参数更新的内容。信息传输一般分为两个类别：控制平面（传输控制学习过程的辅助信息）和数据平面（传输实际的模型参数更新）。本文聚焦于DFL中四类主要的模型聚合方法：加权模型平均（wAvg）、增量模型平均（incAvg）、交替方向乘子法（ADMM）和知识迁移与蒸馏（KT/KD）。

wAvg是最流行的聚合策略类别，对接收到的模型参数更新集合取平均以获得每轮聚合的参数更新状态，邻居特定权重决定各邻居贡献的相对影响。由于能够聚合多个更新，各参与者的训练可以并行化。incAvg属于持续学习范式，参与者直接在前一个参与者的模型参数之上继续训练。ADMM是一种分布式优化方法。知识迁移与蒸馏方法通过模型知识迁移算法或自知识蒸馏等方式实现模型融合。

3.2 同步方法

同步方法决定DFL系统中通信轮次的执行方式，影响通信频率和系统等待行为。同步方法主要分为同步、半同步和异步三类。同步方法中所有参与者等待最慢的参与者完成本地更新后才进行通信轮次。异步方法允许参与者不等待其他参与者而继续训练，从而消除空闲时间，但会产生过时模型更新的问题。半同步方法介于两者之间，例如允许参与者继续本地训练直到最慢的参与者完成本地更新。

3.3 网络拓扑

网络拓扑指定参与者的邻居关系，决定“与谁”通信。常见的网络拓扑包括全连接、环形、环形网格（Torus）、随机图、网格和混合拓扑等。全连接拓扑中每个参与者向所有其他参与者发送更新，通信开销最大；环形和环形网格等稀疏拓扑可显著减少每个参与者的通信链路数量，但可能影响信息传播速度和收敛性能；随机拓扑在通信开销和收敛性能之间提供折中。网络拓扑的选择直接决定每个通信轮次中每个参与者需要发送和接收的更新数量，从而对总通信成本产生直接影响。

4. 通信优化技术

除核心组件外，DFL还可应用补充技术来优化通信成本，主要包括压缩、本地计算和部分设备参与三类技术。

4.1 压缩

压缩技术通过减少每次传输的消息大小来降低通信成本。常见的压缩方法包括量化（将浮点数参数映射到较低精度的表示）、稀疏化（仅传输参数矩阵中显著的一部分元素）和低秩分解等。压缩技术在降低通信开销的同时，可能引入信息损失，需要在压缩率和模型收敛性能之间进行权衡。

4.2 本地计算

本地计算通过增加参与者在本地执行的训练步骤数量来降低通信频率。参与者在本地执行多个训练轮次后再与邻居交换更新，从而减少通信轮次的总数。本地计算步数的增加可以降低通信成本，但过多的本地更新可能导致参与者模型之间的发散，影响全局收敛。

4.3 部分设备参与

部分设备参与指在每一轮通信中仅选择一部分参与者参与学习过程。在DFL中，由于缺乏中心协调服务器，每个参与者必须独立评估其对等方的可信度。部分设备参与可以显著降低每轮通信的参与节点数量，从而降低总通信成本，但也可能影响模型收敛速度和最终性能。该方法与鲁棒DFL密切相关，特别是在信道条件恶劣或参与者不可靠的场景中。

5. 方法分析与比较

本节将前述分类体系应用于近期文献中的13种DFL方法，分析其组件组合方式，揭示研究已覆盖的组合以及尚未探索的组合空间。通过对比不同方法在模型聚合、同步方法和网络拓扑方面的选择，展示分类体系的适用性，并为构建带宽受限环境下的DFL系统提供参考。

6. 权衡与挑战

通信成本与鲁棒性之间存在权衡关系，该权衡源于DFL核心挑战与通信效率挑战之间的潜在冲突。通信效率的优化（如压缩、部分设备参与）可能降低系统的鲁棒性（如对恶意更新的检测能力、对节点故障的容忍能力），反之亦然。

7. 开放挑战与未来工作

DFL通信效率领域仍存在若干开放挑战，包括：组合多种优化技术时的协同与冲突问题、动态网络环境下的自适应通信策略、通信效率与安全性/隐私性之间的联合优化、以及在大规模异构网络中的可扩展性等。

8. 结论

本文系统化梳理了DFL方法，重点关注通信成本。识别出三个对通信成本具有重大影响的DFL核心组件（模型聚合、同步方法、网络拓扑）和三种流行的通信效率优化技术（压缩、本地计算、部分设备参与），建立了各组件和各技术内部的分类体系，并将其应用于近期文献中的DFL方法以验证其适用性，揭示了研究已覆盖的组合，为构建带宽受限环境下的DFL系统提供了指导。