FedCED：通过蒸馏技术提升去中心化联邦学习中的共识效果

《Knowledge-Based Systems》：FedCED: Consensus enhancement in decentralized federated learning via distillation

环形联邦学习中模型共识与性能优化研究。FedCED框架通过信息保留机制整合多节点训练成果，噪声注入促进模型协作，历史信息捕获实现持续优化，在环形拓扑中较现有方法提升4.11%测试精度。

　　

刘斌|李长乐|储琦|翟邦豪|季泽宇|李克勤

中国陕西省杨凌市西北农林科技大学计算机科学学院，邮编712100

摘要

主流的联邦学习（FL）方法依赖于集中式架构，这引入了单点故障等安全风险。去中心化架构可以降低这些风险，但由于缺乏中央服务器，在存储和管理历史状态方面存在困难。这导致迭代之间的信息分散，使得客户端难以达成高质量共识，从而降低了收敛速度和模型性能，尤其是在环形拓扑中。为了解决这些问题，我们提出了FedCED框架，用于环形去中心化FL，增强了客户端之间的共识能力。首先，FedCED引入了一种信息保留方法，以整合多样化的知识来源并减少迭代碎片化。其次，FedCED注入噪声以促进节点间的相互学习，消除孤立现象并加强客户端共识。最后，FedCED实现了历史信息捕获机制，以便持续重用旧知识，确保优化的连续性。广泛的实验表明，FedCED在环形拓扑中的性能显著优于现有方法，测试准确率提高了多达4.11%，从而验证了其有效性。

引言

深度学习的成功在很大程度上依赖于对大规模数据集的集中访问，然而现实世界的部署面临两个不可克服的约束：机构间数据所有权的天然碎片化以及法律规定的隐私保护[1]。这两个障碍使得传统的数据聚合方法在操作上不切实际且在法律上不符合要求。因此，联邦学习（FL）作为一种范式转变框架应运而生，它在保持数据主权的同时，使去中心化实体能够提升人工智能能力。

根据通信架构，FL主要分为集中式和去中心式两种类型。当前的主流研究主要采用集中式架构（如图1(a)所示）。虽然这种方法非常有效，但它容易受到单点故障和其他安全风险的影响，从而可能危及系统的鲁棒性和可扩展性[2][3]。作为一种有前景的替代方案，去中心化架构消除了对集中组件的依赖，从而避免了这些问题。

去中心化FL主要采用两种拓扑结构：全连接（如图1(b)所示）和环形结构（如图1(c)所示）。全连接拓扑具有高互联性，可以加速模型的共识形成，并在非独立同分布（Non-IID）数据环境中实现更快的收敛。这种结构还具有出色的容错能力，因为单个或少数节点的故障通常不会影响剩余网络的通信，从而确保了学习的稳定性。相比之下，环形拓扑在安全性方面表现更优。其有限的通信半径有助于减轻数据投毒攻击期间恶意模型的传播，因为恶意节点只能直接影响其直接邻居。这种攻击需要多次迭代才能可能影响到整个网络，为检测和应对威胁提供了关键的时间窗口，从而降低了广泛污染的风险。本文重点探讨在隐私敏感和异构网络环境中实现高效、稳健的协作学习的方法。

大多数现有方法采用集中式设计，在去中心化环境中表现不佳。去中心化FL消除了中央服务器，导致缺乏统一节点来存储和管理全局模型状态。这使得在整个训练过程中难以持续维护关键信息。在环形拓扑中，这个问题尤为明显：当不同客户端随机选择参与每次训练迭代时，模型更新只能沿环形逐跳传输。因此，很难有效地关联和重用不同迭代中的模型状态和进展。客户端无法维持累积学习，难以就统一的模型状态达成共识。这最终会阻碍模型的收敛速度和整体性能。

本文提出了FedCED框架，该框架解决了由于缺乏全局状态维护而在基于环形的去中心化FL中出现的模型共识问题。它包含三个核心机制：首先，FedCED引入了一种信息保留方法，在环形拓扑中遍历模型，并采用端到端的客户端自适应机制。通过保留每个节点的训练结果并防止后续结果覆盖之前的信息，这种方法增强了系统有效整合数据的能力。其次，FedCED结合了中继增强的模型协作机制。在信息保留过程中，本地模型同时从私有数据和其他节点的模型中学习。通过注入噪声，这种方法促进了模型信息之间的交互，减少了客户端之间的差异并促进了分散节点之间的共识。最后，FedCED为每个客户端配备了专门的捕获机制。在每次迭代结束时，它从返回的模型中提取历史信息。这些信息通过噪声调整方法在后续迭代中不断被重用，支持模型的持续优化和收敛。

为了验证FedCED的有效性，在去中心化环境中进行了广泛的实验。实验结果表明，FedCED的性能优于现有的代表性方法，最高提高了4.11%，证明了其优越性。主要贡献总结如下：

• •
  设计了一种信息保留方法，用于在单次迭代中整合不同客户端的结果。它通过模型遍历和端到端的客户端适应确保了高质量的通信。
• •
  实施了一种中继增强的模型协作方法，以消除孤立现象。通过注入噪声并利用其他节点的模型来优化本地模型，该方法有效地加强了客户端之间的共识。
• •
  提出了一种基于信息捕获的方法，以确保持续优化。它通过本地保留现有结果并在后续迭代中重新使用历史信息来提高学习效率。

本文的结构如下：第2节回顾了与本研究相关的前期工作。第3节介绍了FedCED的初步工作。第4节介绍了提出的FedCED，包括任务描述、目标函数和优化算法。第5节展示了在各种图像数据集上的实验结果，证明了FedCED优于现有的代表性FL算法。第6节讨论了FedCED的优点和缺点。最后，第7节总结了本研究。

部分摘录

背景与相关工作

本节回顾了本文的背景和最相关的相关工作。

初步介绍

本节将介绍相关的初步知识，包括联邦学习和知识蒸馏。

方法论

本节介绍了FedCED，这是一种旨在解决环形架构局限性的FL方法。在每次迭代中，FedCED随机选择一组客户端作为环形节点，每个节点根据拓扑结构与相邻节点共享其模型，以确保高效通信。为了提高模型性能，使用中继节点的数据增强本地模型，并通过注入噪声加强与其他模型的共识。

实验

本节通过实验验证了FedCED的有效性。首先，在第5.1节中总结了所有实现细节。其次，在第5.2节中，将FedCED与几种基线算法在去中心化结构下进行了比较；在第5.3节中，测试了所有FL方法在不同超参数下的性能；在第5.4节中，评估了与本研究相关的其他指标。第三，第5.5节通过消融分析确认了FedCED的关键优势。

讨论

本节将对FedCED的模型异质性和计算开销进行理论分析。

结论

本文提出了FedCED，这是一个创新框架，它克服了传统基于KD的方法在去中心化结构中的局限性，显著提升了FL的性能。这是通过信息保留、中继增强的模型协作和历史信息捕获实现的。在实验中，FedCED在去中心化结构下与现有方法（包括FedAvg、FedProx、FedNKD、FedFTG、FedDCM、CaPriDe和BRACE）进行了基准测试，证明了

CRediT作者贡献声明

刘斌：资金获取。李长乐：撰写——原始草稿，数据整理。储琦：可视化，形式分析，数据整理。翟邦豪：验证。季泽宇：撰写——审阅与编辑。李克勤：验证。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本研究得到了国家自然科学基金（编号：62376226）、陕西省重点研发计划（编号：2024NC-ZDCYL-05-05）、西安关键农业产业链关键技术研究项目（编号：2024JH-NYZD-0027）以及杨凌示范区科技计划项目（编号：2024NY-14）的支持。