一种适用于非独立同分布数据的、具有拜占庭容错能力的异步联邦学习方法

《Neurocomputing》：A byzantine-robust asynchronous federated learning method on non-IID data

　　陈芳|杨芳|李森森|范坤源|郭远波|吴彦米 中国河南省郑州市信息工程大学，450001 摘要 异步联邦学习能够在设备异构的情况下提升训练效率，但它更容易受到非独立同分布数据、投毒攻击以及过时更新的影响。为了解决这些相互关联的问题，我们提出了一种针对非独立同分布数据的抗拜占庭式异步联邦学习方法，名为BRAFed。在客户端方面，BRAFed引入了模型差异正则化机制，以减轻非独立同分布数据导致的模型漂移。在服务器端，它基于自适应马氏距离开发了一种具有异步感知能力的恶意梯度检测机制，通过动态阈值结合轮次相关的衰减与当前梯度分布来实现检测。此外，BRAFed还采用了基于投影的校正策略，将冲突的延迟梯度与当前优化方向对齐，从而有效缓解投毒攻击以及落后节点带来的性能下降。我们还提供了正式的收敛性分析，以描述延迟梯度、恶意更新和数据异质性所带来的影响。在CIFAR-100、Shakespeare和COVIDx数据集上进行的大量实验表明，即使在高度异构且存在延迟的情况下，BRAFed在鲁棒性和准确性方面也始终优于现有的最佳防御方法。引言 联邦学习作为一种新兴的分布式机器学习框架，允许客户端（如智能手机、个人电脑和物联网设备）通过交换模型参数而非上传原始本地数据到中央服务器来保护隐私。目前大多数联邦学习方法都是同步式的[1]、[2]、[3]，即服务器需要等待所有选定的客户端完成本地训练后才能更新全局模型。然而，在开放的物联网环境中，由于计算能力差异和网络条件不稳定，有些客户端会比其他客户端更晚上传更新，这就导致了落后节点问题。直接丢弃延迟的更新虽然可以提高效率，但会浪费客户端的计算资源，并可能降低模型精度[4]。为了解决这个问题，异步联邦学习得到了广泛研究[5]、[6]、[7]。与同步联邦学习不同，服务器在收到一个或几个客户端的更新后会立即更新全局模型，从而减少空闲等待时间并提高训练效率。典型的研究包括具有过时感知平均值的异步联邦优化[5]、在时间预算约束下的异步自适应本地迭代控制[6]，以及兼顾公平性的在线客户端选择以最小化延迟[7]。尽管有这些优势，异步联邦学习在实践中仍面临若干关键挑战。首先，延迟的更新可能会与当前的更新发生冲突。在异步环境中，服务器可能会同时收到当前轮次的梯度以及之前轮次的过时梯度。现有方法主要通过过时感知加权[8]、[9]、[10]来缓解这一问题。然而，当过时程度较大时，延迟的更新在方向和幅度上都可能与当前更新有很大差异，简单的权重调整往往不足以消除由此产生的优化偏差。因此，处理延迟更新的方向冲突对于提高异步联邦学习的精度至关重要。其次，非独立同分布数据进一步增加了模型收敛的难度。在实际的联邦学习系统中，各个客户端的本地数据往往具有高度的异质性，这会导致客户端更新之间出现显著分歧，使得全局聚合变得不稳定。一些研究试图通过聚类[11]或知识蒸馏[12]来减轻非独立同分布数据的影响，但这些方法并不适用于异步联邦学习。还有些工作试图同时解决过时问题和数据异质性问题[13]、[14]，但它们仍然没有明确解决延迟更新带来的方向冲突问题。第三，防范异步联邦学习中的投毒攻击仍然是一个挑战。拜占庭式恶意客户端可能会篡改本地数据或上传恶意梯度，从而干扰全局优化过程。虽然已经有一些强大的联邦学习方法被提出用于防御投毒攻击[15]、[16]，但在异步环境下，由于延迟的良性更新和恶意更新都可能与当前模型有很大偏差，这些方法往往难以发挥作用。尽管有一些研究探讨了抗拜占庭式异步联邦学习[17]、[18]、[19]、[20]、[21]，但它们通常假设数据是独立同分布的。在非独立同分布数据的情况下，客户端之间的异质性以及异步延迟会进一步增大良性更新的偏差，使得区分良性更新和恶意更新变得更加困难。为了解决上述问题，我们提出了一种针对非独立同分布数据的抗拜占庭式异步联邦学习方法，名为BRAFed。其核心思想是在统一的设计框架下同时处理数据异质性、梯度过时问题以及恶意更新。在客户端方面，引入了模型差异正则化机制，以减轻非独立同分布数据导致的模型漂移。在服务器端，BRAFed根据当前梯度构建一个可靠的参考值，用于自适应地检测恶意梯度，同时还采用了能够识别冲突的机制来处理延迟更新，确保其与当前优化方向保持一致。据我们所知，这是首批尝试同时解决异步联邦学习中的落后节点问题、数据异质性以及投毒攻击防御问题的研究之一。本研究的主要贡献如下：1. 我们提出了一种基于自适应马氏距离的具有异步感知能力的恶意梯度检测机制，该机制能够动态估计良性梯度的分布，并通过随时间变化的阈值来应对不断变化的非独立同分布数据特征。随后通过基于投影的校正方法，将延迟的梯度与当前更新对齐，从而解决方向冲突并提高聚合一致性，进而有效缓解投毒攻击以及落后节点带来的性能下降。2. 我们为非凸环境下的BRAFed提供了正式的收敛性分析，明确了延迟梯度、恶意更新和非独立同分布数据所带来的影响。分析结果表明，这些因素之间存在复杂的相互作用，其中数据异质性会放大过时问题的影响，而检测不完善则会导致无法完全消除的误差，为设计稳健的异步联邦学习方法提供了理论依据。3. 我们在多种数据集上进行了大量实验，测试了在不同投毒攻击类型、非独立同分布程度以及延迟比率下的性能表现。实验结果表明，无论在何种情况下，BRAFed在鲁棒性和准确性方面都优于现有的最佳方法，尤其是在数据异质性、客户端延迟以及恶意行为同时存在的复杂场景中。片段内容 基于独立同分布数据的抗拜占庭式联邦学习 为防范投毒攻击，许多抗拜占庭式联邦学习方法通过在全局聚合过程中丢弃或降低恶意梯度的权重来实现防御。现有方法大致可分为两类：一类基于统计距离[22]、[23]、[24]、[25]，另一类基于性能检测[26]、[27]、[28]、[29]。典型的方法包括Krum[22]，它利用欧几里得距离去除那些与多数值相差较大的更新；还有Trimmed Mean[27]，它通过过滤……系统模型 本文旨在构建一种适用于异构物联网系统的抗拜占庭式联邦学习框架，这类系统中的客户端数据具有非独立同分布特性。同时，各客户端在计算能力和通信带宽方面也存在差异，而且还面临着投毒攻击的威胁。如图1所示，BRAFed的系统模型由中央服务器、在线客户端以及延迟客户端组成。各实体的功能如下：1. 中央服务器：在……收敛性分析 假设1——平滑性 对于常数 和任意 ，如果函数 的梯度是利普希茨连续的，即对于任意 ，那么该函数是 -平滑的。假设2——弱凸性 如果函数 在 作用下是凸函数，那么可微函数 是 -弱凸的，其中 。如果 是凸函数，则为凸函数，否则为非凸函数。假设3——有界延迟 对于任何延迟的梯度，其最大延迟轮次是有界的，即存在常数 使得 。假设4——梯度噪声控制 对于任意 和 ，都有 。假设5——恶意检测后的残余投毒梯度可控 在使用MD阈值检测到在线客户端和延迟客户端的恶意梯度后，它们之间的偏差是有限度的。实证评估 在本节中，我们将评估BRAFed的性能，并将其与几种现有的最佳方法进行比较。结论与未来工作 在本文中，我们提出了一种针对非独立同分布数据的抗拜占庭式异步联邦学习方法，名为BRAFed。具体而言，BRAFed通过在客户端本地损失函数中加入模型差异正则化项，来限制非独立同分布数据导致的模型漂移。此外，它还通过自适应调整的MD阈值来检测恶意梯度，再利用向量投影技术纠正那些与当前更新方向相冲突的延迟梯度。CRediT作者贡献说明 陈芳：撰写——初稿、可视化、验证、软件开发、项目管理、资金获取、概念构思。杨芳：验证、项目管理、资金获取、正式分析。李森森：可视化、验证、监督、软件开发、数据整理。范坤源：验证、软件开发、研究分析、数据整理、概念构思。郭远波：监督、资源协调、项目管理、资金获取。吴彦米：可视化。利益冲突声明 作者声明他们不存在任何可能影响本文研究的已知财务利益或个人关系。致谢 本研究得到了中国国家密码科学基金（编号2025NCSF02020）以及河南省重点科技计划（编号262102211088）的支持。陈芳在中国郑州信息工程大学获得了软件工程博士学位，目前在该校担任讲师。他已发表超过20篇学术作品，包括专利、期刊论文和会议论文。他的研究兴趣主要集中在解决联邦学习中的安全与隐私问题。