中毒攻击下隐私保护联邦学习的稳健安全增强方法

《Journal of Information Security and Applications》：Robust security enhancements approach for privacy-preserving federated learning under poisoning attacks

　　

摘要

联邦学习的普及彻底改变了去中心化机器学习，但其分布式特性引入了关键漏洞，如隐私泄露和模型投毒攻击。尽管当代文献提供了各种对策，但根本挑战依然存在：在不损害全局模型效用或产生高昂计算开销的情况下，实现对抗性影响的鲁棒缓解。在本文中，构建了一个鲁棒且自适应的聚合框架，以中和高度异构、非独立同分布环境中的复杂投毒向量。该方法通过将基于信任的机制与严格的隐私保护措施相结合，改进了安全与性能之间固有的权衡。该框架能够在构建协作模型的同时保护全局目标。形式化的理论证明衡量了所提出方法的有效性，并通过实证评估进行了验证。此外，针对多种投毒攻击的安全分析确保了框架的韧性。此外，与现有基准相比，它展示了鲁棒性、隐私保护和运行效率之间的优越平衡。实验结果表明，与最先进的方法相比，所提出的作品表现最佳。

引言

数据驱动服务在个性化医疗、智能交通和智能制造等领域扩展，加速了旨在平衡隐私和可扩展性的协作机器学习 (ML) 框架的部署。其中，联邦学习 (FL) [1] 脱颖而出，成为一种变革性的范式。它通过协调分布式客户端来实现去中心化模型训练，并使他们能够在本地保留私有数据。此后，客户端仅与中央服务器共享模型更新以进行聚合。这种方法与严格的隐私法规高度一致，并减轻了基于中心的训练系统的风险。

然而，FL 面临几个阻碍其广泛实践接受度的根本挑战。首先，数据异构性 [2] 表现为非独立同分布 (non-iid) 客户端数据集，这导致本地分布、特征空间和类别不平衡存在显著差异。这种数据异构性不仅会减缓收敛并降低全局模型的性能，还为攻击者部署恶意活动提供了强烈的有利环境。其次，FL 的去中心化和最小信任性质使其面临投毒攻击 [3] 的脆弱性，恶意客户端会注入对抗性更新以破坏全局模型、偏向预测或植入后门。检测并缓解此类攻击极具挑战性，尤其是当恶意更新在统计上与真实变化无法区分时。第三，隐私与效用权衡是一个重要问题。差分隐私 (DP) [4] 等机制被纳入以向本地更新注入校准噪声，从而模糊敏感用户信息。这种噪声进一步复杂化了异常或对抗性行为的检测，并且随着隐私预算的收紧可能会降低模型效用。

最近的解决方案试图使用鲁棒聚合规则、基于固定统计阈值的异常检测或依赖受信任的基线客户端来解决这些挑战。然而，这些方法在非 IID 和隐私保护环境中通常难以泛化。因此，它们往往难以识别攻击者使用的复杂且灵活策略。攻击者可以利用统计异构性绕过检测过程。此外，攻击者有效地绕过基于固定规则或静态启发式的方法。

为了解决这些局限性，引入了结合散度与基于熵的方法论。虽然散度提供了一种原则性的方法来量化单个客户端更新与聚合或参考模型之间的偏差，但熵捕捉了随机性和不确定性。通过这种方法，可能指示投毒的细微异常得到了更有效的揭示。

动机 FL 对于训练隐私保护模型至关重要，例如在智能医疗中，法律管制定规数据不能集中化。然而，FL 的去中心化性质容易受到投毒攻击，因为恶意客户端可以操纵本地数据或模型更新以损害模型性能。当前的防御在医疗领域多样化、异构且嘈杂的环境中失效，传统聚合技术难以识别伪装成恶意贡献的对抗性操纵。因此，迫切需要一种鲁棒的聚合规则，能够区分诚实更新和对抗性影响，从而使全局模型可靠运行。

因此，本文的主要贡献如下：

• •
  提出了一种利用基于熵和距离的方法来识别潜在的恶意或投毒本地更新的方法。它使用动态信任值来量化每个客户端的可靠性。这样，所提出的方法在全局聚合期间自适应地重新加权贡献并中和对抗性影响。
• •
  集成了一种差分隐私机制，以防止本地更新中敏感客户端信息的泄露，并确保个人数据隐私。
• •
  在包括随机更新、缩放翻转和标签翻转攻击在内的一系列对抗条件下，通过多种数据集验证了所提出模型的有效性。实验结果显示，在效用和安全性方面优于基准方法 (FedAvg, Median, Trimmed Mean, Krum) 和先进方法 (APFed, AdaptFL)。
• •
  此外，提供了形式化的鲁棒性和复杂度分析，以在数学上展示所提出工作的强度。通过针对性的安全评估加强框架的鲁棒性，评估其防御漏洞的能力。

其余论文组织如下：第 2 节提供背景讨论，第 3 节介绍相关工作，其中讨论了不同的相关工作。然后第 4 节讨论所提出的方法论，第 5 节详细讨论实验和基于结果的深入分析。最后，本文在结尾处得出结论。

章节片段

背景

本节介绍基本初步背景。

相关工作

FL 在隐私敏感领域的快速部署导致了先进的投毒攻击与强大防御机制之间的持续军备竞赛。标准聚合算法如 FedAvg 假设客户端绝对诚实，并且对操纵本地梯度或翻转数据标签以扰乱全局模型收敛的拜占庭对手极其脆弱。最近的工作提出了各种防御来保护全局模型，包括服务器端聚合，客户端

所提出的方法论

本节详细介绍所提出工作的方法论。

所提出的基于熵 - 瓦瑟斯坦 - 弗雷歇散度的 (FedEWFD) FL 框架提供了一种自适应机制，用于识别潜在的投毒客户端更新。采用瓦瑟斯坦距离来衡量客户端更新分布与参与客户端分布的弗雷歇均值之间的分布差异。该距离捕捉了概率之间的几何差异

实验与结果分析

本节介绍实验细节、结果及相应分析。

所有实验均在启用 GPU 的机器上进行，运行 Ubuntu 操作系统，配备 Intel i7 处理器，128 GB 内存和 NVIDIA RTX 6000 GPU。实现使用 Python 3.10 配合 PyTorch 2.1 和 CUDA 12.1。采用多线程，其中每个线程代表 FL 设置中的一个客户端。使用多层优化策略设计了一个高性能环境。总计 100

结论

该研究引入了一种连贯的、以隐私为中心的架构，配合自适应聚合协议，专门设计用于中和异构 FL 环境中的对抗性投毒。所提出的 FedEWFD 框架通过找到平衡数据隐私、模型完整性和计算效率的方式，为去中心化学习树立了新标准。在多种数据集和不同非 IID 设置下的大量实验评估显示 FedEWFD 保持了一种

CRediT 作者贡献声明

Santanu Basak: 写作 - 审阅与编辑，写作 - 原稿，可视化，验证，方法论，调查，形式化分析，概念化。 Kakali Chatterjee: 监督。

利益冲突声明

作者声明他们不存在任何已知的竞争财务利益或个人关系，这些关系可能影响本论文中报告的工作。

Santanu Basak|Kakali Chatterjee

计算机科学与工程系，帕塔纳国家理工学院，巴特纳，800005，比哈尔邦，印度