SecHFed: 实现无需数据假设即可抵御投毒攻击的安全分层联邦学习

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：SecHFed: Achieving Secure Hierarchical Federated Learning against Poisoning Attacks without Data Assumptions

　　

•我们提出了SecHFed，一个安全的HFL框架，使联邦学习（FL）能够在多层级系统中有效应用，同时保障梯度与全局模型的安全性。
•SecHFed中的计算与验证操作完全在密文下执行，从而在HFL的所有实体之间保证梯度安全。
•SecHFed通过不依赖额外数据假设的机制，在密文域内放大恶意客户端与良性客户端之间的影响差异。

## 引言

联邦学习（FL）[1]允许客户端仅将本地训练的梯度共享给服务器，服务器再聚合这些梯度来更新全局模型，从而保护数据隐私。传统FL框架由两层结构组成（即客户端层和服务器层），而大型分布式系统通常涉及多层级结构。这引入了位于客户端与云服务器之间的中间边缘节点[1]。这些节点聚合上传的梯度，有助于减轻服务器的工作负载。这种多层级FL方法，称为分层联邦学习（HFL），具有显著的实际优势。例如，如图1所示，Web服务器应用HFL利用各设备的数据训练全局模型，从而为物联网（WoT）中的新型应用带来便利，如Web浏览器历史建议[2]。

然而，HFL继承了传统FL的两个关键安全风险：（1）共享梯度的安全性。近期研究表明，恶意攻击者能够从公开共享的梯度中重构个人数据[3]，这加剧了HFL中的数据安全问题。与传统FL主要关注客户端与服务器之间的交互安全不同，HFL需要保护所有实体，因为它涉及更多实体和更大的攻击面；（2）聚合模型的安全性。FL通常容易受到投毒攻击[4]、[5]、[6]的威胁，恶意客户端会向服务器注入有缺陷的梯度，导致全局模型做出错误预测。为了解决梯度安全问题，联邦学习系统中已经利用了差分隐私（DP）[7]、[8]、[9]和安全多方计算（SMC）[10]、[11]、[12]、[13]。在这种情况下，需要在安全性与效率之间做出权衡。为了缓解聚合模型的安全风险，早期的安全模型聚合方法如Krum [14]和截断均值（Trimmed Mean）[15]已被提出以对抗投毒攻击，但它们并不总是足够鲁棒。最新方法[6]、[16]、[17]、[18]、[19]已被提出以有效缓解投毒攻击；然而，它们依赖于额外的数据假设。在FL的语境下，数据假设是指关于训练数据的分布、质量或可访问性的显式或隐式假设。这些假设可以简化算法设计或增强鲁棒性，但在实际应用中可能并不总是成立。例如，这些假设包括对干净数据集的需求、数据预先分组以维持固定分布，或者诸如参与客户端间独立同分布（IID）数据等统计特性。例如，FLTrust [20]和PBFL [19]需要在服务器端拥有一个小型干净数据集（例如200张图片）来识别恶意客户端。在[6]、[21]中，数据必须在HFL训练开始前预先分组，即假设每个集群组内具有固定的数据分布。PEFL [4]要求训练数据为IID数据以实现无偏梯度估计。另一方面，一些解决方案[15]、[22]、[23]在不依赖数据假设的情况下缓解投毒攻击，但它们无法保证梯度安全。这一局限性产生的原因在于，这些技术无法在密文域中执行。因此，现有方案通常基于特定的数据假设来解决局部梯度或聚合模型的安全问题，从而留下了某些未解决的风险。

基于上述分析，关键研究问题随之产生：如何在HFL中同时确保梯度和聚合模型的安全性，而不依赖额外的数据假设？这一问题涉及两个技术挑战。首先，在没有数据假设的情况下（例如，真实梯度作为可靠基准），很难直接区分给定的梯度更新是恶意的还是良性的。因此，有必要设计一种机制来定量地刻画梯度以实现可靠区分。其次，直接在密文上执行此类分析会引入巨大的计算挑战。尽管一些现有方案在明文设置下是有效的，但其计算流程无法满足安全要求，使得将这些流程直接适配为安全保护的对应方案变得并非易事。

为解决这两方面的安全关切，我们提出了SecHFed，一个在不依赖额外数据假设的情况下保护梯度并缓解投毒攻击的框架。具体而言，我们利用全同态加密（FHE）作为底层技术来保护HFL中的梯度传输。在此基础上，提出了一种安全的两节点验证协议来验证加密过程的真实性。为检测恶意的投毒行为，我们通过相似度分数和Softmax函数放大梯度差异，为客户端分配不同的权重。SecHFed专注于防御非针对性投毒攻击；语义后门攻击不在本文讨论范围内。

所提出框架的主要新颖性体现在两个方面：（i）我们提出的方案中计算和验证操作完全在密文下执行，从而在HFL的所有实体之间保证梯度安全；（ii）通过不依赖数据假设的机制，在密文域内放大恶意客户端的影响。为方便复现，SecHFed的实现已在 https://github.com/Chen-Gu/SecHFed 公开。

主要贡献总结如下：

•我们提出了SecHFed，一个安全的HFL框架，使联邦学习能够在多层级系统中有效应用，同时保障梯度与全局模型的安全性。据我们所知，这是第一篇在HFL中不依赖额外数据假设来解决这两个安全方面问题的论文。
•我们将FHE应用于梯度加密，并利用边缘节点验证加密过程，确保梯度在所有实体之间安全传输。此外，我们开发了新颖的机制来在密文域中检测投毒行为。
•我们对所提出的框架进行了形式化分析，并在真实数据集上进行了广泛实验。结果表明，SecHFed能够有效防御各种投毒攻击，同时保持与其他依赖数据假设的先进方案相当的性能。

本文其余部分组织如下：第2节讨论相关工作，第3节介绍预备知识。第4节概述问题描述。第5节提出所设计的框架，第6节进行形式化分析。第7节描述实验评估。第8节讨论所提出的框架。最后，第9节总结全文。

## 相关工作片段

### 安全联邦学习

为缓解数据泄露威胁，各种基于差分隐私（DP）的方案已被提出[7]、[8]、[9]。虽然DP通过严格的数学证明提供安全保证，但主要缺点是DP方案会对模型参数进行扰动，不可避免地导致模型性能降低。因此，许多研究转向了在FL系统中使用安全多方计算（SMC）。具体来说，基于Shamir和基于格的安全共享协议被采用来保护多方之间传输的梯度[10]。

### 分层联邦学习

HFL框架包含一个服务器、m个节点和n个客户端{$\mathcal{C}_1, \mathcal{C}_2, …, \mathcal{C}_n$}，其中每个客户端$\mathcal{C}_i$拥有大小为$|D_i|$的本地数据集$D_i$。与传统FL类似，客户端$\mathcal{C}_i$通过优化目标函数来计算模型参数向量$\omega$：

$$\mathcal{F}_i(\omega) = \frac{1}{|D_i|} \sum_{\xi \in D_i} \mathcal{L}_i(\omega; \xi)$$

其中$\mathcal{L}_i(\cdot)$表示$D_i$中数据样本$\xi$的经验损失函数。节点从客户端收集梯度并发送给服务器。HFL通过最小化全局损失来寻求获得最优模型参数。

## 问题描述

本节简要概述系统模型、威胁模型和设计目标。

## 提出的框架：SecHFed

本节首先概述SecHFed，随后详细描述所提出的框架。

## 提出框架的分析

本节正式提供SecHFed的收敛性、扰动、安全性和复杂性的数学证明与分析。

## 数据集

我们在三个广泛使用的数据集上评估SecHFed的性能，包括MNIST [49]、FashionMNIST [50]和CIFAR-10 [51]。MNIST包含60,000张训练图片和10,000张测试图片，为28×28灰度手写数字图像，共10个类别。FashionMNIST具有相同的训练-测试划分和图像分辨率，但包含10个类别的服装。CIFAR-10包含50,000张训练图片和10,000张测试图片，为32×32 RGB图像，来自10个物体类别。在HFL模型训练中，我们使用逻辑回归（LR）……

## 讨论

在本文中，我们讨论了几项与我们的解决方案相关的关注点。

•**非合谋假设**。我们假设边缘节点之间不存在合谋，边缘节点与服务器之间也不存在合谋。这一假设在现实的跨筒仓或多域设置中是合理的，因为边缘节点由不同的组织运营或属于不同的信任域，而云服务器则独立维护。在这样的场景下，合谋的可能性显著低于……

## 结论

在本文中，我们提出了一个新颖的安全框架，即SecHFed，它在保护梯度的同时缓解投毒攻击，且不依赖额外的数据假设。SecHFed利用FHE和两节点验证协议来保护HFL中的梯度传输。它还采用了相似度测量等技术来计算客户端权重，从而增强对投毒攻击的防御。我们对所提出的框架进行了形式化分析，并进行了广泛实验……

## CRediT作者贡献声明

Chen Gu：撰写—初稿，监督，方法论，资金获取，形式化分析，概念化。
Kun Zhu：验证，软件，方法论。
Donghui Hu：撰写—审阅与编辑，监督，方法论，调查，概念化。
Zhiquan Liu：撰写—审阅与编辑，监督，项目管理，调查，概念化。

## 利益冲突声明

作者声明，他们没有已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。

Chen Gu | Kun Zhu | Donghui Hu | Zhiquan Liu