用于安全与隐私保护联邦学习的神经网络洗牌

《Internet of Things》：Neural network shuffling for secure and private federated learning

　　

摘要
联邦学习使得去中心化模型训练成为可能，而无需共享来自单个用户/客户端设备的原始数据，从而保护数据隐私。然而，联邦学习系统仍面临重大安全挑战，包括通过梯度反转进行的机密性攻击和通过恶意模型投毒进行的完整性攻击。现有解决方案通常孤立地处理这些问题，这会在隐私保护与基于行为的一致性检查之间造成紧张关系。在本文中，我们提出了 Tazza，这是一个系统级的联邦学习框架，在基于 TEE（可信执行环境）的部署假设下，共同支持面向机密性的更新混淆和面向完整性的恶意更新隔离。通过利用现代神经网络架构固有的置换等变性和置换不变性属性，Tazza 打乱了服务器可见的模型参数，同时保留了聚合和打乱模型验证所需的代数兼容性。它进一步结合 TEE 保护的打乱规则管理、打乱验证、自适应聚类和基于聚类的聚合，在特征空间中分离恶意更新和良性更新。使用各种数据集和真实嵌入式平台进行的评估表明，Tazza 在实际中缓解了所评估的梯度反转、标签翻转、噪声注入和后门攻击，同时在测试设置下保持了具有竞争力的模型准确性。在配备 OP-TEE 的 NVIDIA Xavier NX 上，与相同模型和平台设置下的梯度裁剪相比，Tazza 的核心防御操作延迟降低了高达 6.40 倍；我们的端到端分析进一步表明，Tazza 引入的额外通信仅限于紧凑的种子协调，而非模型大小的负载传输。

引言
联邦学习是一种变革性范式，它在去中心化环境中训练机器学习模型，以保护分布式移动和嵌入式数据的隐私，同时增强个性化体验 [1], [2]。在这样的系统中，客户端在本地训练其模型，并仅与中央服务器共享模型更新，而不是原始数据，中央服务器从许多分布式客户端聚合模型更新以构建稳健的全局模型。

然而，尽管具有保护数据隐私的设计，联邦学习仍面临显著的安全挑战。具体而言，其对分布式、异构客户端数据的依赖使其容易受到恶意模型更新的威胁，从而损害系统完整性 [3], [4]。此外，诚实但好奇的服务器可以分析共享的模型更新以推断敏感数据，从而侵犯机密性 [5], [6]。这些问题在无处不在的计算场景中尤为关键，例如日常活动追踪和个人健康监测，其中敏感数据丰富，且第三方应用程序的安装加剧了风险 [7], [8]。总之，联邦学习必须应对两个主要攻击向量：来自恶意客户端的完整性攻击和来自好奇服务器的机密性攻击。

完整性攻击发生在恶意客户端通过共享篡改的更新破坏联邦学习时。这些攻击包括注入噪声 [3]、使用错误的训练标签 [9], [10]，或嵌入对抗性模式 [11]。此类干扰严重阻碍全局模型的收敛和性能。为了应对这些威胁，研究人员开发了防御措施，如利用统计先验过滤异常更新 [12] 和采用稳健的聚合策略 [13], [14]。另一方面，机密性攻击发生在好奇服务器试图从共享的模型更新中推断敏感的客户端数据时。常见的对策包括应用差分隐私技术 [15], [16] 或使用梯度裁剪 [17]。然而，由于更新的改变，这些方法可能会损害全局模型的收敛。本文针对这种联合设计空间，即实际的联邦学习系统必须减少服务器端的信息暴露，同时保留足够的行为信息来检测恶意更新。

我们强调，在联邦学习中，特别是对于移动和物联网（IoT）场景，同时支持完整性和机密性至关重要。随着大量分布式且易于物理更改的客户端参与，假设所有参与者都出于善意是不现实的。因此，需要稳健的机制来防御损害系统整体完整性的恶意客户端。同样重要的是保护从移动/IoT 设备收集的敏感数据，如健康信息 [18], [19]、日常活动 [20], [21], [22] 或环境指标 [23], [24]，以维持信任并满足法规要求。

然而，同时解决完整性和机密性带来了独特挑战。传统的机密性措施（例如差分隐私）模糊了模型更新以保护隐私，但阻碍了对后门攻击或标签投毒等恶意模式的检测。相反，完整性防御侧重于识别和缓解这些威胁，但可能与机密性措施冲突，使满足这两个目标的系统设计复杂化。真实世界移动和 IoT 数据的非独立同分布（non-i.i.d.）性质加剧了这种复杂性，其中更新的多样性使得区分合法和恶意更新更加困难，特别是当机密性防御显示出不准确性时。这些权衡在不显著降低全局模型性能的情况下，共同为改进隐私保护和攻击缓解构成了重大障碍 [25]。尽管这些问题至关重要，但很少有工作同时解决这两个威胁并保留性能。解决这一交织的挑战对于现实世界的联邦学习应用至关重要，因为系统可靠性和用户信任取决于平衡有效的防御。

在本文中，我们通过利用神经网络的置换等变和置换不变属性（参见第 2.2 节），解决联邦学习中联合支持面向完整性的攻击缓解和面向机密性的更新混淆的挑战。置换等变性是指函数的输出与其输入的订单一致变化的属性，反映相同的置换。而置换不变性意味着无论输入的订单如何，函数的输出保持不变。这些属性存在于各种神经网络架构中，如多层感知机、循环神经网络和 Transformer。

利用这些见解，我们提出了 Tazza，一个系统级的联邦学习框架，集成了权重打乱、TEE 保护的打乱规则管理、打乱模型验证、自适应聚类和基于聚类的聚合。我们注意到，Tazza 使用保持结构的参数置换作为高效的混淆机制，在所述部署假设下保持良性更新在代数和验证上的兼容性，而不是引入新的加密隐私原语或最坏情况拜占庭容错聚合规则。Tazza 具有一个权重打乱模块，根据预定义规则重新排列神经网络参数，有意模糊原始模型，同时保留置换等变和不变属性。此设计减少了服务器可见模型更新的可解释性，同时避免了破坏性的更新修改，如重度噪声注入或裁剪。此外，打乱模型验证过程确认可重新排列模型的输出保持一致和准确，从而维持其整体性能。我们进一步利用此验证中的相似度度量对模型进行聚类，从而将恶意更新与良性更新隔离开来。

尽管如此，在不损害所需属性的情况下打乱模型参数需要对神经网络操作有深入的理解。虽然许多架构表现出置换等变和不变属性，但其潜在机制差异很大。因此，我们为代表性模型架构引入了定制算法，展示了如何有效地利用基于置换的技术用于实际的联邦学习。

总体而言，我们将 Tazza 呈现为一个高效的联邦学习框架，用于在基于 TEE 的打乱规则保密假设下，实际缓解所评估的机密性和完整性攻击。得益于逐层置换分析并通过广泛的评估验证，Tazza 在测试设置下保持了具有竞争力的准确性，同时降低了梯度反转攻击下的重建质量，并隔离了标签翻转、噪声注入和后门攻击下的恶意更新。定量而言，在效率方面，与嵌入式平台上（Xavier NX）的梯度裁剪相比，Tazza 实现了高达 6.4 倍的核心防御操作延迟降低。我们的主要贡献如下：
•我们识别出基于置换的权重打乱作为联邦学习的保持结构更新混淆机制，并提供逐层分析，展示何时神经网络操作与一致的打乱保持代数兼容。
•我们设计了 Tazza，一个系统级的集成，包括权重打乱、TEE 保护的打乱规则管理、打乱模型验证、自适应聚类和基于聚类的聚合，用于移动和嵌入式联邦学习场景。
•我们在多样化的数据集、模型架构、攻击场景和嵌入式平台上评估了 Tazza。结果表明，实际缓解了所评估的梯度反转和投毒攻击，模型准确性具有竞争力，并且在配备 OP-TEE 的嵌入式平台（Xavier NX）上，测得的核心防御操作延迟比梯度裁剪降低高达 6.4 倍。

章节片段
联邦学习中的安全威胁
我们首先讨论联邦学习中完整性和机密性攻击的背景信息，以及置换等变性和置换不变性概念的基础细节。

完整性攻击。恶意客户端可以通过篡改本地模型权重破坏联邦学习系统。例如，在数据投毒攻击中，攻击者更改数据标签对（例如标签翻转），而模型投毒涉及噪声注入或参数缩放。

可行性研究与核心理念
我们进行了一项初步研究，表明在神经网络训练期间进行数据置换可以保留数据隐私和模型性能。基于这些观察，我们介绍了 Tazza 背后的核心理念。

可行性研究。为了检查打乱是否能增强数据隐私，我们测量了原始和打乱的 MNIST 样本之间的峰值信噪比（PSNR），其中每张图像使用固定的像素顺序进行置换。图 3 可视化了示例和 PSNR 分布，用于...

威胁模型
目标与能力。我们应对联邦学习中的两个关键对手：完整性攻击者（恶意客户端），旨在通过数据或模型投毒降低全局性能；以及机密性攻击者（诚实但好奇的服务器），试图从更新中推断私有数据，可能会与间谍客户端勾结以收集辅助信息。

假设。我们假设攻击者控制本地训练，但无法干扰服务器端聚合或良性客户端，并且...

Tazza 概述
我们现在介绍 Tazza，一个面向机密性和完整性感知的联邦学习框架，旨在在所述 TEE 基于的部署假设下减少服务器端的信息暴露，同时隔离恶意更新。Tazza 利用两个核心模块：权重打乱和打乱模型验证，以利用神经网络的置换等变性和不变性属性。

图 5 说明了 Tazza 的整体工作流程：[服务器端] ① 联邦学习服务器...

实现
如前所述，权重打乱操作的实现因不同的模型架构而异。在本节中，我们提供了代表性架构权重打乱过程的详细解释。

多层感知机（MLP）。作为一种简单的架构，我们在 MLP 中演示权重打乱操作。在一个具有 L 层的 MLP 中，输出 y 计算如下：
$h^{(l)} = \sigma(h^{(l-1)} W^{(l)\top} + b^{(l)}), l = 1, \dots, L-1$
$h^{(0)} = x, y = h^{(L-1)} W^{(L)\top} + b^{(L)}$
这里，$h^{(l)}$ 表示...

评估
我们现在呈现 Tazza 的评估结果，来自使用四个数据集和各种比较基线的广泛实验。我们在评估中利用了各种适合每个数据集的基线模型的 Tazza 实现。

讨论
•针对 Tazza 的自适应攻击。虽然我们评估了两个代表性的自适应机密性攻击场景，但仍可能存在其他策略。例如，机密性攻击者可能使用辅助数据，或同时对重建输入和候选打乱规则进行联合优化，而恶意客户端可能在上传模型前篡改打乱规则或尝试向服务器泄露规则。在所述假设下，Tazza 通过聚类缓解这些风险...

结论
在本文中，我们介绍了 Tazza，一个面向机密性和完整性感知的联邦学习框架，设计用于基于 TEE 的打乱规则保密假设下的移动和嵌入式去中心化学习场景。利用现代神经网络固有的置换等变性和不变性属性，Tazza 采用权重打乱和打乱模型验证来混淆服务器可见的模型更新，同时保留所需的代数兼容性，用于...

CRediT 作者贡献声明
Kichang Lee：初稿撰写，验证，软件，调查。
Jaeho Jin：初稿撰写，可视化，验证，软件。
Songkuk Kim：审阅与编辑，初稿撰写，方法论，概念化。
JaeYeon Park：审阅与编辑，初稿撰写，监督，项目管理，调查，概念化。
JeongGil Ko：审阅与编辑，初稿撰写，监督，项目管理，资金获取。

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能会影响本文报告的工作。

Kichang Lee | Jaeho Jin | Songkuk Kim | JaeYeon Park | JeongGil Ko
延世大学，计算机学院，集成技术学院，50, Yonsei-ro, 西大门区，首尔，03722，大韩民国