基于TEE的双向可验证且稳健的安全聚合方法，用于异步联邦学习

《Journal of Information Security and Applications》：Bilateral-verifiable and robust secure aggregation via TEE for asynchronous federated learning

　　魏刘|张英辉|吴阿新|曹进|王云岭|田扬光
中国陕西省西安市710121，西安邮电大学安全无线国家工程研究中心

摘要
联邦学习使得多个分布式参与者能够在不暴露原始数据的情况下协作训练模型，而安全聚合则是实现隐私保护的关键技术。然而，现有的安全聚合协议由于聚合器不可知性与鲁棒性之间的固有矛盾，仍易受到拜占庭故障的攻击，且通常不支持双向验证和异步聚合。本文提出了一种基于可信执行环境的两向可验证且具备拜占庭故障抵抗能力的异步联邦学习安全聚合方案。该方案在可信执行环境中实现一次性安全聚合，并引入了拜占庭故障检测机制，从而同时实现隐私保护和系统鲁棒性。此外，该方案还支持具有双向验证功能的异步聚合机制，能够对在可信执行环境中生成的聚合结果进行客户端身份认证和完整性验证。异步设计通过时间阈值触发聚合，有效降低了聚合延迟，进而减轻了落后客户端带来的影响。我们通过理论分析证明了该方案的正确性和安全性，实际实验表明其在真实数据集上的性能优于现有主流安全聚合框架，聚合效率至少提升30%，同时仍能抵御拜占庭投毒攻击。

引言
联邦学习是一种分布式学习框架，允许多个去中心化客户端在不泄露私有数据的情况下协作构建全局模型。在該框架中，每个客户端使用自身数据集独立优化本地模型并生成本地更新，这些更新随后由中央服务器汇总以优化全局模型。更新后的全局模型再分发回各客户端进行进一步本地训练。标准的联邦学习训练通常通过随机梯度下降的变体对经验风险函数进行迭代优化，每轮的全局模型更新为各本地梯度向量的加权平均值。通过将模型训练与直接数据共享分离，联邦学习有效解决了数据去中心化、符合法律要求的数据共享以及隐私泄露等问题，从而将机器学习的应用范围扩展到医疗保健和工业领域等对隐私敏感的领域。然而，先前的研究指出，攻击者可以从本地模型更新中推断出大量客户端隐私信息。这类攻击者可能包括参与其中的客户端、聚合服务器，或是企图破坏客户端隐私的外部恶意攻击者。

为降低这些隐私风险，人们提出了安全聚合协议。这类协议允许不可信的聚合器计算所有参与者数值的总和，而无需获取关于各参与者贡献的额外信息。此类协议的一个基本特性是聚合器不可知性，它确保聚合器无法从所有诚实客户端的加密贡献中推断出超出聚合结果之外的任何信息。从技术层面来看，安全聚合协议通常依赖于加法秘密分享或成对掩码技术，以确保各个更新在代数上相互抵消，同时保持聚合结果的正确性。尽管安全聚合协议显著提升了联邦学习中的隐私保护水平，但这种强烈的不可知性特性同时也限制了系统对拜占庭故障的容忍能力，凸显了隐私保护与系统鲁棒性之间的固有矛盾。

拜占庭故障是分布式计算系统中常见的问题，在联邦学习环境中也会出现。拜占庭式攻击者可能会伪造虚假的本地更新，以便在不耗费自身资源的情况下获取全局更新或其他奖励。此外，恶意客户端也可能故意提交有害更新，从而降低模型性能并阻碍全局模型的收敛。为应对此类威胁，人们提出了多种具备拜占庭故障抵抗能力的联邦学习方案。然而，这些方案通常要求聚合服务器直接访问客户端的模型更新，这会削弱隐私保护机制，与安全聚合协议的设计目标相冲突。从鲁棒性角度而言，具备拜占庭故障抵抗能力的聚合规则通常是通过坐标中位数、截断均值或基于范数的过滤等稳健统计方法来实现的，而这些方法的前提是能够看到各个客户端的模型更新。另外，现有的拜占庭故障抵抗型聚合方法往往依赖同态加密技术，而这会带来巨大的计算和通信开销，限制了其实际应用。

除了拜占庭故障抵抗能力之外，现有安全聚合协议缺乏双向可验证性，这也进一步降低了它们的可信度。在没有这种验证机制的情况下，恶意服务器可能会错误地汇总客户端更新，而客户端则无法确认聚合结果的正确性。此外，由于没有客户端身份验证机制，攻击者可以创建虚假的客户端身份，从而对聚合过程实施资源耗尽攻击等其他恶意行为。虽然已有几种可验证的聚合方案被提出来解决这些问题，但大多数方案依赖于同步聚合，且会带来较大的计算和通信开销。这类可验证机制通常通过数字签名、零知识证明或同态承诺等密码学原语来实现，以确保在不暴露原始更新的情况下保证聚合的正确性。同步安全聚合需要等待所有客户端提交更新，因此极易受到落后客户端或恶意参与者造成的延迟影响。为缓解这一缺陷，采用异步聚合机制可以在达到预定时间阈值时启动聚合，从而降低延迟并容忍速度较慢或响应迟缓的客户端。

为解决上述问题，我们提出了一种基于可信执行环境的、具有双向可验证能力且具备拜占庭故障抵抗能力的异步联邦学习安全聚合方案。该框架将一次性安全聚合与拜占庭故障检测机制相结合，既实现了隐私保护，又能抵御拜占庭投毒攻击。此外，它还包含了具有双向验证功能的异步聚合机制，能够在异步参与模式下对在可信执行环境中生成的聚合结果进行客户端身份认证和完整性验证。本工作的主要贡献如下：
• 我们设计了基于可信执行环境的一次性、具备拜占庭故障抵抗能力的安全聚合框架，该框架既能保护客户端隐私，又能防止全局模型遭到投毒攻击。在单轮操作中，客户端上传经过掩码处理的更新，可信执行环境可在无需进一步交互的情况下对这些更新进行聚合。该框架将可信执行环境的保障机制与伪随机函数相结合，并利用强大的检测机制过滤恶意更新，从而在统一框架内实现隐私保护和系统鲁棒性。
• 我们开发了一种具有双向验证功能的异步聚合机制，服务器会缓存客户端更新，一旦达到预定时间阈值就会启动聚合。该设计不仅支持对在可信执行环境中生成的聚合结果进行客户端身份认证和完整性验证，还能降低聚合延迟，减少落后客户端带来的影响。
• 我们对所提方案的正确性和安全性进行了形式化分析。在实际数据集上的广泛实验验证了该方案的实际效果，与现有主流安全聚合框架相比，其聚合效率至少提升30%，同时仍能抵御拜占庭投毒攻击。

安全聚合相关内容
2016年，Kone?ny等人首次提出了联邦学习概念，客户端将数据保存在本地，通过向中央服务器上传更新来协作训练共享模型。此后，McMahan等人提出了深度神经网络的迭代模型平均框架，通过增加本地计算量减少了通信次数，为后续联邦学习算法的发展奠定了基础。Yang等人则对联邦学习架构及其应用进行了全面概述。

联邦学习简介
在联邦学习中，一组客户端在中央服务器或协调器的协调下协作训练一个共享的机器学习模型。客户端不会暴露或传输自身的原始本地数据，而是交换经过处理的模型更新，这些更新会被汇总起来以优化全局学习目标。典型的联邦学习场景包括n个客户端和一个中央服务器。在每个训练周期e中，所有参与者都会重复执行以下步骤，直到全局模型xg(e)收敛为止：

系统模型
图1所示的系统模型描述了一种包含两个基本实体的框架：配备可信执行环境的聚合服务器以及客户端。各实体的功能如下：
• 聚合服务器：该服务器负责汇总客户端上传的更新和签名，同时能够追踪非法客户端的行为。聚合服务器内置了一个完全可信的可信执行环境，该环境执行四项核心功能：1）去除本地更新中的掩码；2）验证客户端身份；3）……

我们所提出的方案
在本节中，我们介绍了一种基于可信执行环境的、具有双向可验证能力且具备鲁棒性的异步联邦学习安全聚合方案。该方案涉及总共n个客户端，每个客户端由唯一的逻辑标识符u表示，即u=1,…,n。粗体参数表示向量量。例如，本地更新用向量xu表示。图2展示了该方案的四个核心阶段，具体实现方式将在下文说明。

安全分析
我们证明了所提方案在存在静态腐败的半诚实模型环境下能够满足安全多方计算的要求。具体而言，我们表明在协议执行过程中，服务器与任何被污染的客户端共同看到的信息，无法透露出关于诚实客户端输入的任何超出输出本身所暗示的信息。在给出正式结论之前，我们先介绍相关符号。随后我们将对协议执行过程进行分析。

功能性评估
我们通过将该方案的功能与其他方案进行比较，对其功能性进行了评估。我们认为该方案具有结构清晰、设计全面的优点。从这个角度出发，我们将所提方案与各种隐私保护型联邦学习框架进行了对比，结果如表1所示。Bonawitz等人提出了第一个具备安全聚合功能的联邦学习协议，该协议通过标准的签名机制实现客户端身份验证，从而有效保护了客户端隐私。然而，……

结论
在本文中，我们提出了一种基于可信执行环境的、具有双向可验证能力且具备拜占庭故障抵抗能力的异步联邦学习安全聚合框架。该框架将一次性安全聚合与拜占庭故障检测机制相结合，从而同时实现客户端隐私保护以及防止全局模型遭到投毒攻击。此外，它还包含了具有双向验证功能的异步聚合机制，能够在……条件下实现客户端身份认证和聚合结果完整性验证。

资金支持
本文档是中国国家密码科学基金（编号2025NCSF02037）、国家自然科学基金（编号62072369、62072371）、陕西省高校青年创新团队计划（编号23JP160、24JP180、25JP178）、陕西省特殊支持计划青年拔尖人才计划、陕西省技术创新引领计划（编号2023-YD-CGZH-31）以及陕西省技术创新引导专项资金资助的研究项目成果。

CRediT作者贡献声明
魏刘：写作——审阅与编辑，写作——初稿撰写，可视化，验证，监督，软件，资源，项目管理，方法论，研究，资金获取，形式化分析，数据整理，概念构思。张英辉：写作——审阅与编辑，监督，资源，项目管理，方法论，资金获取，概念构思。吴阿新：写作——审阅与编辑，监督，资源，项目管理，方法论。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。