在联邦学习中,使用基于准确度的UCB算法来有效防御动态数据注入攻击

《Future Generation Computer Systems》:Defending dynamic data poisoning with accuracy-based UCB in federated learning

【字体: 大 中 小 】 时间:2026年09月21日 来源:Future Generation Computer Systems 6.2

编辑推荐:

  **摘要** 联邦学习是一种去中心化的机器学习框架,它允许多个设备在保护用户隐私的同时协作训练共享模型。然而,这种范式面临着诸如非独立同分布(non-IID)数据分布和恶意客户端等关键挑战,这些挑战可能会阻碍模型的收敛并降低性能。为了解决这些问题,我们提出了两种基于置信上界(

  **摘要**
联邦学习是一种去中心化的机器学习框架,它允许多个设备在保护用户隐私的同时协作训练共享模型。然而,这种范式面临着诸如非独立同分布(non-IID)数据分布和恶意客户端等关键挑战,这些挑战可能会阻碍模型的收敛并降低性能。为了解决这些问题,我们提出了两种基于置信上界(Upper Confidence Bound)的策略——UCB-accuracy和UCB-CS-accuracy——它们利用本地模型的准确性作为奖励信号,以在高度异构和对抗性的环境中提高客户端选择的质量。此外,我们还结合了一种基于信任的聚合方法(Trust-Based Aggregation, TBA)来增强系统的稳定性和抵抗篡改攻击的能力。我们在各种数据集和配置下进行了广泛的实验。我们的结果并不声称绝对的优势,而是揭示了一个高度灵活的权衡:UCB-CS-accuracy在极端的数据异质性和动态攻击环境下最大化了绝对准确性和收敛稳定性,而UCB-accuracy则作为一种高效、轻量级的替代方案,在中等平衡的非独立同分布条件下(例如??=0.5)表现出色。此外,我们不仅评估了框架对传统静态威胁的耐受性,还验证了其在复杂攻击时间动态下的鲁棒性。通过模拟攻击者悄悄加入、离开或逐渐增强攻击强度的非静态对抗环境,我们严格证明了所提出机制的出色时间适应性。最终,这项研究表明,将基于准确性的客户端选择与基于信任的聚合相结合,为联邦学习提供了一个高度弹性的框架,显著提升了系统的安全性和全局模型的性能。

**引言**
机器学习(Machine Learning, ML)是人工智能的一个子领域,它利用算法分析大量数据集,实现了诸如分类和预测等复杂任务的自动化。其应用范围广泛,包括医疗保健、金融和交通运输等领域,在这些领域中显著提高了运营效率和精确度。例如,ML有助于快速疾病诊断、改进金融风险评估和欺诈检测,并支持交通预测和自动驾驶。
传统的集中式ML方法需要在中央服务器上聚合数据,这带来了重大的隐私风险,并与新兴的数据保护法规相冲突[1] [2]。作为回应,联邦学习(Federated Learning, FL)作为一种保护隐私的范式应运而生。FL允许客户端(如移动设备或医疗系统)在本地训练模型,并仅传输更新后的参数进行全局聚合[3],这大大减少了数据暴露,使其非常适合处理敏感应用[4] [5]。然而,FL也引入了新的挑战,特别是在安全性和数据异质性方面。去中心化的架构使FL容易受到数据篡改攻击的影响,攻击者可以破坏本地数据集或篡改模型更新。由于原始数据对服务器是不可见的,这些攻击通常很难被检测到[6] [7]。常见的攻击手段包括标签翻转和梯度操纵,这些行为有时是由多个恶意客户端协同进行的[8] [9]。另一个基本挑战是非独立同分布(non-IID)数据,当本地数据分布存在显著差异时就会出现这种情况[10] [11]。这种异质性往往会导致模型发散并降低全局性能,特别是在严重不平衡的类别条件下。此外,让所有客户端参与每一轮训练会带来巨大的通信开销,因此需要一种高效且稳健的客户端选择机制。即使在对抗性和高度异构的环境中,最优的选择策略也必须准确评估客户端的使用价值和可信度。
在这项研究中,我们提出了一种全面的方法来处理FL中的客户端选择问题,既考虑了非独立同分布情况,也考虑了对抗性环境。我们将选择任务视为多臂老虎机(Multi-Armed Bandit, MAB)问题,根据历史模型性能平衡探索和利用。具体来说,我们提出了一种修改后的选择策略,它利用本地模型的准确性(而不是传统的损失值)作为置信上界(UCB)算法及其时间感知变体UCB-CS中的主要奖励信号。这种转变提供了一个严格受限且更稳定的性能指标,尤其是在损失值容易被操纵的挑战性环境中。此外,为了适应独特的本地数据分布,我们实现了一种个性化的本地训练方法,每个客户端都维护个性化的批量归一化层。最后,在聚合过程中,我们采用了一种基于信任的机制(TBA)来系统地评估客户端的可信度,过滤掉恶意更新,以保证全局模型的鲁棒性。
这项工作旨在通过以下贡献来解决FL中的安全性和数据异质性问题:
1. 与以往将客户端选择和聚合视为孤立步骤的研究不同,我们的框架将基于准确性的客户端选择机制(UCB-accuracy)作为第一道防线,与基于信任的聚合策略(TBA)相结合。通过客户端端的适应(本地批量归一化),进一步缓解了特征漂移问题,并使基于准确性的奖励能够可靠地识别高质量节点。
2. 提高了对数据篡改攻击的抵抗力:基于准确性的客户端选择方法增强了识别具有真正泛化能力的客户端的能力,从而提高了系统在不断变化的攻击策略下的鲁棒性。
3. 有效处理数据异质性:通过优先选择具有更强和更平衡本地性能的客户端,所提出的方法减少了数据偏斜的影响,并加速了模型的收敛。
4. 可扩展性和实证验证:在五个基准数据集(MNIST、Fashion-MNIST、SVHN、CIFAR-10和CIFAR-100)上进行的广泛实验,涵盖了不同的客户端群体和数据偏斜程度,证明了UCB-accuracy和UCB-CS-accuracy的实际有效性。我们的结果并不声称在所有可想象的指标上都具有绝对优势,而是揭示了一个高度灵活的权衡:UCB-CS-准确性在极端非独立同分布数据(??=0.1)和复杂的动态篡改情况下实现了最高的全局准确性和攻击抵抗力,而UCB-accuracy大幅减少了计算训练时间,并在中等异质性设置中有效抑制了恶意参与(??=0.5)。
5. 在非静态攻击时间动态下的评估:与主要假设静态威胁的以往研究不同,我们引入了复杂的动态篡改场景,其中攻击者悄悄加入、离开或逐渐增强攻击强度。这种严格的评估突显了我们的历史依赖选择机制在应对不断变化的对抗行为时的出色时间适应性。

**本文的其余部分组织结构如下**:第2节回顾了联邦学习、数据篡改攻击、防御机制和基于多臂老虎机的客户端选择策略的基础知识。第3节详细介绍了所提出的方法,包括基于多臂老虎机的建模、基于准确性的奖励设计、本地个性化以及基于信任的模型聚合。第4节概述了实验框架,并对结果进行了全面分析。最后,第5节总结了这项研究的结论并指出了未来研究的潜在方向。

**相关工作**
本节提供了与我们研究相关的文献的全面概述。首先,我们介绍了联邦学习(FL)的基本原理及其如何解决数据隐私问题。接着,我们讨论了数据篡改攻击(特别是数据和模型篡改)以及相关的防御机制。然后,我们探讨了在非独立同分布数据环境和对抗性环境下的客户端选择问题。最后,我们回顾了多臂老虎机(MAB)框架的应用。

**联邦学习框架**
我们的研究考虑了一个涉及??个客户端(??∈{1,2,…,??})的联邦学习(FL)设置,每个客户端??都拥有自己的私有数据集????。在现实世界应用中,用户生成的数据通常分散在不同设备上,并且存在显著差异,这导致了通常称为非独立同分布(non-IID)的数据。我们提出了一种新的FL框架,其中集成了改进的客户端选择机制。

**环境设置**
所有实验都在一台配备了Intel(R) Core(TM) i7-14700 CPU(20核心)、NVIDIA GeForce RTX 4090 GPU和128 GB RAM的服务器上进行。软件环境配置为Python 3.10.16、PyTorch 2.5.1和CUDA 12.7,以确保与深度学习框架和GPU加速的完全兼容性。

**基线设置**
为了严格评估所提出的框架,我们将其与几种客户端选择和服务器聚合的基线策略进行了比较。

**客户端选择方法**:
(a) 随机选择

**结论与未来工作**
联邦学习(FL)允许分布式设备在不共享本地数据的情况下协作训练全局模型,从而保护用户隐私。这种以隐私为中心的范式在医疗保健和金融等敏感领域得到了越来越多的采用。然而,FL系统在实际部署中面临着持续的挑战,主要是由于非独立同分布数据分布和恶意客户端行为,这些因素可能会阻碍模型的收敛、降低性能并破坏系统的鲁棒性。

**作者贡献声明**
Yung-Ting Chuang:撰写——审稿与编辑、验证、监督、项目管理、资金获取、概念化。
Min Hsia:撰写——原始草稿、软件、资源。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
本研究得到了台湾国家科学技术委员会(National Science and Technology Council)的112-2410-H-A49-025和113-2410-H-A49-056-MY2项目的支持。

**作者信息**
Yung-Ting Chuang | Min Hsia
台湾映明交通大学信息管理学院
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号