LGP:分层梯度净化技术,用于抵御投毒攻击的鲁棒联邦学习
《IEEE Transactions on Dependable and Secure Computing》:LGP: Layerwise Gradient Purify for Robust Federated Learning Against Poisoning Attacks
【字体:
大
中
小
】
时间:2026年01月19日
来源:IEEE Transactions on Dependable and Secure Computing 7.5
编辑推荐:
联邦学习在保护隐私的同时面临投毒攻击等威胁,导致全局模型受损。本文提出Layerwise Gradient Purify(LGP)方法,通过MAD准则分层剪枝和层次聚类区分恶意梯度,有效提升模型鲁棒性。实验验证了其在CNN、RNN等模型上的优越性。
摘要:
联邦学习(FL)已成为一种在保护隐私的同时进行设备间协作模型训练的有前景的框架。然而,尽管它具有巨大的潜力,但仍面临诸如投毒攻击和被称为“拜占庭客户端”的网络威胁。这些威胁可能会通过危害协作模型训练过程的完整性而严重降低模型的性能。虽然之前的研究已经解决了检测和消除来自拜占庭客户端的恶意梯度的问题,但也表明,模型投毒攻击能够规避大多数依赖于中位数和距离等指标的统计防御方法。为了解决投毒攻击带来的挑战,我们提出了一种称为“分层梯度净化”(LGP)的新方法,该方法旨在在全球聚合过程之前去除任何有害梯度。该方法包括两个紧密相关的阶段:第一阶段使用中位数绝对偏差(MAD)剪枝标准在层级别对梯度进行剪枝;第二阶段从剪枝后的梯度中逐层提取统计特征,并将它们分类为诚实和恶意两类。所提出的方法将所有客户端中的每一层模型视为一个概率分布,利用层次聚类来区分恶意和诚实集群。此外,我们还引入了一个新的无辜性判断标准,该标准基于声誉分数和梯度与全局模型的偏差来选择诚实集群。我们使用包括CNN、RNN和MLP在内的多种深度学习模型,在Cifar-10、AG-News、MNIST和ToN-IoT等数据集上进行了广泛的实验,评估了现有方法对最新攻击的抵御能力。实验结果表明,LGP方法的有效性和优越性。
引言
联邦学习(FL)在现实世界应用中具有显著优势,因为它允许那些可能彼此不完全信任的客户端(如Android用户、竞争实体或物联网设备)进行模型训练。然而,这种开放性也使FL面临一种特定的网络威胁,即“投毒”攻击。一部分被攻破的或被称为“拜占庭客户端”的FL客户端可能在训练过程中从事恶意活动,从而破坏全局模型。因此,策划投毒攻击的对手会引导其被攻破的客户端在FL过程中提供被篡改的更新,从而污染全局模型[1]、[2]、[3]。研究表明,FL容易受到精心设计的投毒攻击的影响[4]、[5]、[6]、[7]、[8]、[9]。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号