编辑推荐:
针对联邦学习(FL)易受对抗攻击、现有防御对数据投毒无目标攻击效果不足的问题,研究人员提出 “噪声数据攻击” 及防御机制 NDAD。实验表明,NDAD 在多数据集上检测恶意客户端准确率超 97%,提升全局模型精度 2%-4.75%,为 FL 安全提供新方案。
在人工智能快速发展的今天,数据隐私与模型安全成为亟待解决的难题。联邦学习(Federated Learning, FL)作为一种分布式学习机制,让多个客户端在保护数据隐私的前提下协同训练全局模型,然而其面临严峻的对抗攻击挑战,尤其是数据投毒攻击。现有研究中,针对联邦学习的对抗攻击与防御虽取得一定进展,但数据投毒型无目标攻击却未得到充分关注。多数现有数据投毒攻击为有目标攻击,如标签翻转攻击、触发型攻击等,而无目标攻击的防御研究主要集中于模型投毒策略,且依赖 “多数假设”(即良性客户端占多数),这在恶意客户端数量较多或数据非独立同分布(non-iid)时容易失效。在此背景下,探索能有效应对新型攻击的防御方法对联邦学习的实际应用至关重要。
为解决上述问题,来自 Hanoi University of Science and Technology 的研究人员开展了相关研究,成果发表在《Future Generation Computer Systems》。他们提出一种新型无目标数据投毒攻击 —— 基于噪声数据的攻击(noisy data-based attack),并开发了相应防御机制 NDAD(Noisy Data-based Attack Defense),为联邦学习的安全性提升提供了新路径。
研究人员主要采用了以下关键技术方法:
- 威胁建模:定义恶意客户端通过噪声数据污染训练数据的攻击模式。
- 噪声数据生成:通过多种数据变换将原始数据转化为噪声数据。
- 恶意客户端检测:利用置信度分数(confidence score)评估本地模型对数据预测的准确性,结合密度估计识别恶意客户端。
- 模型聚合:根据客户端的可信度对其模型更新进行加权聚合,降低恶意客户端的影响。
噪声数据基无目标攻击
研究提出的噪声数据基攻击通过将原始训练数据的子集转化为噪声数据,使恶意客户端污染训练过程。威胁模型假设攻击者可访问并修改客户端数据,通过数据变换生成噪声样本。实验表明,该攻击能显著降低全局模型精度,且几乎可规避所有现有先进防御(SOTA defenses),凸显了现有防御在应对此类攻击时的局限性。
防御机制 NDAD
NDAD 包含两个核心部分:
- 恶意客户端检测:利用置信度分数区分良性与恶意客户端。干净数据通常使模型预测置信度高,而噪声数据导致模型混淆、置信度低。通过密度估计算法,该机制能准确识别出提交噪声数据的恶意客户端,检测准确率超 97%,即使在恶意客户端比例很高的场景下仍表现优异。
- 安全聚合算法:不同于传统方法完全剔除可疑客户端,NDAD 根据客户端的可信度对其模型更新进行加权。即使恶意客户端中未被污染的数据仍包含有用信息,通过赋予高置信度更新更大权重,该方法在聚合时既能利用有益知识,又能削弱噪声数据的影响,使全局模型精度平均提升 2%-3%,最佳情况下可达 4.75%。
实验评估
研究在 MNIST、CIFAR-10 和 HAM10000 数据集上进行了广泛实验,将 NDAD 与 FedAvg(无防御)、Median、Trimmed-mean、Krum、Multikrum、Bulyan、FLDetector、DeFL 等现有防御方法对比。结果显示,NDAD 在不同数据集和攻击场景下均表现出更高的 Top-1 准确率和稳定性,尤其在恶意客户端比例高或数据 non-iid 时优势显著,验证了其有效性和鲁棒性。
结论与意义
本研究揭示了联邦学习中基于噪声数据的新型无目标攻击,其通过噪声数据污染能绕过现有主流防御。提出的 NDAD 防御机制不依赖 “多数假设”,而是基于置信度分数和密度估计识别恶意客户端,并通过加权聚合利用有益信息,为联邦学习的对抗攻击防御提供了新思路。实验表明,NDAD 在检测准确率和模型精度提升上均优于现有方法,为联邦学习在医疗、金融等隐私敏感领域的安全应用奠定了基础。该研究不仅拓展了联邦学习对抗攻击的研究范畴,也为后续防御算法的设计提供了重要参考,推动了分布式机器学习安全领域的发展。