在联邦学习中，针对投毒攻击和后门攻击的自适应聚合机制与鲁棒客户端选择方法

《Engineering Applications of Artificial Intelligence》：Adaptive aggregation and robust client selection against poisoning and backdoor attacks in federated learning

　　庄永婷 | 张启祥
国立阳明交通大学信息管理学院，新竹，台湾

**摘要**
联合学习（FL）能够实现协同训练，但仍然容易受到投毒攻击的影响，尤其是在非独立同分布（non-IID）的情况下，良性的更新可能被视为异常。我们提出了RSVDUCBTE（基于随机奇异值分解（RSVD）和上置信界（UCB）-汤普森探索的防御机制），该机制通过多指标评分融合基于RSVD的重建误差、隔离森林检测以及基于动态方差的排名方差来选择鲁棒的客户端，并辅以带有生存时间（TTL）和指数移动平均（EMA）平滑功能的信誉系统，以确保训练轮次的稳定性。我们在五个数据集上评估了RSVDUCBTE的效果，这些数据集中有100个客户端，且最多有40%的客户端受到投毒。实验结果显示，在极端异构性（α=0.1）和40%投毒的情况下，RSVDUCBTE在Street View House Numbers（SVHN）任务上的准确率为86.18%，在German Traffic Sign Recognition Benchmark（GTSRB）任务上的准确率为97.56%。在复杂的100类Canadian Institute for Advanced Research（CIFAR）-100数据集中，我们的方法保持了35.98%的准确率，与无防御策略的bandit方法相当，同时显著优于Trimmed Mean（25.88%）和Krum（12.71%）等过滤基线方法。在所有数据集中，RSVDUCBTE表现出更好的鲁棒性，它能够容忍更高的平均投毒客户端比例（大约23-24个，而其他防御方法为19-20个），同时保持了AUC和F1分数的稳定性。在良性环境中，它的表现与强大的基线方法相当，且无需额外开销。通过利用人工智能（AI）技术——特别是UCB、汤普森采样和基于RSVD的分析——本研究提供了一种有效的AI驱动解决方案，以保护联合学习免受复杂的投毒攻击。

**引言**
数据孤岛指的是组织内部或不同组织之间的数据无法有效共享和整合的现象，这种情况也常被称为断开的数据岛。传统上，集中式的机器学习模型很少遇到这个问题；然而，随着研究问题的复杂性增加，整合多样化的数据源变得至关重要。为了应对数据碎片化的挑战，同时确保数据隐私，Kone?ny等人（2016年）提出了联合学习（FL）机制。这种范式允许参与者仅通过共享本地训练的权重而不是原始数据来协作改进全局模型。在典型的FL周期中，中心服务器将初始全局模型分发给参与客户端，客户端在其私有本地数据集上独立对其进行微调，然后仅将模型更新发送回服务器。服务器随后聚合这些更新（例如，使用联合平均（FedAvg））来生成改进的全局模型。这个迭代过程持续进行，直到模型达到目标性能水平，从而有效保护数据隐私，因为原始数据集从未离开客户端。

根据参与者之间的数据分布和特征重叠情况，FL通常被分为水平联合学习（HFL）、垂直联合学习（VFL）和联合迁移学习（FTL）（Lyu等人，2020年；Yang等人，2019年）。当数据集具有相似特征但样本不同时，采用HFL；根据参与者规模和计算能力，HFL进一步分为面向业务的（H2B）和面向消费者的（H2C）场景（Lyu等人，2020年）。相反，VFL涉及具有重叠样本但特征不同的数据集，而FTL则处理特征和样本都很少重叠的情况。在这项工作中，我们专注于广泛采用的HFL框架，但它仍然容易在聚合阶段受到各种安全威胁。

联合学习（FL）的非集中化特性使其容易受到网络内部和外部的安全攻击。恶意行为者可以通过多种方式利用这些弱点，例如通过推断攻击来尝试窃取有关本地训练数据的信息（Li等人，2025a；Ganju等人，2018年；Shokri等人，2017年）。然而，本文特别关注内部投毒攻击，即被选中参与训练轮次的恶意参与者直接操纵模型完整性。这些内部对手尤其危险，因为他们在联合网络中充当破坏者，因此需要开发定制的防御机制。

FL中的投毒攻击主要分为数据投毒和模型投毒。数据投毒攻击涉及对手将恶意数据引入其本地数据集或修改现有真实记录。一种重要的变体是后门攻击，即对手在训练数据中嵌入特定触发器（例如图像中的像素模式）。当触发器存在时，这会导致全局模型产生目标错误的预测，而在良性的输入上保持准确性。此类攻击具有高度隐蔽性，并且可以通过分布式后门攻击（DBA）（Xie等人，2020年）进一步增强，后者将全局触发器分解为多个客户端中的不同局部模式以避免防御。相比之下，模型投毒攻击涉及在客户端上传本地模型参数之前直接对其进行操纵。这一类别包括拜占庭攻击，其中客户端可能传输任意的、随机的或合谋的梯度来扰乱训练过程或将全局模型引导向恶意目标。此外，虽然不是我们的主要关注点，但免费搭便车和拒绝服务（DoS）攻击等其他漏洞也会进一步损害系统的公平性和可用性。

有效防御这些漏洞需要多层次的方法，结合数据验证和模型更新过滤。常见的策略包括鲁棒聚合方法（如Krum（Blanchard等人，2017年）或基于中值的聚合（Yin等人，2018年），以及异常检测来识别可疑参数模式和差分隐私（Wei等人，2020年）来保护数据免受推断攻击。尽管如此，这些防御措施的有效性仍有待讨论，尤其是在面对如DBA或本文提出的自适应标签翻转攻击等复杂威胁时。现有的防御措施往往难以区分来自高度异构（non-IID）客户端数据的恶意更新和合法更新。这突显了开发更强大和适应性的防御机制的迫切需求，这些机制可以为联合学习系统提供全面的安全框架。

本文的主要研究目标是设计一种高度鲁棒的全局模型聚合算法，即使在大量客户端（最多40%）是恶意的情况下也能保持韧性。虽然传统的联合学习（FL）通过保持数据的本地性来确保隐私，但它本质上缺乏验证客户端更新完整性的机制，从而使系统容易受到投毒攻击。与通常采用二进制方法的传统防御策略不同（在检测到恶意客户端时将其贡献设置为零），我们提倡更灵活的机制。这是因为恶意客户端可能仍然拥有有价值的、稀有的数据，如果管理得当，这些数据可以造福全局模型。此外，现实世界的FL环境通常具有非独立同分布（non-IID）数据、类别不平衡和数据异质性（Pei等人，2024年）。我们的研究解决了这样一个关键问题：在严重投毒和数据异质性的情况下，是否有可能在不过早丢弃潜在有用的客户端更新的情况下保持高水平的全局模型性能？为了评估这一点，我们提出了多种防御技术——包括余弦相似性（Wang等人，2022年）、修剪均值（Blanchard等人，2017年）和随机奇异值分解（RSVD，Lu等人，2024年）——来过滤可疑更新。该框架的有效性使用CINIC-10数据集（一个由Canadian Institute For Advanced Research的10类（CIFAR-10）和ImageNet数据库组合的大规模数据集）进行了验证（Darlow等人，2018年），这是一个在投毒防御背景下相对较少被探索的联合数据集。

除了标准威胁，我们还特别针对复杂的对手，包括本文提出的无针对性的自适应标签翻转攻击。通过选择性地对稀有的本地类别进行随机标签交换，这种攻击最小化了与诚实更新的统计偏差，从而增强了隐蔽性并挑战了现有的检测规则。为了解决这些挑战，我们提出了RSVDUCBTE，这是一种多方面和自适应的防御策略，结合了光谱过滤、混合多臂老虎机和动态信誉管理。通过从静态聚合转向基于异常的选择范式，我们的框架即使在复杂和严重的投毒攻击下也能确保稳健的收敛。

我们的研究介绍了RSVDUCBTE，这是一种用于联合学习（FL）的鲁棒和自适应的客户端选择和聚合算法。虽然我们使用了成熟的工具（例如RSVD和隔离森林），但技术创新在于算法的“动态策略”和“自适应决策逻辑”，这些解决了静态防御方法的局限性。我们的具体贡献包括：
1. **自适应客户端选择策略**：我们超越了静态规则（如Krum或Trimmed Mean），采用了动态的、威胁感知的选择策略。关键创新是将UCB和汤普森采样自适应集成到多臂老虎机（MAB）框架中，根据感知到的威胁水平调整探索-利用平衡。这允许服务器拒绝恶意更新，同时保留来自异构客户端的宝贵贡献。此外，我们应用指数移动平均（EMA）对分数进行时间平滑，确保对客户端可信度的稳定评估。
2. **动态指标权重和信誉管理**：我们开发了融合检测指标和管理信誉的新机制。我们的基于动态方差的Softmax加权自动优先考虑每轮中最具有区分性的异常指标（例如基于RSVD的重建误差、隔离森林分数或排名方差）。这确保决策过程依赖于针对自适应攻击者的最强统计证据。在这方面，RSVD作为光谱分析的核心，用于过滤梯度噪声，提高重建误差的准确性。此外，带有生存时间（TTL）的信誉管理系统防止客户端支配，并使可能被暂时误分类的诚实客户端得以恢复。
3. **隐蔽威胁建模**：我们介绍了一种复杂的无针对性自适应标签翻转攻击，通过仅针对最罕见的本地类别来增强隐蔽性。这产生的恶意更新在统计上与诚实更新相似，为测试FL的鲁棒性提供了比现有方法更严格的基准。
4. **实证验证**：在五个数据集上的广泛实验确认了RSVDUCBTE在高投毒（高达40%）和非独立同分布（non-IID）条件下的卓越性能。我们的方法比主要基线实现了更快的收敛速度和更高的准确性，并且在良性环境（0%恶意客户端）中没有任何性能损失，验证了其作为通用FL防御手段的实际适用性。

**章节摘录**
**联合学习中的汤普森采样**
汤普森采样（TS）是一种用于多臂老虎机（MAB）问题的贝叶斯启发式方法（Agrawal和Goyal，2012年），越来越多地被用于联合学习（FL）中的客户端选择（Dai等人，2020年）。通过将每个客户端建模为“一条臂”，并将模型改进视为“奖励”，TS提供了一个计算效率高且理论上稳健的“概率匹配”框架。它在FL中的主要优势在于其自然的探索-利用平衡和在异步系统中的韧性。

**系统模型**
本研究考虑了一个为保护隐私而设计的标准联合学习（FL）框架。该系统包括一个中央服务器和一组N个参与客户端，表示为C={C1,C2,…,CN}。每个客户端Ci拥有一个私有本地数据集Di={(xi,j,yi,j)}j=1ni，其中ni表示每个客户端的样本数量。FL系统的主要目标是解决分布式优化问题。全局目标函数F(w)定义为局部损失的加权平均值。

**方法论**
整体RSVDUCBTE结合了客户端端和服务器端的流程，以确保鲁棒和可靠的联合学习。在服务器端（算法5至7），系统首先进行初始化，然后计算来自客户端更新的复合奖励，最后聚合选定的贡献以更新全局模型。在客户端端（算法2至4），服务器首先进行客户端选择，应用异常检测以识别潜在的恶意参与者，然后……

**性能评估**
本节详细介绍了用于评估我们提出的防御算法RSVDUCBTE对抗新型无针对性自适应标签翻转攻击的性能的实验设置，包括系统配置、使用的数据集、用于比较的基线方法以及性能指标。

**结论**
本文深入研究了联合学习（FL）分散式架构中固有的安全漏洞，特别关注由恶意客户端发起的投毒攻击。传统的FL框架缺乏有效的防御机制，容易受到此类攻击的影响，这可能会破坏最终全局模型的可信度。此外，非独立同分布（non-IID）数据的实际挑战……

**作者贡献声明**
庄永婷：撰写——审阅与编辑、验证、监督、项目管理、方法论、概念化。
张启祥：撰写——原始草稿、软件、方法论、概念化、数据策划。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

**致谢**
本研究得到了台湾国家科学技术委员会112-2410-H-A49-025和113-2410-H-A49-056-MY2的支持。