近年来，联邦学习作为一种新的分布式机器学习范式受到了广泛关注[1],[2],[3],[4],[5]。传统的机器学习通常使用集中式数据进行模型训练。然而，在现实世界中，数据可能分布在不同的机构中，如医疗或金融领域[2],[6],[7]。在联邦学习中，用户使用私有数据训练本地模型若干轮。客户端将本地模型更新共享给中央服务器，中央服务器汇总所有客户的更新以更新全局模型，然后再将其分发给参与客户。这个迭代过程重复多次，最终得到全局模型[8],[9],[10]。联邦学习的分布式特性虽然备受关注，但也使其极易受到恶意参与者的攻击。
在联邦学习中，恶意客户的存在构成了严重的安全威胁。表现出拜占庭行为的恶意参与者可以操纵分布式训练过程，破坏最终的全局模型。即使是一个拜占庭错误也可能对训练模型造成重大威胁[11],[12]。除了拜占庭模型错误外，后门攻击也对模型安全构成威胁。恶意客户可以在不影响主要任务的情况下注入后门任务[13],[14],[15],[16],[17]。在模型聚合过程中，后门任务会被注入到全局模型中。因此，设计能够抵御恶意攻击的强大聚合算法至关重要。许多恶意攻击需要将恶意因素注入恶意更新中以放大其影响，而这取决于恶意客户的数量。现有的联邦学习防御机制主要分为两类：一类是强大的聚合算法[18],[19],[20],[21],[22]，用于检测和拒绝恶意权重；另一类是认证防御[23],[24]，涉及在客户端或服务器端使用辅助数据集进行验证。然而，认证防御可能会违反联邦学习的隐私设置，导致客户端本地信息泄露。在前一类方法中，Krum[19]、TrimmedMean[20]和Median[20]等算法以其仅依赖统计特性的防御机制而闻名。然而，这也促使了针对这些算法的拜占庭攻击算法的发展[25]。
尽管有许多防御算法，但联邦学习的数据异构性会影响这些算法的性能。数据异构性会导致模型更新偏离最优方向或步骤。例如，来自不同国家的用户可能使用不同的语言，因此即使在类似下一个词预测[9],[26]和自动驾驶[27]这样的任务中，不同地区收集的私有数据分布也会存在差异。这是我们关注的问题之一。
为了减轻数据异构性对联邦学习防御算法性能的影响，我们提出了基于聚类的异常模型过滤算法（AMF-CFL）。该算法通过异常客户端过滤来对客户端模型参数进行聚类。AMF-CFL使用修剪后的全局模型作为正确或错误的更新方向，通过计算余弦相似度来衡量模型更新之间的角度差异，从而有效抵御拜占庭攻击。随后，我们使用多类分类筛选潜在的恶意更新，并通过z分数进一步分析异常更新，最终得到良性模型簇。我们在两个非独立同分布的数据集上对我们的方法进行了评估，这些数据集受到了各种拜占庭攻击和针对性攻击的测试。结果表明，我们的方法能够有效过滤拜占庭攻击，确保全局模型的收敛性和可用性。
我们总结本文的贡献如下：
•我们研究了非独立同分布数据下的联邦学习鲁棒聚合。实验结果表明，该算法通过聚类和异常值过滤有效过滤了恶意客户端，尤其是在存在放大因子的攻击情况下。
•我们提出使用全局模型更新的潜在方向和每个客户的更新梯度作为特征，以区分良性客户端和恶意客户端。
•我们使用四种无针对性攻击和两种针对性攻击验证了AMF-CFL的有效性。结果表明，该算法能够有效过滤异常模型更新，同时确保未经过滤的恶意模型更新不会对攻击产生影响。
