基于域偏移消除与聚类异常检测的鲁棒联邦学习：面向智能物联网网络的投毒攻击防御

《International Journal of Intelligent Networks》：Robust federated learning for intelligent IoT networks via domain-shift elimination and clustered anomaly detection

　　

研究人员分析了非独立同构（non-IID）数据环境下投毒攻击（poisoning attacks）防御的困难，研究表明数据异质性会自然地分散良性更新，从而降低良性更新与恶意梯度之间的可分离性。研究人员提出了FedSDC，一种鲁棒的联邦学习（federated learning）防御框架，该框架集成可靠客户端选择（reliable client selection）、域偏移消除（domain-shift elimination）与聚类异常检测（clustered anomaly detection），以提升异构环境中的投毒抵抗能力。研究人员进一步设计了一种域偏移消除机制，通过对齐客户端表示并降低域引起的更新发散，使恶意更新更易于从良性更新中区分。研究人员在CIFAR-10、MNIST与EMNIST数据集上，针对定向投毒攻击（targeted poisoning attacks）与非定向投毒攻击（untargeted poisoning attacks）开展了大量实验，结果表明，相较于代表性的鲁棒聚合基线方法，FedSDC取得了更高的测试准确率与更强的鲁棒性。

**面向智能物联网网络投毒防御的FedSDC鲁棒联邦学习框架解读**

**一、研究背景与意义**

联邦学习（federated learning，FL，指各客户端在不共享原始数据的前提下协同训练共享模型的分布式学习范式）作为一种无需直接交换原始数据即可协同训练共享模型的范式，在智能物联网（Internet of Things，IoT）网络的移动服务、智慧医疗、工业物联网与边缘智能等隐私敏感场景中具有重要价值。然而，FL开放、分布式与异构的特性使其面临严重的投毒攻击（poisoning attacks，指通过污染数据或模型更新破坏全局训练的行为）威胁：恶意或被攻陷的客户端可注入投毒样本或操纵本地模型更新，扭曲全局聚合过程，导致模型精度下降或产生攻击者期望的错误分类行为。现有投毒攻击可分为数据投毒攻击（data poisoning attacks，通过修改本地训练数据误导全局模型）与模型投毒攻击（model poisoning attacks，直接构造恶意本地更新）两类，后者通常更灵活且破坏性更强。

针对投毒攻击，Krum、Multi-Krum、坐标中位数、DnC与FLTrust等鲁棒聚合（robust aggregation，指能够识别并抑制异常更新的模型聚合方法）方法试图依据距离、坐标统计量、谱特征或与可信参考更新的相似度识别并抑制可疑更新。然而，这些方法大多隐含依赖"良性客户端更新相对聚集"的假设，该假设在独立同构（independent and identically distributed，IID，指各客户端数据服从相同分布且相互独立）或近似IID场景下可能成立，但在实际智能网络系统中往往被违反。由于用户行为、感知环境、设备类型与部署位置的差异，客户端通常持有非独立同构（non-IID，指各客户端数据分布互不相同）数据，导致即使所有客户端均诚实，其本地更新在方向与幅度上也可能显著不同。这种自然发散扩大了正常更新的分布空间，使偏离全局平均的更新既可能源自数据异质性，也可能源自投毒攻击，从而显著增加了鲁棒聚合与异常检测的难度。近期虽有FLDA、GAS与HeteroFL等工作尝试改善异构数据下的投毒防御，但或依赖额外数据增强、或依赖对恶意客户端数量的准确估计、或依赖特定攻击假设与辅助验证流程，在资源受限、间歇连接且难以集中验证的实际物联网与边缘网络场景中适用性受限；更重要的是，在异常检测之前，由域异质性引起的自然梯度分散尚未被充分消除，限制了强非IID场景下的检测精度。基于此，研究人员在《International Journal of Intelligent Networks》上提出了FedSDC框架。

**二、研究方法**

FedSDC由三个互补模块构成。其一为可靠性感知客户端选择：服务器为每客户端维护良性计数B_k与可疑计数M_k，按平滑可靠性分数P_k=(B_k+1)/(B_k+M_k+2)与中位数P_med筛选候选集，再均匀随机抽样。其二为域偏移消除训练：利用个性化表示记忆库（personalized representation memory bank，PRMB，按客户端索引存储个性化偏置的可学习记忆矩阵）将本地表示分解为全局共享表示z^g_i与个性化偏置向量z^p_i，并引入平均正则化项MR(·)（mean regularization）将客户端表示均值对齐至全局共识均值z?_g，压缩非IID数据引起的良性更新自然发散。其三为聚类异常梯度检测：依据上传梯度间余弦相似度a_i,j递归二分客户端，聚类阈值a_thres设为0.5；在各簇内以归一化梯度均值g_qmed为主流方向计算方向一致性得分s_i，转换为非负声誉分数u_i=ReLU(s_i)并归一化加权聚合，声誉分数低于ε=10^-6的更新判为可疑。研究基于60个客户端的模拟交叉设备（cross-device）联邦学习环境，样本队列为MNIST、CIFAR-10与EMNIST数据集，经Dirichlet分布按q=0.5划分，共进行100轮全局通信，每轮选择30个客户端，攻击方式为标签翻转、符号翻转与梯度缩放，并与Multi-Krum、Median、DnC、FLTrust对比。

**三、研究结果**

数据集与模型架构方面，研究在MNIST、CIFAR-10与EMNIST三个图像分类数据集上评估FedSDC。MNIST采用轻量卷积神经网络进行手写数字分类；CIFAR-10采用ResNet-20作为骨干网络；EMNIST采用含两个卷积层、一个最大池化层、两个Dropout层、一个展平层与两个全连接层的九层卷积神经网络，输出维度依各数据集类别数设定。

实验设置方面，研究基于Python 3.8与PyTorch框架实现，通过联邦通信接口模拟服务器与客户端间的通信。共设60个客户端，每轮随机选择30个客户端，对应客户端采样比例0.5，全局通信100轮，学习率0.01，本地epoch数3，批大小32。主实验恶意客户端比例设为10%、20%与30%，参数敏感性分析覆盖0%至48%；为降低随机性影响，每项实验重复三次取平均，以测试准确率（ACC）为评价指标，所有方法采用相同的数据划分、客户端选择、恶意客户端集合与随机种子以保证公平对比。

基线方法方面，研究选取四种代表性鲁棒聚合方法：Multi-Krum通过计算客户端更新间欧氏距离，选取局部异常分数最小的更新进行聚合；Median对各参数维度计算中位数并据此构造聚合更新；DnC结合随机降维与谱分析，在低维子空间中识别恶意方向并剔除投影分数较大的更新；FLTrust假设服务器持有少量干净根数据集，以该数据集上的可信参考更新为基准，按客户端更新与参考方向的余弦相似度分配信任分数，并对更新归一化以抑制异常幅度。

投毒攻击下的整体性能方面，研究在三个数据集上同时考察定向与非定向投毒攻击（targeted与untargeted poisoning attacks）。在CIFAR-10上，FedSDC在定向与非定向攻击下分别取得71.79%与72.54%的准确率，在非定向攻击下较DnC提升1.38%、较Multi-Krum提升2.26%；在MNIST上分别取得85.78%与84.49%，较次优方法约提升1%；在EMNIST上分别取得78.53%与77.89%，定向攻击下较FLTrust提升2.26%。该结果表明，FedSDC能在较复杂的特征空间中更准确地区分异常更新与良性异构更新，单纯依赖基于距离、坐标或谱特征的异常检测不足以应对投毒攻击与数据异质性的叠加影响。

恶意客户端比例的影响方面，研究在CIFAR-10上将恶意客户端比例从0%逐步增至48%。随攻击强度上升，各方法准确率均下降；但FedSDC在整个范围内保持最佳或接近最佳的性能，即使在恶意客户端比例高达48%时仍优于基线方法，表明其能有效识别并抑制高强度定向投毒攻击；在非定向攻击下，当恶意客户端比例达40%时FedSDC仍优于DnC与FLTrust，且准确率下降幅度更小，显示出不同攻击类型与恶意客户端比例下更稳定的防御性能。

非IID程度的影响方面，研究在EMNIST上以Dirichlet参数q∈{1.0, 0.5, 0.2}调节数据异质性并施加非定向投毒攻击。随q减小，各方法准确率均下降；当q=0.2时，Multi-Krum、DnC与FLTrust分别降至69.74%、69.56%与71.68%，而FedSDC仍保持74.23%，表明其通过消除域引起的表示偏置并进行簇级异常检测，能更好地区分恶意更新与因数据异质性而自然发散的良性更新。

消融实验方面，研究在CIFAR-10上分别移除三个核心模块：移除可靠性感知客户端选择后，定向与非定向攻击下准确率分别降至69.17%与70.33%，表明基于历史可靠性的客户端过滤可为后续检测与聚合提供更干净的参与者集合；移除域偏移消除后分别降至67.26%与67.05%，性能下降最为显著，表明若无该模块，良性梯度仍会因数据异质性而自然分散，使恶意更新更容易隐藏于异构噪声之中；移除聚类异常检测后分别降至69.23%与69.14%，证实簇级异常检测可进一步识别并抑制显著偏离局部主流方向的更新。三个模块互补协同，共同贡献于鲁棒的投毒防御。

**四、讨论与结论**

研究人员在结论部分指出，FedSDC的动机在于非IID数据会使良性客户端更新自然发散，降低良性与恶意更新之间的可分离性，使传统鲁棒聚合方法不再可靠。为此，FedSDC集成可靠性感知客户端选择、域偏移消除与聚类异常检测三个互补组件：前者依据可靠性分数在随机抽样前过滤历史可疑客户端，降低恶意更新进入聚合过程的风险；中间模块在共享特征空间对齐客户端表示并缓解域引起的更新发散，使良性更新在异构数据分布下更为紧凑；后者在压缩后的更新空间中按更新方向相似度对客户端聚类，并抑制显著偏离各簇主流方向的更新。大量实验表明，FedSDC在定向与非定向投毒攻击下均取得高于Multi-Krum、Median、DnC与FLTrust的测试准确率与更强鲁棒性，在不同恶意客户端比例与非IID程度下均保持有效，消融实验进一步确认域偏移消除在减轻数据异质性对投毒检测负面影响中发挥重要作用。

在局限性与未来工作部分，研究人员指出，当前实验基于MNIST、CIFAR-10与EMNIST标准图像分类基准及模拟的非IID数据划分，尚不能充分代表实际物联网部署中的时序感知数据、设备移动性、间歇连接、资源受限与多模态数据分布等特征，实验结果应被解读为受控异构环境下鲁棒性的证据，而非真实物联网系统中的完整部署级验证。其次，当前评估主要针对标签翻转、符号翻转与梯度缩放等常见投毒攻击，实际对抗环境中攻击者可能具备自适应性与对防御机制的部分知识，例如模仿良性客户端更新方向、合谋形成看似一致的簇、交替切换良性与恶意行为以维持高可靠性分数，或生成专门针对基于余弦相似度检测的投毒更新，这些策略可能削弱FedSDC的有效性。未来工作将评估FedSDC在传感器活动识别、工业监测、交通感知与边缘视频分析等应用专用物联网数据集上的表现，研究更强的自适应与合谋攻击模型，并通过引入时序行为分析、动态阈值调整与面向资源受限边缘设备的轻量化验证机制进一步改进FedSDC。