基于压缩感知和自适应局部聚合的、通信高效且具备拜占庭防御能力的个性化联邦学习方法

《Future Generation Computer Systems》：Communication-efficient and Byzantine-robust personalized federated learning based on compressed sensing and adaptive local aggregation

　　胡波|黄辉|姜坤超|严万毅|王梦笛
重庆邮电大学网络安全与信息法学院，重庆，400065，中国

**摘要**
随着联邦学习（FL）的日益广泛应用，三个关键挑战变得愈发突出：统计异质性、高通信开销以及对拜占庭攻击的脆弱性。然而，现有研究主要分别或最多仅成对地处理这些问题，未能有效应对同时存在这三个约束的场景。为填补这一空白，我们提出了一种基于压缩感知（CS）与自适应局部聚合（ALA）的通信高效且抗拜占庭攻击的个性化FL（CB-PFL）框架。具体而言，CB-PFL首先采用基于ALA的框架来减轻统计异质性，并学习针对客户端的特定模型。为进一步提高通信效率，该框架进一步利用CS技术缩小传输的模型更新大小。此外，CB-PFL还集成了一种联邦鲁棒性聚类（FedRoC）模块，该模块作为直接在压缩域中运行的两阶段拜占庭防御组件，结合基于密度的聚类来隔离恶意客户端群体，并通过异常评分过滤剩余的异常值。在高度异质性和对抗性环境中进行的广泛实验表明，CB-PFL始终优于代表性的基线算法。而且，该框架在多种攻击比例和数据异质性水平下仍能保持竞争性的个性化性能，同时显著降低通信开销。

**引言**
物联网（IoT）和移动设备的迅速普及加剧了大规模机器学习中的隐私问题。为缓解这些问题，McMahan等人[1]提出了联邦学习（FL）作为一种保护隐私的训练范式。在FL中，参与客户端在其本地数据上训练模型，并仅将模型更新上传到中央服务器进行聚合。通过将原始数据保留在本地设备上，FL减少了集中式数据收集的需求，有助于降低隐私风险。尽管具有这些优势，FL在实际系统中的部署仍面临若干重大挑战[2][3]。
在这些挑战中，统计异质性尤为关键，因为它源于客户端数据的非独立同分布（non-IID）特性。在这种条件下，单一的全球模型可能无法为所有客户端提供满意的性能，这会降低学习模型的整体效用，并可能引发公平性问题。这些问题促使了个性化FL（PFL）的发展，PFL旨在通过适应客户端特定的数据分布来解决异质性问题，因此更适用于non-IID环境[4][5][6]。
此外，FL的迭代通信协议由于客户端与服务器之间频繁交换模型更新而引入了较大的通信瓶颈。当使用深度神经网络（DNN）时，这一问题尤为严重，因为模型大小可能达到数百兆字节，重复传输会导致显著的延迟和高带宽消耗[7]。在资源受限的环境中（如IoT系统），通信成本成为系统性能的主要限制因素[1]。
FL的开放和分布式架构使其本质上容易受到安全威胁，尤其是拜占庭攻击。恶意客户端可以通过数据投放[8]或模型投放[9]提交被篡改的模型更新。由于标准聚合规则可能在未完全验证其可靠性的情况下就合并接收到的更新，这些被篡改的更新可能会破坏全局模型，导致性能下降、收敛不稳定和后门行为[10]。这些漏洞破坏了分布式学习的信任基础。因此，开发能够抵御拜占庭威胁的防御机制对于确保FL系统的鲁棒性至关重要。
已有大量研究解决了FL中的关键挑战，包括统计异质性[11][12]、通信效率[13][14]和拜占庭鲁棒性[15][16]。然而，大多数现有方法要么单独考虑这些挑战，要么最多成对处理，因此未能在实际部署场景中捕捉到它们的耦合效应。为了弥合这一差距，我们提出了一种基于压缩感知（CS）与自适应局部聚合（ALA）的通信高效且抗拜占庭攻击的个性化FL（CB-PFL）框架。CB-PFL建立在Zhang等人[17]的PFL范式基础上，利用ALA适应异构客户端数据，并进一步整合了高效的通信压缩机制和创新的抗拜占庭防御策略。本文的主要贡献总结如下：
•我们提出了CB-PFL，这是一种基于CS和ALA的新框架，旨在共同解决FL中的三个关键挑战：统计异质性、高通信开销以及对拜占庭攻击的脆弱性。
•为处理数据异质性和降低通信成本，CB-PFL将ALA与基于CS的压缩模块结合使用。每个客户端执行包含错误反馈、稀疏化和稀疏向量压缩的三阶段压缩操作，生成高度压缩但信息丰富的模型更新，从而显著降低服务器与客户端之间的传输成本，同时保持与个性化优化的兼容性。
•为增强鲁棒性和通信效率，CB-PFL引入了联邦鲁棒性聚类（FedRoC）模块，该模块作为直接在压缩更新上运行的拜占庭防御机制。FedRoC首先通过联合分析更新的大小和方向特征来分析客户端提交的内容，然后执行两阶段防御：基于密度的聚类隔离恶意群体，单独的异常评分过滤剩余的异常值。通过结合基于CS的压缩和FedRoC，CB-PFL实现了高通信效率和强大的抗拜占庭攻击能力。

**本文的后续部分安排如下：**
第2节回顾相关工作。第3节阐述系统模型并介绍设计目标。第4节展示提出的CB-PFL框架及其主要组件和技术细节。第5节报告实验结果。最后，第6节总结全文。

**段落摘录**
在FL中，客户端数据的非独立同分布（non-IID）特性是限制模型性能的关键瓶颈。McMahan等人[1]提出的标准FedAvg算法通过聚合本地更新来训练单一的全球模型，这通常导致个别客户端的性能不佳。PFL旨在通过实现针对客户端的模型适应来解决这一问题，从而提高本地任务性能。
现有的PFL方法大致可以分为两类：以模型为中心的个性化方法和基于压缩感知（CS）的方法。

**压缩感知（CS）**
CS是一种信号处理范式，它放宽了经典Nyquist–Shannon定理对采样的要求。具体来说，当信号在某个变换域中本质上是稀疏或可压缩的时，可以从远小于其环境维度的随机线性测量中高概率地准确重构该信号[24]。
**正式定义**：
考虑一个D维的、k-稀疏信号s∈RD（即s最多有k个非零元素）。

**本节内容**
在本节中，我们将详细介绍所提出的CB-PFL框架。本节使用的主要符号和符号说明见表2。

**实验设置**
所有实验均使用PyTorch深度学习框架进行。我们在两个标准的图像分类基准数据集上进行评估：MNIST灰度数字数据集和CIFAR-10彩色图像数据集。在所有实验中，我们模拟了N=20个客户端在T=300轮通信轮次内的FL环境。为了模拟实际FL部署中常见的统计异质性，训练数据根据Dirichlet分布Dir(α)分配给各个客户端。

**结论**
在本文中，我们提出了CB-PFL，这是一种基于CS和ALA的通信高效且抗拜占庭攻击的PFL框架。CB-PFL共同解决了实际FL部署中的三个关键挑战：统计异质性、高通信开销以及对拜占庭攻击的脆弱性。为减轻统计异质性，CB-PFL采用基于ALA的框架来调整模型以适应客户端特定的数据分布。为降低通信开销，CB-PFL整合了基于CS的压缩机制。

**作者贡献声明**
胡波：撰写——审稿与编辑、撰写——原始草案、可视化、软件、方法论、调查、形式分析、数据整理、概念化。
黄辉：撰写——审稿与编辑、验证、监督、资源管理、项目管理工作、方法论、资金获取、概念化。
姜坤超：验证、调查、数据整理。
严万毅：可视化、调查。
王梦笛：可视化、调查。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的 work。

**致谢**
本研究部分得到了中国国家自然科学基金（项目编号62402078）的支持；部分得到了重庆市自然科学基金（项目编号CSTB2025NSCQ-GPX1281、CSTB2022NSCQ-MSX1588）的支持；以及重庆市教育委员会科学技术研究计划（项目编号KJQN202500630、KJQN202400657）的支持。本文的通讯作者是黄辉。