ASCV：面向空中联邦学习中鲁棒聚合的自适应筛选与交叉验证

《Neurocomputing》：ASCV: Adaptive screening and cross-validation for robust aggregation in over-the-air federated learning

　　

•面向OTA-FL的两阶段拜占庭鲁棒聚合框架（ASCV）。•随机投影审计旁路通道恢复部分客户端可观测性。•基于几何中位数净化的OTA交叉验证抑制残差干扰。•在PL条件下证明线性收敛至有界误差下界。•在非独立同分布数据下，针对高达45%的拜占庭客户端在MNIST/CIFAR-10上表现稳健。

## 引言

新兴应用，如大规模物联网（IoT）、沉浸式扩展现实以及智能信息物理系统，既需要通信高效又需要隐私保护的分布式学习方案。与传统的集中式学习相比，联邦学习（FL）使地理上分布的客户端能够协作训练共享模型，同时将其原始数据保留在本地，仅交换与模型相关的信息[1]、[2]、[3]。然而，联邦学习也面临若干实际挑战，包括客户端之间的统计异质性、巨大的通信开销、不可靠的无线链路以及恶意或有故障的参与者。特别地，基于正交多址接入的无线联邦学习需要为参与客户端分配独立的传输资源，导致通信时延或所需的正交射频资源随客户端数量的增加而上升。这些局限性促使采用空中计算，其利用同时传输和波形叠加在每轮上传中以固定时延聚合客户端更新，该时延独立于参与客户端的数量[4]、[5]。本文将采用空中计算进行模型聚合的联邦学习称为空中联邦学习（OTA-FL）。

除了通信效率之外，在扰动、延迟和其他不确定性条件下维持系统可靠行为也是神经网络动力学系统中的更广泛关注点[6]、[7]。然而，在OTA-FL中，鲁棒性问题具有不同的形态，因为"计算即通信"机制引入了一个根本性的安全漏洞，通常称为信道盲性。具体而言，参数服务器（PS）端接收到的信号是所有客户端传输的模拟叠加，这使得无法直接检查单独的客户端更新，从而使许多经典的拜占庭鲁棒聚合规则在OTA-FL中不可用。例如，广泛采用的数字联邦学习防御方法，如Krum[8]、截断均值[9]和中位数[9]，都严重依赖对单独梯度向量的显式访问以及成对距离计算——这些假设在OTA场景中并不成立。因此，在保持OTA聚合的极高通信效率的同时，确保对拜占庭攻击的鲁棒性已成为一个核心开放挑战。在这种设置下，拜占庭容错至关重要，因为传统的平均操作可能将恶意更新直接纳入全局聚合中，导致优化方向偏移并降低模型训练质量。因此，需要一种兼容OTA的鲁棒聚合机制，在受限的客户端级可观测性下限制拜占庭影响，同时保留诚实客户端的有用信息。

拜占庭鲁棒OTA-FL面临几个相互耦合的挑战。首先，OTA信号叠加导致信道盲性，因为PS仅观测到同时传输的客户端信号的聚合，而非单独的模型更新，从而无法直接进行客户端级检查。其次，在非独立同分布数据条件下，诚实客户端可能自然地产生显著不同的更新，使得良性的统计多样性难以与异常行为区分开来。第三，拜占庭客户端可以蓄意操纵其本地更新以偏置或破坏聚合模型，使得有效抑制恶意扰动至关重要。第四，无线衰落影响功率对齐，而接收器噪声会扰动恢复的聚合结果，为鲁棒估计引入额外的不确定性。最后，拜占庭鲁棒性必须与通信效率相平衡，因为收集全维度的单独更新或引入过多的迭代信令会损害OTA聚合的主要时延优势。因此，拜占庭鲁棒OTA-FL必须同时应对受限的客户端级可观测性、良性的数据异质性、对抗性扰动、无线信道不确定性与聚合噪声，以及鲁棒性与通信之间的权衡。

尽管已提出了一些兼容OTA的防御策略来缓解这一漏洞，但每种策略都有其固有的局限性。基于功率控制的方法，如BEV-SGD[11]和客户端驱动的功率平衡方案[12]，旨在通过根据信道条件或梯度范数缩放传输功率来抑制恶意行为。虽然对异常大幅度的攻击有效，但此类方法从根本上无法应对低功率或定向构造的模型投毒攻击，在这种攻击中，攻击者精心将其更新与聚合方向对齐，以规避基于幅度的抑制[4]、[10]。总之，基于功率控制的防御方法主要对大幅度攻击有效，但仍易受到隐蔽的、方向感知的投毒攻击。信任与声誉管理方案，包括FedSAC[13]和TO-OAC[14]，基于长期历史行为动态调整客户端权重。虽然对持续性对抗者有效，但如[4]、[13]所指出的，这些方法存在冷启动问题和对新受控客户端适应缓慢的问题。更重要的是，许多现有的OTA-FL防御忽略了防御机制本身所引入的额外信令、反馈或迭代通信开销，这可能会损害OTA-FL的基本优势——保持聚合时延基本独立于参与客户端数量[4]、[15]、[16]。总之，信任/声誉防御改进了长期鲁棒性，但它们反应缓慢，并可能损害OTA-FL的严格低时延目标。

此外，在现实的非独立同分布数据条件下，诚实客户端更新之间的自然方差可能与对抗行为所诱导的方差相当，使得仅使用基于幅度或历史的准则来区分"良性多样性"与"恶意偏差"变得极其困难[9]、[17]、[18]。因此，联合应对拜占庭鲁棒性和数据异质性已引起越来越多的关注[19]。

为解决上述挑战，我们提出了ASCV，一种专门为OTA-FL设计的新型分层防御框架。ASCV背后的核心洞察是：可以在不恢复原始高维空间中完整客户端更新的情况下实现鲁棒性。现有的鲁棒规则，如Krum[8]、中位数[9]和截断均值[9]，通常直接在全维度的更新上执行距离或坐标级统计，这在现代模型规模下可能变得计算开销巨大[20]。借鉴Johnson–Lindenstrauss（JL）引理[21]和随机矩阵理论，我们将更新投影到低维子空间中以降低复杂度，同时保留异常判别所需的几何结构。在这里，距离保持性质提供了几何基础，而恶意更新的统计不规则性提供了实际的筛选信号。在本文中，拜占庭扰动指旨在偏置或破坏全局训练的恶意构造的客户端更新偏差。这促使我们在鲁棒聚合之前使用投影域作为高效的筛选阶段。

基于这种筛选能力，ASCV采用两阶段防御架构。在第一阶段，一个在投影空间中运行的自适应密度聚类机制（DBSCAN[22]）识别并过滤掉大部分明显的拜占庭客户端，并实施严格的准入控制。在第二阶段，ASCV引入了一种基于随机子集重采样的OTA交叉验证机制。通过对随机选择的客户端子集执行多次OTA聚合，并应用基于几何中位数的净化，ASCV同时抑制残余的恶意贡献并减轻OTA信道噪声的影响。重要的是，ASCV保持了OTA的关键特性——每个模拟聚合时隙独立于参与客户端数量，同时通过低维审计旁路通道和固定数量的子集聚合时隙引入可控的鲁棒性与时延权衡。

本文的主要贡献总结如下：

- 提出了一种面向OTA-FL的两阶段拜占庭鲁棒聚合框架，称为ASCV。在第一阶段，一种轻量级的随机投影审计旁路通道，结合自适应密度筛选，恢复了部分客户端级可观测性，以实现可疑客户端的可靠识别。在第二阶段，OTA交叉验证净化机制利用随机化子集聚合，并结合基于几何中位数的过滤，进一步抑制残余的拜占庭干扰和无线聚合噪声。重要的是，ASCV通过保持OTA聚合开销独立于参与客户端数量，保留了OTA聚合的通信效率。

- 建立了在异构数据、拜占庭攻击和OTA聚合噪声下的收敛保证。具体而言，证明了ASCV在非凸目标满足Polyak–?ojasiewicz条件的情况下线性收敛至最优解的有界邻域。此外，稳态最优性间隙由数据异质性、残余拜占庭扰动、子集聚合方差和OTA信道噪声的综合作用显式刻画，揭示了这些因素如何共同影响所提出框架的收敛精度。

- 在代表性的拜占庭攻击模型下进行了全面的实证验证。在标签翻转、符号翻转和高斯噪声攻击下的广泛实验表明，ASCV始终优于最先进的兼容OTA的拜占庭鲁棒聚合方案，尤其在高拜占庭比例和严重数据异质性条件下表现突出。

## 相关工作片段

联邦学习中拜占庭鲁棒性的研究大致可分为两个主要方向：(i) 为具有正交或无差错通信链路的数字联邦学习开发的传统鲁棒聚合机制，以及 (ii) 专门为OTA-FL设计的防御策略，后者必须在信道叠加和模拟噪声条件下运行。代表性方法的简洁比较见表1。

如表1所示，现有方法在OTAS、通信效率和鲁棒性之间表现出明显的权衡关系。

## 系统模型

我们考虑一个OTA-FL系统，包含一个中央PS和N个客户端。PS和N个客户端通过R轮通信协作训练共享的全局模型，各轮索引为。如图1所示，客户端通过共享的无线信道传输本地模型更新，PS接收其叠加信号进行聚合。

在第t轮中，客户端利用各自的本地数据集协作优化全局模型θ。全局目标为：

其中是客户端i处的本地损失。是本地

## 所提出的防御机制：ASCV

为解决OTA-FL中信道盲性这一根本挑战，同时保持空中聚合的通信效率，我们提出了ASCV，一种专为OTA场景设计的两阶段分层防御框架。

ASCV不是在物理层解码单个客户端更新，而是使用超低维随机投影来构建一个低带宽审计旁路通道，从而以每轮的额外控制信道开销实现部分客户端级可观测性。

## 收敛性分析

在本节中，我们在非独立同分布数据、拜占庭攻击和OTA信道噪声条件下提供ASCV的严格收敛性分析。我们证明了在Polyak–?ojasiewicz（P–?）条件——即非凸目标的一个标准强凸性放松——下，ASCV实现线性收敛至全局最优解的一个邻域。

## 实验评估

在本节中，我们在代表性的拜占庭攻击场景下评估ASCV。我们的研究重点是对抗对抗性客户端的鲁棒性、经验训练稳定性，以及跨模型架构和数据分布的行为表现。

## 结论

本文研究了空中联邦学习（OTA-FL）的拜占庭鲁棒聚合问题，其中模拟信号叠加导致信道盲性，使得无法直接访问单个客户端更新。为应对这一挑战，我们开发了ASCV，一种保持OTA聚合低时延优势的分层两阶段框架。

具体而言，ASCV首先引入了一种基于低维随机投影的轻量级审计旁路通道，实现部分客户端级可观测性。

## CRediT作者贡献声明

黄宝贵：审阅与编辑，方法论。左玉婵：原创撰写，验证，方法论。李广顺：项目管理。马春梅：监督，资源。邱德福：概念构思。赖庆亮：软件。

## 基金资助

本工作部分得到国家自然科学基金资助（批准号：62372266、62472251、62503276、61771289）；部分得到山东省自然科学基金重大基础研究项目资助（批准号：ZR2022ZD03）；以及部分得到中国山东省自然科学基金资助（批准号：ZR2025QC670）。

## 利益冲突声明

作者声明不存在已知的竞争经济利益或个人关系可能影响本文所报告的工作。

## 作者简介

黄宝贵于2020年获得曲阜师范大学数学与统计学院博士学位。目前是曲阜师范大学计算机科学与技术学院副教授。曾在美国乔治·华盛顿大学担任访问学者。当前研究兴趣包括无线通信与分布式计算、人工智能和边缘计算。黄博士是中国计算机学会（CCF）成员。

黄宝贵 | 左玉婵 | 李广顺 | 马春梅 | 邱德福 | 赖庆亮