《Neurocomputing》：From data heterogeneity to convergence: A data-centric review of federated learning
编辑推荐：
联邦学习（Federated Learning, FL）已成为集中式学习中数据匮乏问题的一种有前景的解决方案。该范式支持在保护隐私的前提下，由多个客户端协作训练共享任务模型，而无需暴露其本地数据。数据虽然是任何学习系统中的关键组成部分，但同时也是漏洞与挑战的主
联邦学习（Federated Learning, FL）已成为集中式学习中数据匮乏问题的一种有前景的解决方案。该范式支持在保护隐私的前提下，由多个客户端协作训练共享任务模型，而无需暴露其本地数据。数据虽然是任何学习系统中的关键组成部分，但同时也是漏洞与挑战的主要来源，并且是稳定且良好收敛训练的主要决定因素。现有的FL综述描述了通用基础、安全实践、机遇、挑战和应用，但未深入探讨数据的多方面特性，也未从数据视角考虑问题。这些综述很少提供一种数据透镜式的综合，将具体的数据属性、分割协议和防御措施与收敛速度和稳定性联系起来。本综述通过三项进展填补了这一空白。首先，研究人员将“非独立同分布”（non-IID）分析为可测量的特征，并将其对收敛的影响按强、中、轻三级排序，解释了每项影响背后的机制，并调和了图像、文本和图数据中的证据。其次，研究人员将实验性分割实践与其模拟的真实现象联系起来，揭示了它们引入的伪影，并展示了这些伪影如何影响目标精度。第三，研究人员分析了数据相关漏洞及其提出的防御措施如何影响收敛，报告了在干净和对抗条件下的性能，以明确收敛-鲁棒性权衡。据研究人员所知，这是首个提供对主导FL的数据相关挑战完整理解的综述。针对每个关注点提炼出的明确要点，使本工作可作为可操作的指南，帮助从业者设计具有可预测收敛性和稳定性的系统。
论文主体内容总结
1. 引言
联邦学习（FL）允许分布式客户端在不集中数据的情况下协作训练共享模型，从而解决集中式机器学习中的数据稀缺问题。现有综述多采用方法中心或系统中心的视角，缺乏从数据角度对收敛速度、稳定性和最终精度的系统性分析。为解决此空白，本综述围绕四个研究问题（RQ）展开：RQ1关注数据源的哪些特征影响收敛速度和训练性能；RQ2探讨哪些因素阻碍模拟准确反映真实世界数据；RQ3考察先前实验中数据集通常如何为联邦设置进行分割；RQ4分析常见防御方法的收敛-隐私权衡。
2. 调查方法与范围声明
本综述采用结构化方法识别相关研究，主要检索策略涉及在Google Scholar搜索引擎中将与特定主题相关的关键词组合与“联邦学习”结合使用。文章优先考虑引用数和出版日期，偏好高引文和近期作品以捕捉最新技术状态。对于数据分割如何影响模型收敛的具体分析，证据表限制在CORE排名A至A*级别的 venues，如AAAI、ECML、ICLR、ICCV、CVPR、CIKM、WWW、ICML、KDD和NeurIPS（2020–2026）。范围界定采用数据中心视角，将数据视为决定因素和原因，限制覆盖源于数据且主要由数据属性和数据处理选择驱动的FL方面。
3. 数据源
3.1 基准源及其特征
常用FL基准数据集涵盖图像（MNIST、Fashion-MNIST、EMNIST、SVHN、CIFAR-10/100、Tiny-ImageNet、FEMNIST）、文本（Shakespeare、Sentiment140）和图（Cora、CiteSeer、PubMed）。每个数据集的特征包括来源（provenance）、输入大小、样本数、类别数、原生标签偏斜（native label skew）、类内变异（ICV）、类间分离（ICS）和图的同质性（graph homophily）。这些属性决定了学习问题的难度、对非IID分割的敏感度以及结果迁移到更真实场景的能力。图像基准中，MNIST低维、平衡、ICV低且ICS高；CIFAR-10具有中等ICV和中等ICS；CIFAR-100因细粒度类别区分而ICV更高、ICS更低；SVHN由于背景杂乱而ICV为中等偏高、ICS为中等；FEMNIST因用户书写风格差异引入极端客户端异构性。文本基准中，Shakespeare按角色组织，每个用户文本风格狭窄，标签分布高度偏斜；Sentiment140按用户分组推文，具有显著用户级偏斜和短文本噪声。图基准如PubMed、Cora、CiteSeer存在结构化非IID性，本地模型容易过拟合，并因缺少类别子图导致泛化受限。
表1和表2综合了各基准的收敛表现：MNIST收敛极快且精度高（中位数89.96%），CIFAR-10为中等（中位数72.42%），CIFAR-100慢且低（中位数48.11%），Tiny-ImageNet更慢更低（中位数46.82%），FEMNIST中等到慢（中位数80.94%），Shakespeare慢且低（中位数47.74%），Sentiment140中等到慢（中位数75.37%），Cora快速/中等（中位数73.25%），PubMed中等（中位数81.33%）。
3.2 数据特征及其影响
表3总结了数据特征对收敛的影响：
来源（Provenance，跨silo与跨device）：跨device场景涉及更多异构性、更高丢弃率和更低每轮参与率，导致更慢和更不稳定的收敛；跨silo场景更稳定且更快。影响强度：强。
特征维度（Feature Dimension）：更高维度导致更低精度和更慢收敛。影响强度：中等。
样本数（Number of Samples）：更多样本仅在增加活动客户端的标签覆盖时才有帮助，否则影响很小。影响强度：轻。
类别数（Number of Classes）：更多类别增加混淆，降低精度并减慢收敛。影响强度：中等。
原生标签偏斜（Native Label Skew）：更多偏斜降低精度（在有限轮次内）并减慢收敛。影响强度：中等。
类内变异（ICV）：更高的ICV意味着同类内特征差异更大，降低精度并减慢收敛。影响强度：强。
类间分离（ICS）：更大的ICS提供更清晰的类间特征，更容易分离，提高精度并加速收敛。影响强度：强。
图同质性（Graph Homophily）：更高的同质性带来更快、更稳定的收敛，但对精度增益甚微。影响强度：中等。
跨论文分散性分析表明，观察到的差异可能源于实验设置差异，包括偏斜参数、训练预算和约束条件以及模型选择。严重非IID参数化不仅降低最终精度，还减慢收敛；差分隐私等约束也显著影响结果；不同模型架构在相同数据集上产生不同性能表现。
3.3 特征关系与影响排序
特征间存在相互依赖关系。高影响因子包括来源、ICV和ICS，它们共同决定梯度对齐程度。当来源从跨silo变为跨device时，标签偏斜增大、每客户端类别覆盖缩小，放大客户端漂移。维度增加（如从28×28到256×256图像）为同类样本提供更多变异空间，容易抬高ICV并压缩有效ICS。类别数增加在固定数据预算下导致长尾增长、偏斜上升、ICV增加和ICS下降。图的同质性充当几何放大器，增强的同质性通过消息传递锐化类别分离，提高有效ICS并降低局部类内噪声。样本数主要改善估计而非改变内在难度。当容量和超参数受控时，最终精度和收敛速度首先由ICS（越高越好）和ICV（越低越好）主导，原生标签偏斜和图同质性通过改变跨客户端和跨分区的梯度对齐来调节速度，在有限轮次预算下出现精度惩罚。
4. 数据分割
4.1 真实世界数据分布的挑战
真实世界FL数据通常跨客户端非IID，客户端可能在数量、数据类型或其他主观因素上存在差异。数据量不均会导致训练贡献不均，模型偏向大数据客户端，小数据客户端收敛更慢。客户端可能处理不同领域或模态的数据，即垂直联邦学习（Vertical FL, VFL）场景，其中各方持有相同或部分重叠实体的不同特征子集，依赖可靠的实体对齐，对齐不完美会引入噪声梯度并减慢收敛。特征异构性（不同尺度、稀疏度、缺失模式、模态和类别编码）会造成梯度贡献不平衡和优化问题病态化。此外，VFL常伴随同态加密或安全多方计算，显著增加通信和计算成本。动态客户端参与（客户端退出或重新加入）也增加了模拟难度。
4.2 联邦设置中的数据分割
4.2.1 基于Dirichlet分布的分割
该方法依据Dirichlet分布将数据按浓度参数（concentration parameter）'α'分配给各客户端，较小的'α'导致更偏斜的分布，较大的'α'导致更均匀的分布。固定'α'设置通常比真实部署产生更快、更平滑的收敛，因为它主要扰动标签比例而忽略了客户端大小长尾和参与动态，可能高估精度和稳定性。建议变换'α'并施加真实的客户端大小分布参与约束。
4.2.2 自然分割
自然分割按真实世界来源（如用户、站点、设备或地理区域）划分数据，保留原始客户端边界而不重新混合示例以达到目标类别平衡。FEMNIST按书写者ID分组是典型例子，LEAF框架按用户划分Sentiment140和Reddit，CelebA按身份划分。FedScale从原始元数据构建客户端感知分区，FLamby提供多站点医疗数据集的站点级分区。基于自然客户端边界的分割通常比IID收敛更慢且稳定性降低，建议优先选择自然分割并报告定量异构性指标。
4.2.3 基于聚类的分割
基于地理或区域相似性对客户端分组，组内客户端具有相似数据分布。例如城市间交通流预测中，每个城市作为客户端训练本地数据。在单一全局模型下，当簇间距离较远时优化可能振荡或收敛缓慢，全局最优可能欠拟合少数簇。聚类FL方法通常在各自模式内收敛更快。
4.2.4 基于时间的分割
对时间演进数据按时间间隔划分，每个客户端获取不同时间段的数据，反映新客户端只能访问特定时间起数据的真实场景，适用于股票预测和智慧城市管理。时间分割能捕获季节性、概念漂移和可用性模式，漂移和间歇参与通常减缓和破坏收敛稳定性。
4.2.5 先前工作中的常见分割实践
文献中数据分割方法涵盖具有不同'α'参数（从0.01到10,000）的Dirichlet分割、病理分割（pathological splits）、特征或标签偏移、近似IID分割和IID分割。非常小的'α'（如'α'=0.01）产生极端非IID数据，非常大的'α'值（如'α'=10,000）产生近似IID分区。病理分割中每个客户端仅见两个或固定数量的类别（如1、2、3、5、10、20类），导致严重标签不平衡。表4和表5提供了详细的分割策略分类和收敛/性能证据。特征偏移和标签偏移设置捕获了异构性但难以用参数描述。模型架构是另一个混淆因素，先进架构如 Vision Transformer（ViT-B/16）表现出对非IID数据的强韧性。客户端参与率提供重要背景，较低参与率增加更新方差并减慢收敛。
4.3 非IID分布中的收敛辅助
数据增强技术（如自动编码器生成缺失样本）可重新平衡分布，但现实中客户端不暴露本地分布使异构性检测困难。其他方法包括：本地微调（local fine-tuning）帮助客户端适应模型但未改善全局模型优化；个性化层（personalization layer）将模型分为个性化层和基础层，基础层用于聚合而个性化层适应本地数据；多任务学习（multi-task learning）将相似数据分布的客户端分组训练集群模型；知识蒸馏（knowledge distillation）在预测级别传递信息，通过在公共服务或生成数据集上共享输出，服务器聚合标签以训练全局模型，减少异构数据引起的偏差，但需要在服务器端持有数据。
5. 数据脆弱性
表6从“五个W和一个H”（What、Who、When、Where、Why、How）视角总结了常见数据相关攻击，表7则提供了防御机制的汇总。
5.1 数据投毒
数据投毒通过故意向训练集中注入恶意样本以破坏模型。在FL中恶意客户端可在本地训练期间插入投毒数据，更新被聚合到全局模型。由于隐私约束和非IID特性，检测异常更加困难。投毒分为定向和非定向攻击。标签翻转（label flipping）改变训练样本的标签以误导模型学习错误的输入输出映射，简单有效但无需了解底层模型。后门攻击（backdoor）注入隐藏触发器，使模型在遇到触发器时误分类但保持干净数据上的良好性能，因其隐蔽性更难检测。其他新兴攻击包括超维计算生成对抗样本、反转梯度攻击和基于生成对抗网络（GAN）的攻击。防御策略包括基于信誉的过滤（Uprety & Rawat）、稀疏化聚合（SparseFed）、基于代理验证集的下加权（DOS）、基于更新的预测检测（FLDetector）和基于神经元变化的异常客户端检测（LD-SFL）。
5.2 规避攻击
规避攻击发生在推理阶段，攻击者修改推理输入以诱使模型做出错误决策，而不改变模型内部权重。例如向猫图像添加微妙噪声使其被误分类为虎。防御方法包括客户端侧伪数据优化和伪梯度上传（FedDef）、跨客户端特征中心分离以扩大类间边界（RobFL）、基于保留数据集的对数几率向量比较的异常检测（USD-FL）。这些方法在保持接近干净效用的同时实现了强鲁棒性增益。
5.3 成员推断
成员推断攻击旨在确定特定样本是否包含在训练集中。白盒设置下攻击者可访问梯度或参数等内部细节，因为训练数据对应的梯度变化通常较小；黑盒设置下攻击者仅访问模型预测输出，基于置信度推断成员资格。防御方法可分为训练时表示防御（如MIST、MemDefense、CKD/PCKD）、推理时输出整形（如HAMP、Purifier）和架构调整（如添加dropout和残差连接）。多数防御在保持干净精度不变或略有提升的同时将攻击精度降至接近随机水平。
5.4 数据泄漏或非预期暴露
持续FL中的灾难性遗忘指模型在学习新任务时遗忘先前学到的信息。三种常见解决方案中基于记忆重放的方法引入新漏洞：重放缓冲区成为被利用的目标，攻击者可提取敏感历史数据并实施恶意攻击。防御方法包括使用遗忘原始类型（OLIVE）使访问模式无信息、通过一次性知识蒸馏和攻击者感知微调抵抗反转（KDRSFL）、概率存储器减少遗忘（FedPMR）和使用扩散模型生成真实历史数据（DDDR）。高保真重放在增强记忆力同时扩大了泄漏面。
6. 讨论
6.1 主要发现
RQ1的答案是：收敛主要受来源、ICV和ICS影响，中等级效应来自标签偏斜、类别数、维度和图同质性，样本数影响最弱。RQ2答案为：简化分区仅控制标签比例而忽略了耦合异构性（客户端大小长尾、缺失类、协变量/域偏移、跨域/多模态结构和动态参与）。RQ3答案表明四种主导模式：Dirichlet标签偏斜分割、自然分割、聚类分割和时间分割，以及病理分割、随机类子集等合成变体。RQ4答案是：大多数设计良好的防御以可忽略的收敛和干净精度影响提升鲁棒性；更强的保护通常以约1–3%干净精度损失为代价；非IID下增益持续但有所减弱。
6.2 开放问题
初始模型值对收敛有影响，非IID标签分布导致客户端初始状态不同，当客户端标签无重叠时全局模型可能完全不收敛。较简单的初始结构可能获得更好收敛，但预训练模型作为初始化的效果存在争议——预训练模型可能加速收敛但增加本地计算和通信开销，如果预训练数据与目标数据差异大可能引入偏差。目前尚无官方解决方案确保模型初始化的收敛性，也没有关于简单初始化与复杂预训练权重哪个更有效的共识。
7. 结论
本论文从数据视角对FL进行了全面分析，涉及数据特征、数据分区策略、数据相关漏洞与防御及其对收敛行为的影响，将具体数据决策与优化结果联系起来，通过鲁棒性-精度Pareto视角评估防御措施的权衡，为从业者的系统设计提供可预测的收敛性和稳定性指南。
