基于原型的自适应领域调整的联邦学习

《Neurocomputing》:Federated learning with prototype-based adaptive domain adjustment

【字体: 大 中 小 】 时间:2026年05月16日 来源:Neurocomputing 6.5

编辑推荐:

  张乐源|万帆|杨龙 杜伦大学,英国杜伦 **摘要** 当客户端来自不同领域时,联邦学习可能会遇到困难。我们提出了FedPAD,这是一种基于原型的方法,将原型聚合和模型聚合视为两个不同的问题来处理。对于原型,服务器学习简单权重以强调与当前全局原型偏差较大的领域,从而使

  张乐源|万帆|杨龙
杜伦大学,英国杜伦

**摘要**
当客户端来自不同领域时,联邦学习可能会遇到困难。我们提出了FedPAD,这是一种基于原型的方法,将原型聚合和模型聚合视为两个不同的问题来处理。对于原型,服务器学习简单权重以强调与当前全局原型偏差较大的领域,从而使聚合后的原型更好地覆盖所有领域。对于模型聚合,我们将这些原型权重转换为温度控制的模型权重,从而降低偏差最大的客户端的权重,提高训练稳定性。我们在时变聚合条件下分析了FedPAD,并展示了异质性、局部更新以及各轮次之间的权重变化如何影响收敛性。在Digits、PACS、Office-Caltech和Office-Home数据集上的实验表明,在相同的训练预算下,FedPAD提高了平均准确率,并增强了最差领域的性能。

**引言**
联邦学习(FL)能够在不集中原始数据的情况下实现协作式模型训练,但当客户端来自不同的领域或数据生成环境时,其性能可能会严重下降[14]、[22]。在这种情况下,挑战不仅在于非独立同分布(non-IID)优化问题,还在于领域不平衡:全局模型可能会偏向于多数领域,而忽视少数或偏差较大的领域[34]。当评估目标不仅是平均性能,还包括对最差领域的鲁棒性时,这个问题尤为突出。

现有的联邦优化方法主要针对参数空间中的异质性进行改进。例如FedProx、SCAFFOLD、FedDyn和FedOpt通过规范或校正客户端更新来提高训练稳定性[1]、[15]、[19]、[24],但它们没有明确考虑到在领域不平衡的情况下,参数平均本身可能会偏向多数领域。因此,一种方法在训练过程中可能看起来很稳定,但实际上产生的全局模型在最差领域的性能较差。

基于原型的通信提供了一种补充视角。通过交换紧凑的类别级原型而不是完整的梯度或激活值,客户端可以以更稳定和高效的方式共享跨领域结构信息[5]、[11]、[12]、[28]。最近的研究还探讨了原型质量控制和安全意识强的原型交换[29]、[33]。然而,大多数现有的基于原型的方法仍然依赖于静态或基于样本大小的聚合。在领域不平衡的情况下,这可能会导致全局原型参考偏向多数领域,从而削弱其对代表性不足领域的实用性。

**隐私和范围**
原型是聚合统计量(类别级特征均值),通常比梯度或激活值小得多,但它们本身并不提供正式的隐私保障。在实际应用中,如果需要更强的隐私保护,可以将基于原型的通信与安全聚合和校准噪声结合使用。在本文中,我们关注的是在领域变化下的优化鲁棒性和稳定性,而不是正式的隐私保障。

**核心思想**
在领域变化的情况下,原型聚合和模型聚合扮演不同的角色。对于原型聚合,主要目标是覆盖范围:那些原型与当前全局参考值偏差较大的客户端可能是防止全局原型偏向多数领域的关键。然而,对于模型聚合,这些相同的客户端可能会产生较大或噪声较大的参数更新,因此给它们分配较大的模型权重可能会影响稳定性。因此,FedPAD首先在单纯形上学习原型权重,然后将其映射为温度控制的模型权重,以实现稳定的模型平均。

- **自适应原型聚合**:我们学习简单权重来聚合客户端原型,从而在领域不平衡的情况下提高原型覆盖范围。
- **两级加权以提高稳定性**:我们将原型权重映射为温度控制的模型权重,从而避免原型覆盖范围自动转化为激进的参数平均。
- **时变聚合下的收敛性**:我们分析了具有时变权重的局部SGD,并在收敛性界限中明确考虑了权重漂移的影响。
- **在更广泛的FL设置下的实证验证**:在四个领域变化基准测试和额外的鲁棒性研究中的实验表明,在固定预算下,FedPAD在平均准确率和最差领域准确率方面都取得了持续的改进。

**相关工作**
在异质性下的联邦优化:大量FL研究探讨了如何在异质客户端数据下稳定优化。FedAvg是经典的基线方法,但在非独立同分布数据上的表现可能较差[22]。FedProx通过近端项减少客户端漂移[19],SCAFFOLD引入控制变量来校正漂移[15],FedNova在可变的局部计算下规范化更新[31],FedDyn通过动态正则化器对齐局部和全局目标[1],FedOpt...

**问题设置**
我们考虑了多个客户端。客户端具有特定的分布和局部目标,其中参数表示模型参数。在某一轮次中,服务器持有全局模型并广播给客户端。我们关注领域隔离异质性:每个客户端属于一个领域,不同领域之间的客户端数量可能不平衡。

**客户端原型和原型对齐**
设为特征提取器(倒数第二层)。客户端生成类别级原型,表示原型集。

**理论分析**
FedPAD使用时变权重。这一点很重要,因为一旦各轮次的聚合权重发生变化,算法就不再最小化一个固定的加权目标——目标本身会随权重变化而变化。我们没有隐藏这一事实,而是将其作为权重漂移项明确考虑在内。

**实验**
我们的目标是测试FedPAD是否能在固定训练预算下同时提高平均准确率(Avg)和最差领域准确率(Worst)。我们的关注点是领域隔离的FL场景,其中每个领域的客户端数量不平衡。在这种情况下,简单的平均方法往往会偏向多数领域,因此最差领域准确率成为衡量方法是否真正帮助代表性不足领域的重要指标。

**结论**
我们提出了FedPAD,这是一个适用于领域不平衡环境的基于原型的联邦学习框架。其主要思想是明确区分原型聚合和模型聚合的角色。FedPAD使用感知差异的原型权重来提高偏差较大或代表性不足领域的覆盖范围,然后将这些权重映射为温度控制的模型权重,以稳定参数聚合。这种解耦解决了领域变化下联邦学习中的一个关键问题。

**作者贡献声明**
张乐源:撰写——审稿与编辑、撰写——初稿、可视化、验证、项目管理、方法论、调查、形式分析、数据整理、概念化。
万帆:撰写——审稿与编辑、形式分析。
杨龙:撰写——审稿与编辑、监督、概念化。

**资助**
本工作得到了中国国家留学基金委(CSC)的支持。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

**致谢**
我们感谢实验室同事们的有益讨论和反馈。
张乐源目前是英国杜伦大学计算机科学系的博士生,他的研究兴趣包括联邦学习、领域适应、基于原型的表示学习以及在分布变化下的鲁棒机器学习。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号