网络拓扑约束下原型引导的去中心化联邦学习语义协作机制
《Expert Systems with Applications》:Prototype-Guided Semantic Collaboration for Decentralized Federated Learning under Network Topology Constraints
【字体:
大
中
小
】
时间:2026年08月30日
来源:Expert Systems with Applications 9.4
编辑推荐:
• 解决了拓扑受限去中心化联邦学习中的拓扑-语义不匹配问题。
• 提出了DFedPSC,使在无需重构拓扑的情况下实现语义协作。
• DFedPSC利用NSCL和NCR来对齐类内特征并校准局部偏差。
• 证明了收敛性保证,并在异构场景下展示了性能优势。
引言
联邦学习(FL)
• 解决了拓扑受限去中心化联邦学习中的拓扑-语义不匹配问题。
• 提出了DFedPSC,使在无需重构拓扑的情况下实现语义协作。
• DFedPSC利用NSCL和NCR来对齐类内特征并校准局部偏差。
• 证明了收敛性保证,并在异构场景下展示了性能优势。
引言
联邦学习(FL)McMahan, Moore, Ramage, Hampson, & y Arcas (2017) 已确立为分布式客户端隐私保护协作训练的主导范式。它已被广泛应用于多种网络环境,如无线物联网(IoT)、移动自组网、无人机集群和车联网边缘网络 Beltrán et al. (2023); Fu et al. (2025)。标准联邦学习通常依赖中央服务器进行全局协调 Li, Fan, Tse, & Lin (2020a); Li et al. (2020b),这可能面临通信瓶颈、单点故障以及在去中心化网络场景中适用性有限的问题 Kairouz et al. (2021)。此外,在许多去中心化网络场景中,稳定可信的中心实体可能不可用或不切实际。去中心化联邦学习(DFL)Sun, Li, & Wang (2022) 通过以点对点通信取代中央服务器来解决这一限制,其中客户端通过网络邻居进行模型优化和聚合。因此,如何在给定或被动变化的网络拓扑上有效开展DFL,在网络科学与工程领域既有理论重要性也具有实践价值 Tang, Shi, Li, & Chu (2022); Wang, Xiong, Cao, Li, & Liu (2025b)。
然而,DFL存在一个根本局限:受限的局部视野。与集中式联邦学习(CFL)不同,CFL通过全局服务器弥合分布差异 Li et al. (2020b); Ye, Fang, Du, Yuen, & Tao (2023),DFL客户端被限制在由通信拓扑定义的局部交互中。从远程节点传播知识既慢又间接 Taheri, Mokhtari, Hassani, & Pedarsani (2020); Yuan, Wang, Sun, Yu, & Brinton (2024),导致全局共识严重滞后。因此,客户端可能在有偏的局部和邻域分布下长时间优化,导致收敛缓慢、语义漂移和模型性能下降 Lian et al. (2017); Palmieri, Boldrini, Valerio, Passarella, & Conti (2024); Tang et al. (2022)。
在网络拓扑受限的场景中,通信关系通常无法根据客户端数据分布的相似性自由调整。相反,它们往往由物理连接性、无线覆盖范围、链路可靠性、移动模式、安全策略和网络管理规则决定 Yan, Li, Sun, Niyato, & Quek (2025)。例如,工业物联网或策略控制的企业网络中的客户端可能只能与授权或可达的邻居通信。在这种情况下,仅为了改善学习性能而修改通信链路可能是不可行、不稳定或与部署约束不一致的。因此,保留给定拓扑不仅是设计选择,也是许多去中心化学习系统中的实际要求。
这种拓扑约束使客户端协作从根本上不同于拓扑自适应DFL。现有DFL方法通过拓扑构建 Chen, Xu, Xu, Ma, & Wang (2024)、邻居选择 Leng, Hu, Gu, Kang, & Yang (2025) 或基于集群的重连 Park, Woo, & Lee (2025b) 来连接相似客户端,往往隐含假设通信关系可以根据学习效用或数据相似性灵活调整。当通信图已经给定或只能随网络状态被动变化时,这一假设可能不成立。在本工作中,我们关注一个更通用和实际的问题:当客户端无法任意重构通信拓扑时,如何更好地利用当前可用邻居的信息?
此外,客户端的数据异构性进一步放大了邻域协作中的语义冲突 Li et al. (2025a)。有效协作通常需要语义亲和性,即数据分布或特征表示相似的客户端更有可能提供有用的知识 Jiang et al. (2023); Kharrat, Canini, & Horváth (2025)。然而,在网络受限的DFL中,信息交换由物理拓扑而非语义相关性决定。如图1(a)所示,语义相似的客户端可能不可达,而物理连接的邻居可能具有异构甚至冲突的数据分布。在非IID设置下,某些客户端可能缺乏少数类或缺失类的充分表示,使得邻居更新更有可能引入有偏语义。我们将物理连接性与语义协作需求之间的这种结构不一致称为拓扑-语义不匹配。
这种不匹配也传播到特征空间。如图1(b)所示,传统DFL方法可能在不同客户端上为同一类学习出不一致的表示,导致类内特征一致性低,最终引起优化偏差和性能下降。然而,大多数现有DFL研究主要通过参数空间共识来处理数据异构性,聚合邻居模型而不显式评估交换信息的语义效用 Dai, Shen, He, Tian, & Tao (2022), Liu et al. (2024), Shi et al. (2023), Li et al. (2025c)。当拓扑邻居不是语义上合适的协作者时,这种不加区分的聚合可能将冲突信息引入局部优化,加剧语义漂移和收敛不稳定 Wang et al. (2025a)。
因此,在拓扑约束下特征空间协作变得必要。由于无法自由修改通信拓扑,关键问题不再是添加或重连线以寻找理想的语义邻居,而是如何更好地利用现有邻域内可用的信息。与参数空间聚合相比,特征空间语义信息提供了对类级知识的更直接描述。特别是,类级原型可以紧凑地刻画每个类的特征分布,并允许客户端评估邻居是否为特定语义类别提供了有用或冲突的信息。这使得拓扑保留的语义协作成为可能:客户端仅与其可用邻居通信,但在局部优化过程中可以选择性增强语义一致的知识并抑制冲突信息。
为解决这些问题,我们提出了DFedPSC,一种面向DFL的原型引导语义协作方法。DFedPSC不依赖拓扑重构或额外通信链路,而是在当前可用邻域中识别和利用语义上有用的信息,同时减少语义冲突的负面影响。与主要追求参数空间共识的DFL方法不同,DFedPSC通过类级原型引入特征空间语义协作,在不改变底层通信拓扑的情况下描述邻居客户端之间的语义关系。具体而言,DFedPSC由两个互补模块组成。首先,邻域语义对比学习(NSCL)通过比较邻居原型与局部邻域语义基线来构建语义亲和原型,引导每个客户端与语义一致的邻居对齐类内特征,并减少来自冲突邻居的干扰。其次,邻域校准正则化(NCR)通过结合邻域统计和类分布信息构建校准原型,锚定局部优化轨迹并缓解类不平衡、缺失类和受限邻域视野引起的偏差。如图1(c)所示,语义协作加强了来自一致邻居的有用信息并抑制了冲突信息,从而相比盲目聚合实现更快的损失下降和更高的模型准确率。
总体而言,DFedPSC专为网络拓扑受限的DFL设计,通过语义协作使客户端更好地利用有用的邻域知识。理论上,我们证明了DFedPSC在一般非凸设置下能达到稳定的收敛速率。大量实验表明,DFedPSC在不同数据异构性设置下均优于现有DFL基线方法。本文的主要贡献总结如下:
• 我们解决了网络拓扑受限DFL中的拓扑-语义不匹配问题,该问题在现有文献中研究不足。因为在网络环境中,语义一致的客户端可能没有物理连接,反之亦然,物理连接的客户端可能语义上不一致,这使得该问题对去中心化网络中的有效联邦学习极具挑战性。为解决这一挑战,我们开发了一种新颖的两阶段方法——邻域语义学习和校准——以提升去中心化协作。
• 我们提出了DFedPSC,一种面向网络拓扑约束下DFL的原型引导语义协作方法。它利用类原型建模当前邻域内的语义关系,使客户端能够增强来自语义一致邻居的有用信息并减少冲突信息的影响。它进一步设计了NSCL用于跨客户端类内特征对齐,以及NCR用于缓解类不平衡和受限邻域视野引起的局部优化偏差。
• 我们提供了DFedPSC在一般非凸设置下的理论收敛性分析,表明其收敛界包含标准去中心化优化项和有界的语义正则化偏差。在多个数据集、数据异构性设置和网络拓扑上的实验表明,DFedPSC始终优于现有DFL基线方法。
本文其余部分组织如下:第二部分回顾相关工作;第三部分介绍预备知识和系统模型;第四部分详细介绍我们提出的方法;第五部分呈现理论分析;第六部分通过大量实验评估我们的方法;第七部分总结全文。
相关工作
去中心化联邦学习
DFL用客户端之间的点对点通信取代了标准联邦学习中的中央服务器。通过允许每个客户端仅与其邻居交换信息,DFL提高了分布式和网络环境中的可扩展性和鲁棒性 Sun et al. (2022); Tang et al. (2022)。现有研究主要关注去中心化优化、个性化和拓扑感知协作。例如,Sun等人 Sun et al. (2022) 提出了带有动量机制的DFedAvgM以系统模型
我们考虑一个由K个客户端组成的去中心化联邦学习(DFL)系统,索引为 ??={1,?,??}。每个客户端 ??∈?? 拥有一个私有本地数据集 ????={(????,????)}??????=1,其中 ??∈?? 表示输入样本,??∈??={1,?,??} 表示类标签。设 ????=|????| 为客户端k上的样本数,??=∑????=1???? 为所有客户端上的总样本数。由于非IID数据分布,本地数据集可能具有不同的类分布、样本大小,甚至缺失类。
DFedPSC概述
受网络约束DFL中拓扑-语义不匹配的启发,我们提出了DFedPSC,一种原型引导的语义协作方法,在不重构底层通信拓扑的情况下改善邻域协作。DFedPSC不取代标准的基于拓扑的模型聚合。相反,每个客户端首先聚合其当前可用邻居的模型参数,然后执行带有额外语义协作目标的局部优化。
理论分析
在本节中,我们分析DFedPSC在一般非凸设置下的收敛性。目标是最小化第三部分定义的全局加权经验风险 ??(??)。设 ????=????/?? 为客户端i的数据依赖权重,定义虚拟全局模型为 ?????????=∑????=1???????????。在通信轮次t,客户端i首先根据可用拓扑聚合邻居模型:???????=∑??∈??????(??)??(??)????????????。然后,客户端i从聚合模型执行随机局部更新
数据集和数据划分
我们在三个基准数据集上评估DFedPSC:Fashion-MNIST Xiao, Rasul, & Vollgraf (2017)、CIFAR-10和CIFAR-100 Krizhevsky, Hinton et al. (2009)。这些数据集涵盖了分类任务的不同难度级别。
为评估DFedPSC在异构数据分布下的鲁棒性,我们考虑了三种代表性的非IID划分协议。首先,我们使用狄利克雷分布,记为 Dir (α),来模拟客户端之间的标签分布偏斜。较小的α值
结论
在本文中,我们研究了网络拓扑约束下的去中心化联邦学习,其中通信链路无法根据数据语义自由调整。我们识别了拓扑-语义不匹配问题,并提出了DFedPSC,一种拓扑保留的原型引导语义协作方法。通过结合邻域语义对比学习和邻域校准正则化,DFedPSC增强了语义上有用的邻居信息,减少了
CRediT作者贡献声明
刘德天:概念化、方法论、软件、调查、写作。张建彪:验证、资源、监督。沈虹:方法论、写作-审阅和编辑、监督、经费获取。曹一豪:写作、软件、调查。
利益冲突声明
作者声明他们没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。
刘德天 | 张建彪 | 沈虹 | 曹一豪