基于多源加权聚合与超图增强的自适应密度感知软聚类联邦学习框架

《Neurocomputing》：Adaptive density-aware soft clustering federated learning framework with multi-source weighted aggregation and hypergraph enhancement

　　

摘要

聚类联邦学习（CFL）通过构建客户端之间的聚类结构来缓解联邦学习（FL）中的数据异构性问题。然而，硬聚类方法强制每个客户端仅属于单个聚类，难以捕捉重叠的相似结构。尽管软聚类通过多重隶属关系增强了结构表达性，但现有方法仍受限于固定阈值依赖、聚合信息利用不足以及对重叠客户端的协作引导有限。这些局限性阻碍了簇内异构性和簇间结构关系的联合建模。为了解决这些问题，我们提出了一个具有多源信息加权聚合和超图增强的自适应密度感知软聚类联邦学习框架（MIWAHGE-SCFL）。该框架将软聚类关系建模为超图，并通过联合利用模型参数和梯度信息构建密度感知的客户端 - 超边隶属矩阵，从而实现对重叠相似性的细粒度表征。在此基础上，开发了一个两级优化机制，包括超边级模型聚合和跨超边协作引导。在超边级，提出了一种多源信息加权聚合方法，该方法整合了损失演化趋势、基于预测熵的置信度和样本大小信息，以提高聚合的稳定性和鲁棒性。在跨超边级，为重叠客户端引入了超图增强的模型引导策略，使其能够从超边模型和高相似模型中获得协作优化。多个公开数据集上的大量实验表明，MIWAHGE-SCFL 在复杂异构设置下取得了优越的模型性能和泛化能力。

引言

联邦学习（FL）[1] 允许在多个客户端之间进行协作模型训练，而无需共享原始数据，为隐私敏感场景下的分布式学习提供了一种有效范式 [2], [3]。然而，在实际应用中，客户端数据往往表现出显著的非独立同分布（Non-IID）[4], [5] 特征，这对依赖单一全局模型的传统 FL 方法构成了巨大挑战，并导致模型性能下降。为了减轻数据异构性的不利影响，聚类联邦学习（CFL）[6], [7], [8], [9], [36] 在联邦优化过程中引入了中间聚类结构。通过将具有相似数据分布或模型行为的客户端分组为多个子群体，并在聚类级别执行模型聚合，CFL 在全局知识共享和个性化建模之间建立了有效的权衡。

现有的 CFL 方法通常可分为硬聚类 [10], [11], [12], [13] 和软聚类 [14], [15], [16], [17], [23] 方法。硬聚类方法通常假设每个客户端仅属于单个聚类，采用互斥的划分策略。虽然这些方法提供了清晰的结构解释，但它们难以捕捉现实数据分布中常见的重叠和模糊边界。相比之下，软聚类允许客户端以不同的隶属权重属于多个聚类，在结构表示和跨聚类泛化方面提供了更大的灵活性。因此，软聚类已成为应对复杂 Non-IID 场景的一个有前景的方向。在这类框架中，通常利用多个聚类级模型来共同指导客户端更新，从而实现更细粒度的知识共享。

尽管在结构层面上缓解了硬聚类的刚性假设，但基于现有软聚类的 FL 方法仍表现出几个明显的局限性。首先，聚类形成往往依赖于固定阈值、预定义的聚类数量或全局相似度度量，无法适应客户端分布中的局部密度变化，并可能导致聚类结构退化或失衡。其次，在聚类级模型构建期间，聚合策略通常依赖于单一标准，如客户端样本大小或单轮训练损失 [18], [19], [20]，难以全面评估客户端更新的可靠性和不确定性。更关键的是，当客户端属于多个聚类时，现有方法通常采用简单的线性加权方案来融合多个聚类模型，隐含地假设聚类之间是独立且贡献相等的。这忽略了聚类之间的结构关系以及客户端在聚类之间的相对位置和动态偏好。这种协作建模中缺乏结构语义限制了软聚类的全部潜力，并阻碍了对簇内异构性和簇间结构关系的联合表征。

鉴于上述挑战，本文从结构驱动建模的角度重新审视了软聚类联邦学习，并提出了一个具有多源信息加权聚合和超图增强的自适应密度感知软聚类联邦学习框架（MIWAHGE-SCFL）。该框架将软聚类中的聚类建模为超图中的超边，从而实现客户端与聚类之间多重隶属关系的统一表示。它系统地设计了三个关键组件，即超边构建、超边级模型聚合和跨超边客户端引导，以充分利用嵌入在软聚类中的高阶结构信息。本文的主要贡献总结如下：

• •
  自适应密度感知软聚类超图构建。我们提出了一种软聚类超图构建算法，联合建模客户端模型参数和梯度信息，以捕捉嵌入空间中的局部密度感知相似度。结合原型驱动的超边生成和自适应超边合并机制，所提出的方法实现了无需预定义聚类数量的软聚类，为复杂 Non-IID 设置下的联邦优化提供了稳定的结构基础。
• •
  多源信息加权超边模型聚合。通过整合滑动窗口内的损失演化趋势、基于预测熵的置信度和样本大小信息，开发了一种动态聚合策略。该方法在训练稳定性和模型可靠性之间取得了平衡，从而提高了异构数据下超边模型的收敛质量。
• •
  重叠客户端的超图增强模型引导。为了解决多个超边重叠区域的优化挑战，我们引入了基于高相似模型的结构一致性约束。通过联合建模超边模型和高阶相似客户端模型的协作影响，所提出的策略为重叠客户端提供了更有针对性的个性化引导。
• •
  广泛的实验验证。多个公开数据集上的综合实验表明，MIWAHGE-SCFL 在模型性能方面显著优于基线方法。进一步的参数分析验证了所提出框架在实际联邦学习场景中的鲁棒性和稳定性。

章节片段

聚类联邦学习

聚类联邦学习（CFL）被广泛认为是通过将由具有相似数据分布或训练行为的客户端分组为多个聚类，并在每个聚类内进行模型共享和协作优化，来缓解联邦学习（FL）中 Non-IID 问题的有效方法。与依赖单一全局模型的传统 FL 范式不同，CFL 在联邦优化过程中引入了聚类机制，使得模型更新能够被进行

MIWAHGE-SCFL 框架

为了解决现有基于软聚类的联邦学习方法在客户端高阶结构建模、聚类级聚合可靠性以及对重叠客户端协作引导方面的局限性，本文提出了一个具有多源信息加权聚合和超图增强的自适应密度感知软聚类联邦学习框架（MIWAHGE-SCFL）。所提出的框架由结构导向的建模范式驱动，其中

实验设置

为了系统评估所提出的 MIWAHGE-SCFL 在复杂 Non-IID 场景下的有效性和鲁棒性，我们在多个公开基准数据集上进行了大量实验。选择了一系列具有代表性的联邦学习和聚类联邦学习方法作为基线进行比较。比较的方法涵盖了经典联邦学习方法、基于硬聚类的联邦学习、软聚类方法以及图结构建模

结论

本文解决了软聚类联邦学习在复杂数据异构性场景下的局限性，包括结构表达性不足、模型聚合不稳定以及对重叠客户端个性化建模能力有限。为此，我们提出了一种新颖的软聚类联邦学习框架，称为 MIWAHGE-SCFL，该框架集成了自适应密度感知超图建模与多源信息加权聚合。

从...的角度

CRediT 作者贡献声明

赵雨虹：写作 – 审阅与编辑，写作 – 初稿。刘鹏程：写作 – 初稿。王静宇：写作 – 审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系，这些可能被认为会影响本文报告的工作。

赵雨虹 目前是内蒙古科技大学的一名教授。她于 2020 年获得北京科技大学博士学位。她的主要研究领域是动态时间序列预测、联邦学习和软件供应链安全。她已在国内外各种期刊上发表了 20 多篇学术论文。

赵雨虹 | 刘鹏程 | 王静宇

中国，包头，内蒙古科技大学，数字与智能产业学院