《Machine Learning with Applications》：Autoencoder-based clustered federated learning with importance-aware aggregation for sentiment analysis on non-IID data
编辑推荐：
情感分析日益面临传统集中式机器学习的挑战，因为数据通常是分散的，将其传输到中心位置会带来隐私和安全风险。联邦学习（FL）通过在本地训练模型而无需共享数据来缓解这些风险，但其在非独立同分布（non-IID）数据下的性能和收敛性会下降。为在non-IID数据下提高
情感分析日益面临传统集中式机器学习的挑战，因为数据通常是分散的，将其传输到中心位置会带来隐私和安全风险。联邦学习（FL）通过在本地训练模型而无需共享数据来缓解这些风险，但其在非独立同分布（non-IID）数据下的性能和收敛性会下降。为在non-IID数据下提高性能，聚类联邦学习（CFL）将客户端分组为簇，并为每组训练一个专用模型。然而，传统CFL方法面临两个关键局限：（1）依赖测试客户端标签进行簇评估，这违反了机器学习原则并高估性能；（2）在不共享本地数据的情况下难以识别簇。研究人员提出一种用于FL的基于无监督自编码器（AE）的聚类方法，通过利用客户端数据分布的潜在表示对客户端进行分组，从而无需测试标签或数据共享。此外，一种邻近感知加权机制在聚合过程中优先考虑更接近簇中心的客户端，以抵消传统联邦平均（FedAvg）方法偏向较大数据集而忽视较小但有价值客户端的偏差。在不同non-IID情感分析场景中的实验证实，所提出的基于AE的聚类结合加权聚合能够在无标签依赖的情况下成功形成簇，并提高FL性能。所提出的CFL方法显著提高准确率——对于标签分布均衡的客户端，从68.92%提高到78.36%；对于仅含单一标签的极端non-IID客户端，最高提高50%。
该研究围绕非独立同分布（non-IID，客户端数据分布不一致）条件下的情感分析展开。传统集中式机器学习需要将分散数据集中传输，带来隐私与安全风险；联邦学习（FL，分布式模型训练范式）虽在本地训练而避免数据共享，但在non-IID数据下性能和收敛性下降。聚类联邦学习（CFL，按客户端相似性分组训练）可缓解单一全局模型难以适应异构客户端的问题，但已有方法多依赖测试客户端标签进行簇评估或簇分配，违反测试数据仅用于最终评估的机器学习原则，且在不共享本地数据时难以识别簇；传统联邦平均（FedAvg，按样本数加权聚合）还偏向样本量大的客户端而忽略数据分布与数据价值。为此，研究人员提出基于无监督自编码器（AE，无监督重构网络）的客户端聚类方法，以AE权重的潜在表示刻画客户端数据分布，实现无需测试标签和数据共享的簇分配；并提出邻近感知加权聚合，使更接近簇中心的客户端在聚合中获得更高贡献。研究结论表明，该方法可在多种non-IID情感分析场景中形成更同质的簇并提升FL性能，对标签分布均衡客户端准确率由68.92%提高至78.36%，对仅含单一标签的极端non-IID客户端最高提高50%，其意义在于将簇分配与测试标签解耦，并改善non-IID下FL的聚合偏差。
关键技术方法：使用Sentiment140 Twitter数据集，选120,000条推文（80,000训练、40,000测试；100个训练客户端、50个测试客户端，每客户端800样本）；并用IMDB电影评论数据集作跨数据集评估（36,000训练、7,000测试；100个训练客户端每客户端360样本、50个测试客户端每客户端140样本）。文本由all-MiniLM-L6-v2映射为384维句向量；每客户端训练transformer-AE并提取AE权重，可选主成分分析（PCA，降维方法）保留100个主成分，采用K-means++（改进初始化的K均值聚类）在K=2–7范围聚类；聚合阶段按客户端到簇中心距离以NegSoftMax（负Softmax赋权）、NegSoftNorm（负Softmax归一化赋权）或MinMaxNorm（Min-Max反转赋权）得分加权FedAvg；每簇训练transformer分类器。以上概括不超过250字。
6.1 聚类联邦学习与传统联邦学习（无聚类）比较：在八种IID/non-IID场景中，以AE+PCA+K-means++与NegSoftNorm构成的聚类FL在K=2–7范围内均高于无聚类FedAvg；例如50–50场景由68.92%提高到76.91%–78.36%，D 0.1由66.10%提高到97.68%–97.74%。5–95场景的宏F1（macro-F1，类别F1平均）为73.79%–74.77%，平衡准确率（balanced accuracy，类别召回率平均）为75.30%–76.88%，说明高准确率并非仅由多数类驱动；D 0.01因客户端为单类，100%准确率应解释为单类设定下的正确簇分配。K=2或3常较优，但K=2–7间无显著差异。
6.2 聚合技术影响：比较传统FedAvg与NegSoftNorm可见，FedAvg在多数场景的准确率波动更大，NegSoftNorm一致性更高；在三种加权方法中，NegSoftNorm总体对数据分布变化最稳健，MinMaxNorm接近，NegSoftMax在高偏斜场景表现较好但在50–50、5–95（Gaussian）、D 10和D 1等较低偏斜场景较差，且因聚合时缺少权重归一化而收敛最慢。使用PCA后MinMaxNorm略逊于NegSoftNorm。D 0.01中FedAvg与NegSoftNorm表现相近，与单类客户端易分离有关。
6.2.1 经验距离–梯度关系：研究人员在5–95、5–95（10）、D 0.01和D 10的四个代表性簇中测量客户端到簇质心距离与梯度差异的关系，发现二者呈正向且统计显著相关，强度由弱到中等，为距离–差异单调性假设提供经验支持，但该关系应解释为经验倾向而非普遍确定性质。
6.3 降维影响：比较有/无PCA的结果表明，在高度偏斜non-IID场景中PCA影响不大，但在高度偏斜与相对均衡客户端混合的场景中PCA通常改善性能；全AE权重聚类优于仅使用编码器权重，AE权重聚类的轮廓分数（silhouette score，聚类分离度指标）在K=2–7范围持续高于16维潜在表示聚类；参数匹配的MLP-AE对比中，transformer-AE获得更高轮廓分数，表明其经验上形成更分离的客户端簇。
6.4 随机种子变异与统计分析：对K=2–7的Friedman检验在八个场景中均未显示显著差异（p>0.39；D 0.01不适用），故箱线图离散主要反映K配置敏感性而非重复运行不确定性。重复三个随机客户端数据实现后，5–95和D 0.1存在统计显著差异，但组间标准差分别低于1%和0.74%，实际影响小；5–95（10）、5–95 Normal、50–50、D 1和D 10大体稳定，D 0.01完全不变。
6.5 IMDB跨数据集评估：在IMDB上沿用相同流程，D 0.01准确率为91.49%–92.34%，5–95为82.93%–83.60%，50–50为78.87%–79.21%；无聚类基线在D 0.01仅57.05%。结果趋势与Sentiment140一致：客户端分布越强偏斜，簇越易分离；K由2到7变化通常仅在约1个百分点内。该评估表明方法不局限于Sentiment140，但仍基于受控标签偏斜划分。
6.6 讨论：消融结果说明，相对于无聚类FL的准确率提升主要来自基于AE权重的客户端聚类；邻近感知加权的主要贡献是降低不同K下准确率波动并加速簇内训练收敛；AE权重作为客户端表示优于潜在表示和参数匹配MLP-AE表示。研究同时指出，测试客户端虽未参与训练且分配不使用标签，但与训练客户端来自同一数据集并采用相同受控标签偏斜划分；IMDB评估也未覆盖自然分区、领域/时间/用户级分布漂移、不等客户端规模、动态参与、通信约束与端到端部署成本，故结果证明受控标签偏斜下无标签簇分配的可行性，而非真实联邦系统部署就绪性。D 0.01的100%准确率反映单类客户端的簇分配正确性，不应解读为两类判别能力。
研究结论翻译：总之，本文提出一种面向情感分析中non-IID数据挑战的聚类FL方法。通过利用自编码器进行无监督客户端聚类，该方法消除了对带标签测试数据的依赖，从而遵循机器学习的核心原则。引入按客户端到簇中心邻近程度优先赋权的加权聚合技术，通过强调客户端重要性进一步提升模型性能。实验结果表明，采用NegSoftNorm的所提方法在标签偏斜non-IID场景中优于传统FL方法，获得更高准确率和更同质聚类；在每客户端仅含单一类别的极端D 0.01场景中，报告准确率反映了有效的无标签簇分配。未来工作将研究其他无监督客户端聚类方法，并探索不同自然语言处理任务中深度学习模型在non-IID数据下的敏感性。
