一种基于类意识的校准和平衡一致性权重框架，用于联邦半监督学习

《Engineering Applications of Artificial Intelligence》：A class-aware calibration and balanced consistency weighting framework for Federated Semi-Supervised Learning

针对联邦半监督学习中类不平衡问题，提出CCWFed框架，通过类频率感知的预测向量校准、伪标签感知的平衡一致性加权及阶段适应的动态模型聚合方法，有效缓解多数类偏差对少数类的影响，并在三个非独立同分布数据集上验证其优越性。

　　在当前人工智能与大数据迅速发展的背景下，联邦学习（Federated Learning, FL）作为一种分布式机器学习技术，因其能够在不共享原始数据的前提下训练全局模型而受到广泛关注。这种技术特别适用于隐私保护要求较高的场景，例如医疗、金融和智能家居等领域。然而，随着实际应用中数据分布的复杂性增加，传统的联邦学习方法在面对非独立同分布（Non-IID）数据时面临诸多挑战。为了解决这些问题，研究者们提出了联邦半监督学习（Federated Semi-Supervised Learning, FSSL）这一新兴方向，旨在利用有限的标注数据和大量未标注数据协同训练模型，以提升模型在复杂环境下的性能。

FSSL的核心理念在于，尽管大多数客户端可能仅提供未标注数据，但仍然存在少数拥有足够标注数据的客户端。这些标注数据可以作为全局模型训练的重要参考，而未标注数据则通过某种方式生成伪标签，从而帮助模型更好地进行训练。然而，现有的FSSL方法在处理这一问题时，往往忽略了客户端内部数据分布不平衡带来的负面影响。这种不平衡可能导致模型在训练过程中对多数类产生过度依赖，从而忽视少数类的特征，降低模型对少数类的识别能力。此外，伪标签的生成过程也可能放大这种不平衡，使得模型在后续的训练和聚合过程中产生偏差，影响最终的性能。

为了解决上述问题，本文提出了一种名为CCWFed的新型联邦半监督学习框架。CCWFed通过引入“类感知校准”和“平衡一致性加权”两种机制，有效地缓解了因数据分布不平衡而带来的模型偏差问题。首先，在标注客户端的本地训练过程中，CCWFed采用一种基于类频率的预测向量校准方法。该方法通过调整模型输出的概率分布，使得模型在决策边界上更加均衡，从而减少多数类对模型性能的主导作用，提高模型对少数类的识别能力。其次，在未标注客户端的训练过程中，CCWFed设计了一种基于伪标签的平衡一致性加权策略。该策略通过动态调整一致性损失，使得模型在优化过程中更加关注稀有类样本，从而在未标注数据分布不平衡的情况下，避免伪标签偏差对全局模型的负面影响。

此外，为了在训练的后期阶段更好地利用未标注客户端的贡献，同时确保训练初期的模型聚合稳定，CCWFed还引入了一种“阶段自适应”的动态模型聚合方法。该方法通过引入时间衰减因子，逐步增加未标注客户端在全局模型中的权重，从而在训练过程中实现标签客户端与未标签客户端之间的协同作用。这种阶段自适应的机制不仅有助于提升模型的稳定性，还增强了其在复杂数据分布下的泛化能力。

CCWFed的设计充分考虑了联邦学习环境下的多个关键问题。首先，它解决了传统联邦学习方法对标注数据的依赖问题，使得模型能够在仅有少量标注数据的情况下仍然保持较高的性能。其次，它应对了未标注数据分布不平衡所带来的伪标签偏差问题，通过平衡一致性加权策略，使得模型在训练过程中能够更加公平地对待所有类别。最后，它通过阶段自适应的动态模型聚合方法，实现了模型在训练初期与后期的平稳过渡，确保了全局模型的稳定性和一致性。

为了验证CCWFed的有效性，本文在三个典型的Non-IID数据集上进行了广泛的实验测试。实验结果表明，CCWFed在这些数据集上的表现优于现有的多种FSSL方法，验证了其在复杂数据分布环境下的优越性。此外，本文还对CCWFed在不同实验条件下的表现进行了评估，包括IID（独立同分布）数据设置、不同比例的标注客户端配置以及使用不同主干网络结构的情况。这些实验进一步证明了CCWFed的鲁棒性和泛化能力，表明其能够适应多种数据分布环境，并在不同条件下保持良好的性能。

CCWFed的核心贡献在于其创新性的模块化设计。首先，它引入了基于类频率的预测向量校准机制，该机制能够动态调整模型输出的概率分布，使得模型在面对类别不平衡时，能够更加均衡地处理不同类别的样本。这种校准机制不仅减少了多数类对决策边界的影响，还提升了模型对少数类的识别能力。其次，CCWFed设计了一种基于伪标签的平衡一致性加权策略，该策略能够动态调整一致性损失，使得模型在优化过程中更加关注稀有类样本，从而避免伪标签偏差对全局模型的负面影响。这种加权策略不仅提高了模型在未标注数据分布下的准确性，还增强了模型的鲁棒性。

此外，CCWFed还引入了一种阶段自适应的动态模型聚合方法，该方法通过引入时间衰减因子，逐步增加未标注客户端在全局模型中的贡献。这种阶段自适应的机制不仅有助于提升模型在训练后期的性能，还确保了训练初期的稳定性。通过这种动态调整的机制，CCWFed能够在不同的训练阶段中实现标签客户端与未标签客户端之间的协同作用，从而提升全局模型的泛化能力和一致性。

在实际应用中，联邦学习的挑战不仅来自于数据分布的不平衡，还来自于客户端之间数据分布的异质性。这种异质性使得传统的联邦学习方法难以有效聚合模型更新，从而影响全局模型的性能。而CCWFed通过其模块化设计，能够灵活适应不同客户端之间的数据分布差异，使得模型在训练过程中能够更加均衡地处理所有类别，提升整体性能。此外，CCWFed还能够有效应对未标注数据中伪标签偏差的问题，使得模型在训练过程中能够更加公平地对待所有类别，避免因伪标签偏差而导致的模型性能下降。

综上所述，CCWFed是一种针对联邦半监督学习问题的创新性框架。它通过引入类感知校准和平衡一致性加权两种机制，有效地缓解了因数据分布不平衡而带来的模型偏差问题。同时，通过阶段自适应的动态模型聚合方法，CCWFed能够在不同的训练阶段中实现模型的平稳过渡，提升全局模型的稳定性和泛化能力。实验结果表明，CCWFed在多个Non-IID数据集上的表现优于现有方法，验证了其在复杂数据分布环境下的有效性。本文的研究成果为联邦半监督学习领域提供了新的思路，也为实际应用中的隐私保护和模型训练问题提供了可行的解决方案。