FedDSKI：通过个性化联邦学习中的双阶段知识隔离来提升服务器端模型的性能

《Future Generation Computer Systems》：FedDSKI: Improving server-side model via dual-stage knowledge isolation in personalized federated learning

针对联邦学习中数据异质性导致服务器模型泛化性能下降的问题，提出个性化联邦双阶段知识隔离方法（FedDSKI），通过领域中心正则化（DCR）和类别知识恢复（CKR）分别优化公共知识与个性化知识，有效缓解知识传递中的退化问题，并在三个数据集上验证其有效性。

　　在当今数据高度分散和隐私保护日益受到重视的时代，联邦学习（Federated Learning, FL）作为一种分布式机器学习范式，为在不共享原始数据的前提下实现模型训练提供了新的思路。传统的联邦学习方法，如FedAvg，通过聚合各个客户端的模型参数来构建一个全局模型，以适应所有客户端的数据分布。然而，这种方法在面对数据异质性时往往表现出一定的局限性，特别是在处理不同客户端之间数据分布差异较大的场景时，全局模型的泛化能力会受到严重影响。

数据异质性是指不同客户端的数据在统计分布、特征表达或标签分布等方面存在显著差异。这种差异可能导致全局模型在某些客户端上的表现不佳，从而影响整体的学习效果。为了应对这一挑战，研究者们提出了个性化联邦学习（Personalized Federated Learning, PFL）的概念，旨在为每个客户端定制适应其本地数据分布的模型。PFL的核心思想是通过在客户端之间共享部分知识，同时保留各自模型的个性化特征，从而在提升本地模型性能的同时，避免因过度个性化而损害全局模型的泛化能力。

在PFL的实践中，现有的方法主要集中在两个方向：参数解耦和特征对齐。参数解耦方法通过将模型分为共享部分和个性化部分，使共享部分在联邦学习过程中被上传至服务器进行聚合，而个性化部分则保持在客户端。这种方法的思路源于多任务学习，认为浅层特征具有一定的通用性，而深层特征则更倾向于捕捉特定任务的知识。特征对齐方法则关注于找到所有客户端之间共享的代表性特征，并通过某种机制将各个客户端的输出对齐到这些特征上。这类方法通常采用诸如对抗学习、正则化或特征匹配等策略，以提高模型的泛化能力。

然而，尽管这些方法在一定程度上缓解了数据异质性带来的问题，它们在知识传递过程中仍存在一些关键的挑战。首先，客户端在个性化训练过程中可能会遗忘共享知识，导致全局模型的知识退化。其次，客户端之间的个性化知识可能会相互干扰，影响全局模型的稳定性。因此，如何在联邦学习过程中有效隔离和传递知识，成为一个亟待解决的问题。

为了解决这些问题，本文提出了一种名为FedDSKI的个性化联邦双阶段知识隔离方法。FedDSKI通过将客户端模型划分为两个部分：特征提取器和分类器，分别负责捕捉共享知识和个性化知识。在训练过程中，特征提取器负责生成特征表示，而分类器则基于这些特征进行分类任务。FedDSKI的核心在于通过两个阶段的知识隔离机制，分别处理共享知识和个性化知识的传递过程。

在第一阶段，即共享知识提取阶段，本文引入了领域中心正则化（Domain-Centered Regularization, DCR）技术。DCR的目的是确保在共享知识的学习过程中，客户端的模型能够保留其对全局知识的适应性，同时避免因过度个性化而导致的知识遗忘。具体而言，DCR通过计算本地数据的特征输出中心，并将其与冻结的全局模型的特征输出中心进行对齐，从而在特征空间中建立一致性。这种方法不仅有助于消除客户端之间的偏差，还能确保共享知识在全局模型中的稳定性。

在第二阶段，即个性化知识提取阶段，本文提出了类别知识恢复（Category Knowledge Recovery, CKR）方法。CKR的目的是让客户端能够基于其本地数据，提取出具有类别特性的知识，以实现对本地任务的有效适应。为了实现这一目标，CKR采用原型（prototype）机制，通过动态更新的原型来捕捉当前批次数据与历史数据之间的联系。这种方法能够有效减少个性化知识与共享知识之间的重叠，同时提升本地模型在特定类别上的表现。

为了验证FedDSKI的有效性，本文在三个广泛使用的计算机视觉（Computer Vision, CV）数据集上进行了大量实验。实验结果表明，FedDSKI在多个指标上均优于现有的基线方法。这表明，通过引入双阶段的知识隔离机制，FedDSKI能够在保持全局模型泛化能力的同时，实现对本地数据的高效适应。

此外，本文还探讨了联邦学习中的知识传递机制。在传统的联邦学习框架中，客户端通常在本地数据上训练全局模型，并将更新后的参数上传至服务器进行聚合。然而，这种做法可能会导致知识的丢失，尤其是在数据异质性较高的情况下。FedDSKI通过将知识传递分解为两个阶段，分别处理共享知识和个性化知识的提取与隔离，从而有效减少了知识传递过程中的损失。

在实际应用中，联邦学习的场景往往涉及多个组织、单位或个人的数据。这些数据可能在数据分布、标签类型或特征表达等方面存在显著差异。因此，如何在联邦学习过程中保持模型的泛化能力，同时满足各个客户端的个性化需求，成为了一个重要的研究方向。FedDSKI的提出，正是为了解决这一问题。通过将模型分为共享和个性化两部分，并分别进行知识提取和隔离，FedDSKI能够在联邦学习的框架下，实现更高效的知识传递和更稳定的学习过程。

本文的研究还强调了在联邦学习过程中，知识隔离的重要性。共享知识和个性化知识的相互干扰可能会导致全局模型的性能下降，因此，通过合理的机制将这两类知识进行隔离，是提升联邦学习效果的关键。DCR和CKR的结合，使得FedDSKI能够在保持全局模型泛化能力的同时，为每个客户端提供适应其本地数据分布的个性化模型。

为了进一步验证FedDSKI的性能，本文在多个数据集上进行了实验。实验结果表明，FedDSKI在多个指标上均表现出色，尤其是在测试准确率和模型泛化能力方面。这表明，FedDSKI不仅能够有效应对数据异质性带来的挑战，还能够在联邦学习的框架下，实现更高效的知识传递和更稳定的模型训练。

在联邦学习的实践中，除了模型性能的提升，还需要考虑数据隐私和安全性的问题。FedDSKI通过在知识传递过程中对共享知识和个性化知识进行隔离，减少了对全局模型的依赖，从而在一定程度上提升了数据隐私保护的能力。此外，FedDSKI的双阶段设计还使得模型的训练过程更加灵活，能够适应不同客户端的数据分布特点。

综上所述，FedDSKI是一种针对联邦学习中知识退化问题的有效解决方案。通过引入领域中心正则化和类别知识恢复两种机制，FedDSKI能够在联邦学习的过程中，分别提取和隔离共享知识与个性化知识，从而提升模型的泛化能力和个性化适应能力。实验结果表明，FedDSKI在多个数据集上均表现出色，为联邦学习的进一步发展提供了新的思路和方法。