带有提示的联邦类增量学习

《Expert Systems with Applications》：Federated Class-Incremental Learning with Prompting

本文提出联邦类增量学习新方法FCILPT，通过提示编码技术解决客户端数据非独立同分布及灾难性遗忘问题，无需使用缓冲区，在CIFAR-100等数据集上显著优于现有方法。

　　随着网络技术的不断进步，数据存储和处理的方式也在发生深刻变化。越来越多的数据被分布在不同的客户端上，这不仅提升了数据的可用性，也带来了数据隐私和安全方面的挑战。在此背景下，联邦学习（Federated Learning, FL）作为一种能够在不直接访问用户数据的情况下训练模型的技术，逐渐受到关注。联邦学习通过分布式的数据处理和模型聚合机制，实现了在保护数据隐私的同时提升模型性能的目标。然而，传统的联邦学习方法通常假设每个客户端的数据是静态的，即在训练过程中不会发生变化。这种假设在现实世界中并不总是成立，因为数据往往是动态生成的，新的类别也可能不断出现。这种动态性给联邦学习的模型训练带来了新的问题，尤其是在处理类增量学习（Class-Incremental Learning, CIL）时，模型可能会因为新类别的到来而遗忘旧类别的知识，这种现象被称为灾难性遗忘（Catastrophic Forgetting, CF）。此外，由于不同客户端的数据分布往往不是独立同分布（non-iid）的，联邦学习模型在聚合过程中可能会面临性能下降的问题。

为了解决这些问题，本文提出了一种名为联邦类增量学习与Prompting（Federated Class-Incremental Learning with PrompTing, FCILPT）的新方法。FCILPT的核心思想是通过Prompting技术来缓解灾难性遗忘，同时避免使用传统的记忆缓冲区（rehearsal buffer）来存储旧数据。Prompting技术最初源自自然语言处理（Natural Language Processing, NLP）领域，其主要作用是通过引入可学习的提示向量来帮助模型在不直接接触旧数据的情况下保留旧知识。在本文中，我们利用Prompting技术将任务相关的知识和任务无关的知识编码为提示，从而在模型训练过程中实现对旧知识和新知识的有效保留。此外，我们还设计了一种基于实例的提示查询机制，使得模型能够在不知道当前任务身份的情况下，准确选择与该实例相关的提示。

FCILPT的实现分为几个关键步骤。首先，在每个客户端的本地模型中，我们将任务相关的知识编码为可学习的提示，并将这些提示存储在一个提示池中。为了更好地处理任务间的相似性，我们进一步将提示分为三类：任务特定提示、任务相似提示和任务无关提示。任务特定提示包含当前任务独有的知识，任务相似提示则包含多个相似任务之间共享的知识，而任务无关提示则用于编码所有已经出现的任务，以获取这些任务之间的潜在共同信息。这种分类方式不仅有助于保留旧知识，还能有效应对由于任务间数据分布差异而导致的非独立同分布问题。

在模型训练过程中，当新的任务到来时，我们通过任务特定提示和任务相似提示来更新模型，而无需引入额外的记忆缓冲区。这种设计有效减少了存储需求，同时也避免了由于缓冲区的使用而可能带来的隐私泄露风险。为了确保不同客户端之间的任务信息能够对齐，我们在客户端本地对提示池进行排序，并在服务器端对这些排序后的提示池进行聚合。这一过程确保了不同客户端在相同任务下的提示信息能够充分融合，从而提升模型的整体性能。

FCILPT的创新点在于其对Prompting技术的应用。传统的类增量学习方法往往依赖于记忆缓冲区或任务标识符来区分旧知识和新知识，而这些方法在联邦学习场景下存在诸多限制。例如，记忆缓冲区需要占用大量存储空间，这在资源受限的客户端上可能不可行；任务标识符的使用则可能带来隐私泄露的风险，尤其是在联邦学习的分布式环境中。相比之下，FCILPT通过Prompting技术实现了对旧知识和新知识的隐式保留，使得模型能够在不直接接触旧数据的情况下继续学习。这种方法不仅降低了存储和隐私方面的负担，还提高了模型的泛化能力。

在实际应用中，FCILPT展现出显著的优势。通过将任务信息编码为可学习的提示，模型能够在不同客户端之间共享这些提示，从而提升全局模型的性能。同时，由于提示池的排序和聚合过程，模型能够更好地应对由于数据分布不均而导致的非独立同分布问题。此外，FCILPT还引入了一种基于实例的提示查询机制，使得模型能够在不知道当前任务身份的情况下，准确选择与该实例相关的提示，从而提升模型的适应能力。

为了验证FCILPT的有效性，我们进行了大量的实验。实验使用的数据集包括CIFAR-100、Mini-ImageNet和Tiny-ImageNet。这些数据集涵盖了不同规模和复杂度的图像数据，能够全面评估FCILPT在联邦类增量学习场景下的性能。实验结果表明，FCILPT在多个指标上均优于现有的联邦类增量学习方法，包括模型的准确率、收敛速度和稳定性。此外，实验还验证了FCILPT在处理非独立同分布数据时的鲁棒性，表明该方法能够有效应对不同客户端之间数据分布差异带来的挑战。

FCILPT的提出不仅解决了联邦类增量学习中的灾难性遗忘问题，还提供了对非独立同分布数据的有效处理机制。在联邦学习的分布式环境中，数据往往来自不同的客户端，且每个客户端的数据分布可能不同。这种数据分布的不一致可能导致模型在聚合过程中出现性能下降的问题。通过将任务信息编码为提示并进行排序和聚合，FCILPT能够有效对齐不同客户端的任务信息，从而提升模型的整体性能。此外，FCILPT的提示查询机制能够在不依赖任务标识符的情况下，准确选择与实例相关的提示，使得模型在面对新数据时能够快速适应。

在实际应用中，FCILPT具有广泛的适用性。它不仅可以用于图像分类任务，还可以扩展到其他类型的联邦学习场景，如语音识别、自然语言处理等。此外，FCILPT的Prompting技术可以与其他联邦学习方法相结合，形成更加灵活和高效的模型训练框架。例如，在联邦学习中，模型可以通过Prompting技术来学习不同任务之间的共享知识，从而提升模型的泛化能力和适应能力。

为了进一步验证FCILPT的鲁棒性，我们进行了多种实验设置，包括不同的数据分布模式和任务到达顺序。实验结果表明，FCILPT在各种设置下均能保持较高的模型性能，且在面对数据分布不均的情况下，能够有效提升模型的稳定性。此外，FCILPT的提示查询机制在面对新数据时能够快速适应，从而减少模型的训练时间。

FCILPT的研究意义在于其为联邦类增量学习提供了一种新的解决方案。传统的联邦学习方法往往依赖于记忆缓冲区或任务标识符来区分旧知识和新知识，而这些方法在联邦学习的分布式环境中存在诸多限制。相比之下，FCILPT通过Prompting技术实现了对旧知识和新知识的隐式保留，使得模型能够在不直接接触旧数据的情况下继续学习。这种方法不仅降低了存储和隐私方面的负担，还提高了模型的泛化能力。

此外，FCILPT的研究还为Prompting技术在联邦学习中的应用提供了新的思路。Prompting技术最初主要用于自然语言处理领域，其核心思想是通过引入可学习的提示向量来帮助模型在不直接接触旧数据的情况下保留旧知识。在本文中，我们将这一技术扩展到联邦类增量学习场景，并通过提示池的排序和聚合机制，实现了对不同客户端任务信息的有效对齐。这种方法不仅提高了模型的适应能力，还增强了模型的鲁棒性。

综上所述，FCILPT是一种创新的联邦类增量学习方法，它通过Prompting技术实现了对旧知识和新知识的隐式保留，避免了传统方法中对记忆缓冲区的依赖。该方法在多个实验数据集上均表现出优异的性能，且在面对非独立同分布数据时能够有效提升模型的稳定性。此外，FCILPT的研究还为Prompting技术在联邦学习中的应用提供了新的思路，为未来的研究奠定了基础。