基于预训练模型的现实持续学习方法

《Journal of Visual Communication and Image Representation》：Realistic continual learning approach using pre-trained models

　　

• •
  探索了三种持续学习场景，从不切实际逐步演进到现实可行的实现。
• •
  提出了一种模型无关的框架 CLARE，增强了强大预训练模型的实用性。
• •
  为当前最优方法实现了一个真实场景，并分析了它们在此情境下的表现。

引言

持续学习（Continual Learning, CL），也被称为终身学习或增量学习，是机器学习领域的一个蓬勃发展的子领域，专注于创建能够从顺序输入数据流中以增量方式学习的算法。其主要目的是模仿人类随着时间的推移不断收集和提炼新信息的能力，使模型能够适应新信息而不牺牲已学到的知识。持续学习的理念建立在这样一个观念之上：人工智能（AI）应该在一个不断变化的世界中变得更加鲁棒和自适应。换言之，为持续学习定义一个实验设置需要将学习划分为任务，并评估所提方案的准确性随任务推进的演化情况。模型是否能在其最后被评估的任务上保持良好的识别精度？当学习新任务时，先前任务的性能退化了多少？推动持续学习研究的主要因素是所谓的灾难性遗忘。众所周知，在基于微调的持续学习训练方案中，对于深度学习模型而言，例如，当我们调整模型权重以学习最后一个任务时，无法保证模型会保留其先前学到的知识 [1], [2]。我们所观察到的现象被称为灾难性遗忘，即模型先前擅长的任务性能逐渐下降。

持续学习的研究旨在减轻这种灾难性遗忘的影响。已有大量基于不同原理的解决方案被提出（例如 [3], [4], [5], [6], [7], [8], [9], [10], [11], [12], [13], [14], [15]），但它们都共享一个我们认为被忽视的方面：理想化或不切实际的实验设置。为了比较不同的持续学习模型，研究人员定义了不同的实验设置，其中我们通过将数据分布控制到不同的任务中来模拟持续学习过程。我们取一个特定的数据集，例如 CIFAR-100，将不同的物体类别组织成任务，然后要求我们的持续学习模型逐步学会识别，例如，首先区分狗和猫这两个类别。然后在第二个任务中区分汽车、摩托车、狗和猫。依此类推。这被称为类增量学习场景。文献中提出的模型针对这种实验情况提出了临时性的解决方案。换言之，这些模型是专门为优化类别以结构化且增量方式增长时的学习效果而设计的。本文提出的问题如下：当这一假设不成立时会发生什么？设想一个现实的持续学习环境，其中不存在这些理想化条件。持续学习模型所面对的数据同样被划分为任务，但类别的分布不受控制或结构化，而是随机形成的。像狗和猫这样的类别可能出现在任务 1 中，但也可能在后续的任务 $n$ 中再次出现。在本工作中，我们提出通过在实验中聚焦于当前最优模型如何受益于这种实验设置的理想化，来推进持续学习问题。因此，我们提出了一种问题的推广形式，我们称之为现实持续学习（RealCL），在这种设定下，持续学习模型必须处理类别分布不具有结构性的任务流（见图 2）。

为了探索这一新的 RealCL 场景，我们还引入了一种基于预训练模型的持续学习新解决方案（例如 [16], [17]）。我们的模型名为 CLARE，即面向 RealCL 场景的基于预训练模型的持续学习方法（Continual Learning Approach with pRE-trained models）。CLARE 以其简单性和模型无关性为特色，利用预训练模型无缝整合新知识，同时保留已学的知识。这一突破消除了对大量重新训练过程的需求。总之，我们的主要贡献有三方面：

• •
  我们开创了具有挑战性的 RealCL 任务，这是一种新的持续学习设置，其中类别分布在任务间不具有结构性。我们证明了 RealCL 是所有先前科学工作中通常采用的标准持续学习场景的推广形式。在我们的研究中，我们探索了一个从高度结构化到完全不结构化的持续学习场景谱系。我们的目标是揭示当前最优的持续学习模型是否利用了传统实验评估场景中人为且强制的结构化特征，并将它们在新的 RealCL 场景中进行评估。
• •
  我们提出了基于预训练模型的持续学习策略 CLARE，这是一种针对 RealCL 任务量身定制的创新且灵活的方法。CLARE 基于预训练模型似乎所展现出的能力：当与特定的动态模块结合时，能够捕获和保留知识。
• •
  我们进行了广泛的实验以验证 CLARE 模型在所有可从 RealCL 衍生出的持续学习场景中的有效性。令人印象深刻的是，我们的方法在 RealCL 基准测试中取得了强劲的性能，甚至在某些方面超越了当前最优模型。通过细致的比较，我们评估了 CLARE 与替代方法的表现，展示了其在处理 RealCL 设置所施加的不确定性方面的多功能性和鲁棒性，这种设置模拟了真实的持续学习场景，其中我们无法控制模型所面对的任务。

章节摘要

持续学习及其理想化评估场景

持续学习是机器学习的一个子领域，关注模型如何在顺序到达的数据流上进行训练而不导致性能衰减或遗忘。这需要解决稳定性-可塑性权衡问题，这是持续学习中的核心问题 [18], [19], [20]。这种权衡指的是模型应如何平衡保留旧知识（稳定性）与获取新知识（可塑性）。因此，这是一个源于必须……的灾难性遗忘问题

从不切实际到现实的持续学习

在本节中，我们详细描述了本工作旨在探索的新型现实持续学习设置。我们展示了所有先前科学工作中通常采用的标准场景实际上只是我们的现实场景的特殊化形式，因为我们的场景具有更广泛的范围，涵盖了它们所有。

CLARE：基于预训练模型的持续学习方法

为了探索新的 RealCL 范式，我们提出了一种基于预训练模型的创新解决方案。我们提出了 CLARE，即面向 RealCL 场景的基于预训练模型的持续学习方法（Continual Learning Approach with pRE-trained models）。预训练模型天生具有一定的泛化能力，这种能力可以被利用并转移到下游任务中。在此背景下，我们引入了 CLARE，一个旨在将预训练模型的识别能力适应 RealCL 设置的设计框架。

我们在图 3 中展示了 CLARE 的主要组件。如我们所见……

实验

在本节中，我们展示了针对 RealCL 问题设计的实验评估。我们首先详细介绍了实验方法的描述，突出了影响我们实验设计和执行的关键因素。我们的主要目标是回答以下研究问题，以便我们全面评估和理解新型 RealCL 范式的影响：

• -
  预训练模型如何增强系统在 RealCL 场景中的适应性和性能？

结论

本文有两个主要目标。第一是向学术界提出 RealCL 范式用于评估持续学习解决方案。新颖的 RealCL 公式使我们能够探索多达三种不同的持续学习场景，从具有受控数据和类别分布的高度结构化场景，到完全不受控制的现实场景。我们使用 CLARE——一个简单且模型无关的——对所提场景进行了全面评估

CRediT 作者贡献声明

Nadia Nasri：撰写 – 原始草稿、验证、软件、方法论、调查研究。Carlos Gutiérrez-álvarez：撰写 – 审阅与编辑、验证、软件、方法论。Sergio Lafuente-Arroyo：撰写 – 审阅与编辑、可视化、监督指导、方法论、形式化分析。Saturnino Maldonado-Bascón：撰写 – 审阅与编辑、监督指导、资源获取、项目管理、形式化分析。Roberto J. López-Sastre：撰写 – 审阅与编辑、可视化、监督指导，

未引用参考文献

图 1，图 13

利益冲突声明

作者声明他们没有已知的可能影响本论文所报告工作的竞争财务利益或个人关系。

致谢

本部分研究由以下项目资助：GUIDANCE-4D 项目，参考编号 CM/DEMG/2024-028，来自 CAM-UAH；NAVIGATOR-D，参考编号 PID2023-148310OB-I00，来自西班牙科学与创新部；NAVISOCIAL，参考编号 2023/00405/001，来自阿尔卡拉大学；以及阿尔卡拉大学 MOEVE 教席。

Nadia Nasri|Carlos Gutiérrez-álvarez|Sergio Lafuente-Arroyo|Saturnino Maldonado-Bascón|Roberto J. López-Sastre