通过语义记忆系统实现持续学习

《Pattern Recognition》：Continual learning via semantic memory system

　　

• •
  一种新颖的短信框架保留了多源表示，并为持续学习提供了语义丰富和强大的信息。
• •
  一种新颖的DGBMO方法优化了图关系矩阵，从而存储了更多样化的表示。
• •
  一种新颖的SRE方法估计梯度方向以提高样本的质量。

引言

智能生物通常具有固有的学习能力，使它们能够从不断变化的环境中获取新的技能和知识，这一特性在危险时期对它们的生存至关重要[1]。相比之下，当代的深度学习架构在从静态数据分布中学习方面表现出很强的能力[2]，但当面对非静态数据分布时，它们的性能会大幅下降。这种下降被称为灾难性遗忘，当模型试图覆盖其参数以适应新任务的学习时就会发生。

为了解决持续学习中的灾难性遗忘问题，最近的研究探索了多种有效的方法，这些方法大致可以分为三类：基于记忆的方法、基于动态网络扩展的方法和基于正则化的方法。基于记忆的方法[3]、[4]在固定大小的记忆缓冲区中保留了一部分具有代表性的历史样本，使得可以定期回顾过去的知识。尽管这些策略在减轻遗忘方面显示出效果，但它们的成功在很大程度上取决于记忆缓冲区的大小和存储样本的代表性，因此可能限制了可扩展性和对多样化任务的泛化能力[5]。相比之下，基于动态扩展的方法[6]通过引入额外的隐藏节点、层或模块来逐步扩展网络结构。这种策略通过冻结先前训练的参数有效减少了遗忘，从而隔离了现有的知识。然而，这些方法中固有的参数冻结机制也可能对模型灵活性造成限制，妨碍其在遇到显著不同或新的任务分布时的适应[7]。同时，基于正则化的技术[8]通过策略性地限制参数更新来减轻遗忘，通常是通过选择性惩罚或参数重要性估计来实现的。虽然在不大幅度扩展架构的情况下能够有效保留早期任务的性能，但这些方法需要仔细调整正则化的强度，以平衡模型稳定性和可塑性之间的权衡。总体而言，每一类方法都有其独特的优势和局限性，这凸显了开发能够灵活利用多种方法互补优势的混合或更适应性强的持续学习框架的持续需求。

最近，由于其强大的性能和有利的特性，视觉Transformer（ViT）被用于持续学习[9]、[10]。值得注意的是，由预训练的ViT模型提取的特征表示包含了丰富的语义信息，已被证明可以提高持续学习的性能[11]。然而，这些方法通常会向模型中添加额外的参数，这些参数是在学习新任务时由预训练的ViT动态提取的，从而显著增加了模型的大小[11]。此外，这些方法主要依赖于单一的预训练骨干网络，无法在多样化和不熟悉的数据领域中有效泛化。本文提出了一种新颖的方法——语义记忆系统（SMS），它改进了记忆缓冲区，以保留来自多个不同预训练ViT骨干网络的语义丰富表示，从而为持续学习提供多样化和抽象的信息。我们介绍了一种创新的基于动态图的记忆优化（DGBMO）技术，该技术生成一组候选记忆簇，每个簇都旨在封装训练数据集的信息。所提出的DGBMO方法将每个候选记忆簇构建为图结构中的一个知识节点，并使用基于Wasserstein距离的度量来优化知识图矩阵，指导选择最具信息量的最佳记忆簇，然后将其添加到记忆系统中。这种方法确保了保留了更多样化的学习信息表示。

许多现有的基于记忆的持续学习模型通常通过修改像素值或在数据样本中引入随机噪声来实现数据增强。然而，这样的方法与提出的SMS不兼容，因为我们的记忆架构保留的是表示而不是实际的数据实例，任意修改不会产生有意义的表示信息，从而导致性能下降。在这项研究中，我们通过引入一种创新的语义表示编辑（SRE）技术来应对这一挑战。与传统观点不同，[12]、[13]表明，适当设计的任务特定扰动可以提高预训练模型在类增量学习中的泛化能力。该方法估计数据表示的梯度方向，并将其作为噪声向量添加到原始表示中，以增加模型的损失值。编辑后的表示被构建为难例，以鼓励模型学习重要的特征信息，然后可以使用这些信息来提高模型的泛化性能。此外，SMS建立在基于动态扩展的框架上，并采用了基于记忆的学习策略，从而实现了有竞争力的性能。我们在持续学习领域进行了广泛的实验，实证结果表明，所提出的方法达到了最先进的性能。本工作的关键贡献总结如下：（1）我们提出了一种新颖的SMS框架，用于保留和存储多源表示，为持续学习提供语义丰富和强大的信息；（2）我们提出了一种新颖的DGBMO方法来优化图关系矩阵，从而存储更多样化的表示；（3）我们提出了一种新颖的SRE方法来估计用于编辑潜在空间表示的数据样本的梯度方向，从而提高了持续学习模型的泛化性能。

章节片段

基于复述的方法

基于复述的方法旨在通过利用能够动态保留大量关键数据样本的记忆缓冲区来随时间吸收历史信息和新颖信息[14]、[15]。这种策略易于实现，并在持续学习中得到了广泛应用。然而，记忆缓冲区中的样本质量对于有效的持续学习至关重要。因此，一些研究引入了各种样本选择

问题定义

持续学习代表了一种具有挑战性的训练范式，在这种范式中，学习新任务时所有之前的任务数据样本都不存在。让我们定义$D^S={\{{\mathbf{x}}_j,{\mathbf{y}}_j\}}_{j=1}^{n^{}}$为训练数据集，${\mathcal{D}}^T={<mi\; mathvariant="bold"\; is="true">x</mi>j,{\mathbf{y}}_j\}}_{}^{}$为测试数据集。在一个称为类增量学习的流行持续学习设置中，新出现的类别通常被定义为新的任务。在这种学习场景下，数据集被划分为$n$个不同的任务$<mi\; is="true">T</mi>1,\dots ,T_n$根据

实验设置

骨干网络：在这项工作中，我们使用了三种不同的预训练视觉Transformer（ViT）骨干网络，这些都是从Hugging Face上公开的模型中获得的。为了确保公平评估，我们仔细验证了用于预训练的数据集与实验中使用的数据集是不相交的，从而避免了任何潜在的数据泄露。具体来说，采用的骨干网络如下：（1）Backbone-1：在ImageNet-21k-P上预训练的，由阿里巴巴MIIL提供。¹

结论与局限性

在这项工作中，我们通过引入创新解决方案解决了现有持续学习方法的三个关键局限性，显著提高了模型的鲁棒性、表示多样性和泛化能力。为了解决表示丰富性不足的问题，我们提出了SMS框架，利用多个预训练的ViT骨干网络来存储全面且语义强大的特征表示。这种方法有效地保留了关键的多源知识，减轻了常见的

CRediT作者贡献声明

罗明森：撰写——原始草稿、可视化、验证、软件、方法论、调查、数据 curate、概念化。刘启和：监督。叶飞：概念化。Adrian G. Bors：撰写——审稿与编辑、监督。孙静玲：监督、资源。

披露部分

本文中的所有学术内容，包括核心思想、研究设计、实验方法和结论推导，都是作者独立开发和完成的。GPT-5.3仅作为辅助工具用于提高语言表达的质量，并未参与任何实质性的学术研究。

利益冲突声明

作者声明他们没有已知的潜在财务利益或个人关系，这些利益或关系可能会影响本文中报告的工作。

罗明森|刘启和|叶飞|Adrian G. Bors|孙静玲|周世杰