CD-IMM：一种用于持续学习的贝叶斯非参数分类器

《Neurocomputing》：CD-IMM: A Bayesian non-parametric classifier for continual learning

　　摘要：持续学习是指模型能够从非静态数据中逐步学习的能力。贝叶斯持续学习方法因其通过在线后验更新自然支持持续学习而越来越受欢迎。然而，许多此类方法依赖于对数据漂移的强假设，这限制了它们在现实世界数据流中的适用性。在本文中，我们首先基于混合模型定义了一个持续学习框架，以凸显现有贝叶斯持续学习方法的局限性。然后，我们提出了类-域无限混合模型（CD-IMM），这是一种非参数贝叶斯方法，能够随着时间推移动态适应日益复杂的数据。我们在涉及类别重复和新领域的混合类-域持续学习场景中评估了CD-IMM，并将其与基于预训练模型的持续学习基线方法进行了比较。实验结果表明，CD-IMM的性能优于强大的贝叶斯持续学习方法。

引言：持续学习是指从非静态数据流中学习的能力。在许多受概念漂移影响的现实世界系统以及需要随时间收集数据的场景中，持续学习至关重要[1]。持续学习的核心挑战是稳定性与可塑性的权衡：在保持现有知识的同时，仍能适应新数据[2]。近期研究认为，生成模型可能比判别模型更为稳健[3]、[4]、[5]。在生成模型中，我们关注混合模型，因为它们能够将数据分布分解为多个较小分布的混合体。这样的混合结构有助于保留与新数据无关的成分，并通过评估新观测值的概率来检测漂移，从而在需要时创建新的成分。然而，常见的方法往往依赖类别标签[3]、[5]或假设强烈的时间一致性[4]来检测漂移（见第3节）——这些策略在混合类-域场景中可能会导致性能大幅下降。例如，在物体检测中，假设一个物体（或其外观特征，如颜色）永远不会再次出现是不现实的，而这正是类别增量或领域增量设置所要求的（见图1、图2）。

在本文中，我们首先引入一个基于混合模型的持续学习框架，用于分析在混合类-域持续学习场景中，基于类别和时间的方法的局限性，这类场景中新的领域会不断出现，而之前出现的类别也会再次出现。然后，为了解决这些局限性，我们提出了类-域无限混合模型（CD-IMM），这是一种基于领域的生成模型，旨在更有效地应对类别重复和领域变化。CD-IMM建立在狄利克雷过程混合模型（DPMM）之上，这是一种非参数框架，能够根据需要引入新簇来适应数据的复杂性。该方法具有通用性，适用于在线[6]、无任务[7]或无监督[8]场景。此外，CD-IMM发现的簇往往更贴近数据分布中的自然结构。首先，我们在三个不同的基准测试上将所提出的方法与贝叶斯方法进行对比。我们提出了增量月亮基准测试，这是一个基于流行的月亮数据集设计的简单领域增量场景，旨在展示贝叶斯非参数分类器的优势及其对领域漂移的稳健性。接着，我们使用了两个包含类别重复的不同图像分类基准测试：字母万国语，其中每个字符的类别目标就是其所在字母表；以及CIFAR100-超类。这两个数据集都提供了自然的簇（万国语中的字符，CIFAR100中的类别），我们用它们来验证CD-IMM学到的簇是否与自然簇相对应。第二组实验将CD-IMM与其他基于预训练特征提取器的持续学习方法进行了比较。我们在类别增量的CIFAR100以及更具挑战性的INaturalist上进行测试。在这两种场景中，CD-IMM都展现了最先进的性能。总体而言，实验结果证实了我们的假设，即CD-IMM是处理具有类别和领域重复的自然持续学习流的更好解决方案，同时也凸显了基于更严格假设的其他贝叶斯持续学习方法的局限性。用于复现实验的源代码已公开提供。本工作是[9]的扩展版本。具体来说，它在两个关键方面建立了在前人研究的基础之上：（1）引入了一种基于混合模型建模持续学习的新框架；（2）对新的混合类-域持续学习场景进行了更全面的实验评估；（3）引入并试验了CD-IMM协方差矩阵的不同参数化方式。

背景部分：在本节中，我们简要介绍本文其余部分所使用的背景知识。为简化符号表示，我们使用符号来表示数据样本。由于我们关注的是分类任务，它代表了一对：表示输入特征向量，而表示分配给它的类别。

持续学习的混合模型框架：我们提出了一种基于以下理念的持续学习新框架：不应将每个任务的分布视为独立的，而应将其视为固定全局数据分布的划分或受限视图。因此，随着学习者在连续的训练步骤中观察到这个全局分布的不同子集，持续学习便产生了。我们的框架建立在van de Ven等人提出的持续学习的广义公式之上。

类-域无限混合模型（CD-IMM）：我们提案的主要创新在于明确考虑了数据生成过程中的领域因素。因此，我们假设每个类别由子群（即领域）组成，我们通过离散潜变量来对它们进行建模。我们使用下标来强调不同类别具有不同的领域；表示该类别中的领域数量。该生成模型可以详细表述为：由此我们可以推导出联合分布的近似形式为：在上述公式中，我们假设

实验评估：我们的假设是，基于领域的混合模型是处理具有类别和领域重复的混合类-域数据流的更好解决方案。因此，我们想要验证以下假设：•简单的基于类别的混合模型（如深度SLDA）难以建模复杂的多领域分布。CD-IMM通过允许按需扩展架构的两级混合模型解决了这一问题。•复杂的基于类别的混合模型（类VAE）则更难以训练。

结论：在本文中，我们认为当前用于持续学习模型的混合模型设计依赖于在一些流行场景中有效的强假设，比如类别增量基准测试。通过构建一个描述自然领域和类别漂移随时间共同发生的持续学习模型，我们表明几种贝叶斯持续学习方法难以处理基本形式的领域变化。为了解决这些局限性，我们引入了CD-IMM，这是一种分层贝叶斯模型。

CRediT作者贡献声明：Daniele Castellana：写作——审稿与编辑，写作——初稿，软件，方法论，概念构思。Antonio Carta：写作——审稿与编辑，写作——初稿，软件，方法论，概念构思。

利益冲突声明：作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。Antonio Carta是比萨大学计算机科学系的助理教授。他是比萨大学CNR普及人工智能实验室以及比萨大学计算智能与机器学习小组的成员。他拥有比萨大学的计算机科学博士学位，研究方向为循环神经网络和短期记忆优化问题。他近期的研究集中在持续学习领域，包括多智能体持续学习。

Daniele Castellana|Antonio Carta
意大利佛罗伦萨大学，Morgagni大道65号，佛罗伦萨，50121