动态集群内存系统

《Expert Systems with Applications》：Dynamic Cluster Memory System

　　

摘要持续学习已成为机器学习领域的一个重要方向，它使模型能够在保持先前习得的表征的同时，逐步吸收新的信息。尽管现有的大部分研究强调有监督学习框架，但这些方法在真实场景中表现出的泛化能力有限，因为在这些场景中标注数据稀缺或根本不可用。在本工作中，我们提出了动态聚类记忆系统（DCMS），这是一种创新架构，旨在通过动态生成适应数据分布变化的记忆聚类，来促进有监督和无监督的持续学习。为提升DCMS的可扩展性，我们引入了一个记忆扩展协议，该协议量化了传入数据流与已存储范例之间的表征差距，并利用该指标触发自适应的记忆增强。此外，我们提出了一种样本选择策略，该策略审慎地将新实例分配到相关的记忆聚类中，从而促进聚类间的知识异质性，同时捕获语义显著特征。为解决记忆饱和问题，我们实现了一种剪枝算法，通过基于图的关系分析系统性地消除冗余聚类，确保在受限的记忆预算内保留多样数据。DCMS框架本质上与模型无关，能够无缝集成到有监督和无监督学习流程中。全面的实验评估表明，所提出的记忆优化范式在一系列持续学习基准上取得了最先进的结果。引言现代深度学习方法在广泛的应用中取得了显著的性能提升。其有效性依赖于大量数据集的存在以及用于从这些数据集学习的可观计算资源。然而，在许多实际应用中，模型通常仅使用有限的训练样本运行，且先前数据无法访问。这种学习范式称为持续学习（CL），在深度学习研究中已备受关注。当使用新数据重新训练模型时，其参数会被重写，模型无法回忆之前学到的内容，这被称为灾难性遗忘。当模型需要吸收一系列任务时，灾难性遗忘会导致性能严重下降，其中每个任务都与学习不同数据相关联。关于持续学习的众多研究引入了各种方法来缓解灾难性遗忘，这些方法可分为三种主要范式：记忆回放、基于正则化的技术和动态网络架构。记忆回放方法通常利用固定容量的记忆缓冲区来存储关键的过去样本，随后在传入样本和记忆样本上重新训练模型。基于正则化的方法通常将惩罚项纳入主要目标函数，从而在优化过程中调节参数更新。这种策略可以与基于记忆的方法相结合，以增强持续学习性能。然而，正则化方法和基于记忆的方法都受到固定模型容量的限制，这限制了它们在学习长任务序列时的效果。为此，动态扩展方法通过增量添加新的子网络来增强模型适应新任务的能力，这可能在学习长任务序列时产生更优的性能。尽管现有的持续学习方法表现出令人鼓舞的性能，但它们需要访问任务信息来进行记忆或架构扩展。因此，这些方法不足以应对无任务持续学习（TFCL），后者代表了一种更具挑战性的学习场景，在这种场景中模型在训练和测试期间无法访问任何任务边界和信息。近期的基于记忆的方法通过引入新的样本选择技术来解决TFCL问题，以便在不需要考虑任何任务信息的情况下保留关键的过去样本。然而，这些方法仍然需要访问类别标签，限制了它们在无监督学习应用中的实用性。具体而言，作为无监督学习中一项关键应用，图像合成在TFCL场景下仍未得到充分探索。在TFCL框架下研究图像合成具有显著优势：（1）它使能够在线执行多种图像应用，如图像生成和编辑；（2）它使能够理解图像生成系统的遗忘行为。然而，在TFCL场景下，现有的持续学习方法无法应用于图像合成，因为有监督信号不可用。在本文中，我们旨在通过在TFCL中提出一种名为动态聚类记忆系统（DCMS）的新方法，同时实现图像合成和分类任务，该方法从与其他持续学习方法完全不同的角度出发进行设计。具体而言，与大多数基于记忆的持续学习方法将关键样本保存到单一记忆缓冲区不同，我们将记忆系统组织成若干个不同的记忆聚类，每个聚类旨在保留对应于独特底层数据分布的信息，如图1所示。为实现这一目标，我们提出了一种新颖的动态记忆优化（DMO），该方法计算每个记忆聚类的原型，并利用这些聚类原型评估记忆聚类之间的距离。当传入样本与记忆样本包含完全不同的语义信息时，DMO会动态构建新的记忆聚类来存储新信息。这种方法管理着一个紧凑的记忆架构。为促使每个记忆聚类捕获独特的底层数据分布，我们提出了一种新颖的样本选择方法，该方法评估每个传入样本与每个记忆聚类原型之间的距离，然后决定何时将新数据存储到相关的记忆聚类中。所提出的样本选择方法使得在固定记忆容量内保留多样的语义信息成为可能。在许多实际应用中，诸如DCMS等持续学习模型被部署在资源受限的设备上，例如使用现场可编程门阵列（FPGA）的设备。在这类学习场景中，所提出的DCMS将面临内存过载问题，由于容量限制而错过新的数据样本。为解决这一问题，我们提出了一种新颖的记忆剪枝流程（MPP），当所提出的DCMS过载时，自动移除非必要的样本数据。具体而言，MPP构建并评估一个图关系矩阵，旨在找到一对表示重叠信息的记忆聚类，然后通过多样性评估机制移除其中之一。这种方法可以维持DCMS的固定容量，并使其能够随时间增量保存新信息。为在TFCL中实现图像合成，我们采用所提出的DCMS来优化去噪扩散概率模型（DDPM）以进行持续图像生成。本文的主要贡献总结如下：我们提出了一种新颖的动态聚类记忆系统（DCMS），用于学习分类和图像生成的TFCL任务，该系统能够在不需要任何有监督信号的情况下增量保留多样信息。DCMS可应用于有监督和无监督学习。我们提出了一种新颖的记忆优化机制，通过评估传入数据的新颖性，为DCMS增量创建和添加新的记忆聚类。该方法可以适当地扩展记忆缓冲区，从而确保紧凑的记忆结构。本文引入了一种新的样本选择方法，该方法评估传入样本与每个记忆聚类之间的知识相似度，并使用该度量来选择性地将新数据存储到适当的记忆聚类中。因此，在所提出的框架中进一步提高了知识多样性。为在无尽的数据流中捕获新信息，我们引入了一种新的记忆剪枝方法，该方法评估图关系矩阵以查找和选择知识重叠的记忆聚类，然后移除携带冗余信息的聚类。所提出的DCMS使得在TFCL场景下能够使用DDPM进行持续图像生成，并取得了显著的性能提升。持续学习片段终身/持续学习（CL）相比传统深度学习呈现出更复杂的训练挑战。特别是，持续学习中先验数据样本的缺失要求使用固定大小的记忆系统来保留关键的过去样本以进行记忆回放。基于记忆方法中的样本选择对于模型性能至关重要，其目标是策略性地存储重要的数据样本。预备知识问题定义。持续学习定义了一种具有挑战性的训练范式，在该范式中，模型必须在新的数据样本上进行更新，且无法访问所有先前见过的样本。在持续学习场景下，训练数据集DcS={xj,yj}j=1nt（第c个数据集）根据类别信息被拆分为C个部分DcS={Dc,1S,?,Dc,CS}，其中xj∈X，yj∈Y分别表示第j个图像及其关联的类别标签，覆盖数据样本空间X和类别空间Y。所提出记忆系统的概率分析尽管近期一些持续学习方法在各种应用中显示出了良好的结果，但缺乏对其潜在性能提升的全面理论分析。在本节中，我们通过构建一种创新的理论结构来解决这一缺陷，以严格检验生成模型在TFCL下的性能动态。具体而言，证据下界（ELBO）是深度生成架构中的基本目标函数。实验设置基线与超参数。根据参考文献中无监督学习框架的设置，我们考虑了几个基线来比较所提方法的性能，包括CGKD-WAE和CGKD-GAN，其中"WAE"表示我们使用Wasserstein自编码器实现CGKD框架的每个组件，终身师生模型（LTS），持续神经狄利克雷过程混合模型（CNDPM），增量分类器与表征学习（iCaRL）。结论与局限性在本研究工作中，我们提出了一种新颖的方法，使用一种动态聚类信息管理系统的动态聚类记忆系统（DCMS）来应对无任务持续学习（TFCL）中的灾难性遗忘问题。该架构增量地组织和优化一系列记忆聚类，每个聚类都旨在封装和保留独特的数据分布。我们引入了一种动态记忆扩展协议，该协议将质心样本指定为代表性样本。作者声明对于动态聚类记忆系统，Fei Ye负责实验、结果解释与分析以及撰写论文初稿。Adrian G. Bors负责项目监督以及撰写论文终稿。利益冲突声明作者声明不存在可能影响本文工作的已知竞争性经济利益或个人关系。Fei Ye | Adrian G. Bors