基于最优加权最大均值差异优化框架的连续学习动态表示学习方法

《Knowledge-Based Systems》:Learning Dynamic Representations via An Optimally-Weighted Maximum Mean Discrepancy Optimization Framework for Continual Learning

【字体: 大 中 小 】 时间:2026年02月02日 来源:Knowledge-Based Systems 8.0

编辑推荐:

  黄凯辉|吴润清|盛金辉|张汉毅|葛凌|郭金宇|叶飞 中国电子科技大学信息与软件工程学院,中国 摘要 持续学习已成为研究领域的重点,其主要优势在于能够让模型持续获取并保留信息。然而,灾难性遗忘会严重影响模型性能。在本研究中,我们通过引入一种名为“最优加权最大均值差异”(OWMMD

  黄凯辉|吴润清|盛金辉|张汉毅|葛凌|郭金宇|叶飞 中国电子科技大学信息与软件工程学院,中国

摘要
持续学习已成为研究领域的重点,其主要优势在于能够让模型持续获取并保留信息。然而,灾难性遗忘会严重影响模型性能。在本研究中,我们通过引入一种名为“最优加权最大均值差异”(OWMMD)的新框架来解决网络遗忘问题,该框架通过多级特征匹配机制对表示层的改变施加惩罚。此外,我们还提出了一种自适应正则化优化策略(ARO),用于优化自适应权重向量,该策略能在优化过程中自动评估各特征层的重要性。所提出的ARO方法能够缓解过度正则化问题,促进未来任务的学习。我们进行了大量实验,将所提方法与多种现有基准方法进行对比。实验结果表明,我们的方法取得了最先进的性能。

引言
持续学习旨在让模型能够从不断涌入的数据中吸收知识,新任务以序列形式呈现[1]、[2]、[3]、[4]、[5]。持续学习面临的主要障碍是灾难性遗忘现象[6]、[7]、[8]、[9]、[10],即模型在适应新任务时丢失了之前学到的知识。在每个任务对应的数据量有限且无法重新访问早期数据的情境下,这一问题更为严重[11]。为解决灾难性遗忘问题,人们提出了多种方法[12]、[13],包括基于复现的技术、正则化策略以及架构创新。

近期研究提出了多种方法来应对持续学习中的网络遗忘问题,这些方法可分为三类:基于记忆的方法[14]、[15]、[16]、基于动态扩展的方法[17]、[18]以及基于正则化的方法[19]、[20]。其中,基于复现的策略是一种简单而有效的缓解网络遗忘的方法,它通过保留一部分历史数据来实现这一目标。这些存储的样本会在学习新任务时被重新利用,并与新数据结合以优化模型[21]、[22]。不过,基于复现的方法的效果在很大程度上取决于所保留样本的质量。基于正则化的技术[23]、[24]则通过在目标函数中加入额外的正则化项,来防止模型关键参数发生显著变化。尽管如此,基于正则化的方法主要侧重于权重保持,可能难以应对现实世界中数据的多样性和变化性。最近的进展提出了使用动态扩展模型来解决持续学习中的网络遗忘问题[5]。这类方法会动态生成新的子网络和隐藏层,以便随着时间推移吸收新信息,同时保留所有先前训练的参数,从而确保在早期任务上保持最佳性能。不过,动态扩展模型的一个明显局限性是,随着任务数量的增加,模型的复杂性也会上升。

持续学习的最新研究越来越重视基于知识蒸馏的方法[25]、[26]、[27],其基本原理是将先前训练好的模型的知识转移到当前正在处理的任务上的模型中。在这种架构中,知识蒸馏框架通常包括一个在先前任务上训练完成后被冻结的教师模块,以及一个在当前任务上持续训练的学生模块。还会加入正则化项,以最小化教师模块和学生模块输出之间的差异,从而调节模型的优化过程,降低灾难性遗忘的风险。知识蒸馏方法的有效性在于,它们无需保留任何记忆样本就能维持在早期任务上的性能,因此成为解决持续学习难题的重要策略。不过,知识蒸馏方法的一个显著局限性是,它们可能会影响模型学习新任务的能力,从而导致过度正则化问题。

在本文中,我们通过提出一种名为“最优加权最大均值差异”(OWMMD)的创新框架来解决持续学习中的网络遗忘问题。该框架旨在通过基于概率的距离度量来减轻表示层的偏移。具体而言,我们提出了一种新的多级特征匹配机制(MLFMM),用于在模型优化过程中最小化先前学习到的表示与当前学习到的表示之间的距离,从而有效解决网络遗忘问题。与传统专注于对齐最终输出的知识蒸馏技术不同,MLFMM会对所有多级特征层的表示变化施加惩罚,进而进一步缓解网络遗忘问题。为了解决过度正则化问题,OWMMD还引入了一种新的自适应正则化优化策略(ARO),该策略能在模型优化过程中自动评估各特征层的重要性,从而在防止网络遗忘的同时促进未来任务的学习。我们进行了大量实验,并将所提方法与多种现有基准方法进行对比。实验结果表明,我们的方法取得了最先进的性能。

我们的主要贡献如下:
1. 我们提出了一种名为“最优加权最大均值差异”(OWMMD)的框架,旨在解决持续学习中的灾难性遗忘问题。该框架利用多级特征匹配机制对不同任务中特征表示的修改施加惩罚。
2. 为了解决MLFMM导致的过度正则化问题,我们提出在计算正则化损失项时评估各特征层的重要性,我们将这种方法称为自适应正则化优化(ARO)。该方法能够对重要特征层上的显著变化施加惩罚,同时促使其他特征层适应新任务。
3. 我们进行了大量实验,将所提方法与多种公认的持续学习基准方法进行对比。实验结果表明,我们的方法取得了最先进的性能,不仅成功解决了遗忘问题,还保持了较高的准确率。

本文的后续结构如下:第2章概述了持续学习领域的相关工作,对现有方法的优缺点进行了批判性分析。第3章介绍了所提出的OWMMD框架及自适应正则化优化组件。第4章详细说明了实验设计及结果,展示了所提方法在多个持续学习基准测试中的有效性。最后,第5章总结了研究结果,并提出了未来研究的方向。

相关工作
为解决灾难性遗忘问题,人们提出了多种方法,这些方法通常可归为基于复现的技术、知识蒸馏、基于正则化的方法以及基于架构的方法等。我们在表1中总结了许多重要的基准方法。基于复现的方法会存储一小部分过去的数据,通常称为情景记忆,在训练新任务时会重新使用这些数据,以此保留先前任务的知识[14]、[15]、[16]。

问题定义
本文中使用的数学符号说明见表2。在持续学习中,模型无法同时访问完整的训练数据集,而是从不断变化的数据流中获取知识。持续学习中的一个常见场景是类增量学习,它包含一系列N个任务{T1,T2,?,TN}。每个任务Ti都对应一个带标签的训练数据集Dis={(xji,yji)|j=1,?,Nis},其中xji?X且yji?Y表示……

理论框架
在本节中,我们基于领域适应理论[64]构建了一个新的理论框架,用于分析我们所提出的方法。首先,我们介绍后续分析所需的关键符号和定义。

定义1
设PZij和PZi+1j分别为教师模型和学生模型的第j个表示层生成的特征向量Zij和Zi+1j的分布。设h∈H表示线性分类器,H则表示分类器的空间。

定义2
设PZi1:K

实验设置
我们在两种主要场景下评估所提方法的有效性:任务增量学习(Task-IL)和类增量学习(Class-IL)[65]。在任务增量学习场景中,每个训练任务都有独立的标签空间。这意味着模型针对每个任务学习不同的类别,从而能够专注于与当前任务标签集相关的特征。在评估时,模型会接收到与当前任务对应的标签空间。

结论与未来工作
在本文中,我们提出了一种名为“最优加权最大均值差异”(OWMMD)的创新框架,用于解决持续学习中的灾难性遗忘问题。具体而言,该框架通过引入多级特征匹配机制来对表示层的变化施加惩罚,从而缓解网络遗忘问题。该技术利用神经网络的各级结构,确保先前任务和当前任务的特征表示之间的一致性。

未标注引用
缺少引用,见图6。

CRediT作者贡献声明
黄凯辉:写作——审阅与编辑、可视化、验证、软件、方法论、形式分析、概念构思。吴润清:写作——审阅与编辑、软件。盛金辉:写作——审阅与编辑、软件、资源。张汉毅:写作——审阅与编辑。葛凌:写作——审阅与编辑。郭金宇:验证、软件、项目管理。叶飞:写作——审阅与编辑、方法论。

利益冲突声明
作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号