通过动态可扩展的任务特定与通用表示实现持续学习

《Knowledge-Based Systems》:Continual learning via dynamic expandable task-specific and general representations

【字体: 大 中 小 】 时间:2026年08月30日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   - 一种新颖的双主干结构可提供通用和特定于任务的代表性信息。 - 一种新颖的CEA方法能够捕获所有已见任务之间的共享信息。 - 一种新颖的PBA方法能够促进新任务的学习。 - 一种新颖的COM鼓励模型捕获不同的语义信息。 **引言** 当代深度学习研究通常假设数据分布处于

  

- 一种新颖的双主干结构可提供通用和特定于任务的代表性信息。
- 一种新颖的CEA方法能够捕获所有已见任务之间的共享信息。
- 一种新颖的PBA方法能够促进新任务的学习。
- 一种新颖的COM鼓励模型捕获不同的语义信息。

**引言**

当代深度学习研究通常假设数据分布处于持续变化的状态,其高性能在很大程度上依赖于大量数据样本的可用性[1]。然而,许多实时和实际应用场景部署在动态变化的环境中,其中新的数据样本被逐步引入,而模型无法访问所有先前样本。这种学习范式被称为持续学习(CL)[2],已成为一个突出的研究领域,广泛应用于机器人和无人机训练等领域。灾难性遗忘是一个关键挑战,阻碍了在学习新任务时保留先前获得的重要知识。灾难性遗忘源于模型的训练机制,该机制会修改整体参数以适应新任务。

近年来,一些研究探索利用从预训练视觉Transformer(ViT)中提取的特征来增强持续学习性能[3],[4],[5]。这些方法大多在单一预训练ViT主干上构建新专家,该主干通常保持静态以保留先前获得的知识。虽然这类设计在保持稳定性方面有效,但在共享主干中同时编码通用可迁移语义和特定于任务的判别性信息可能会增加表示干扰的风险,尤其是在存在显著域偏移的多任务增量学习场景中。本文提出了一种新颖的动态扩展框架,采用了一种创新的双主干架构,包括通用主干和特定于任务的主干,旨在在专家创建过程中提供通用和特定于任务的表示信息。具体而言,每个新专家基于特定于任务的主干动态构建特征层,该层学习特定于任务的表示,并与从通用主干获得的表示融合,以生成增强表示。这种专家构建策略通过将表示优化分解为两个互补组成部分,提高了每个专家的表示学习能力。本文的重点是任务边界感知的动态扩展设置,即在训练期间可利用任务切换来触发专家创建和主干冻结。将该框架扩展到完全无边界的持续学习(即任务转换是渐进或未知的)仍是未来工作的重要方向。

针对持续学习中网络遗忘现象,许多研究提出了各种方法。值得注意的是,缓解网络遗忘的一种有效策略是基于记忆的方法,即管理和优化记忆缓冲区以选择性保留关键样本[6]。然而,这种方法需要精心设计记忆存储策略,且模型效果取决于可用的记忆容量。为应对这一挑战,一些研究探索了引入辅助正则化项,以抑制在学习新任务时模型参数的重大变化[7],[8],即基于正则化的方法。然而,该方法可能由于过度正则化问题而损害新任务的学习能力。此外,基于记忆和基于正则化的方法均不足以处理较长的任务序列,因为模型容量受到限制。动态扩展模型有效地解决了这一限制,它具备逐步扩展容量以适应新任务的能力[9],[10]。动态扩展模型的另一个优势在于,通过冻结所有先前获得的参数,能够在先前任务上保持最优性能。

此外,我们提出了协同专家对齐(CEA)策略,利用所有先前专家引导通用主干的优化,从而缓解网络遗忘并捕获所有先前任务之间的共享语义信息。具体而言,所提出的CEA复制并冻结通用主干作为辅助模型,以保留所有先前学习的表示信息。每个历史专家可以使用辅助模型和当前激活的通用主干分别产生先前学习的预测和当前预测。所提出的CEA通过采用距离度量来对齐先前学习的预测和当前预测。

此外,我们引入了一种新颖的概率基对齐(PBA)策略来增强特定于任务的主干,旨在促进新任务学习而不产生重大的负向知识迁移效应。具体而言,所提出的PBA的核心概念是使用概率距离来校准先前学习的表示和当前激活的表示。此外,我们提出了一种新颖的协同优化机制(COM),将通用主干和特定于任务的主干提取的表示概念化为概率分布,并促进表示随时间推移的独立性。这种方法鼓励通用主干和特定于任务的主干学习和捕获不同的知识,从而进一步增强模型性能。围绕持续学习进行了全面的实验,结果表明我们提出的方法在所有实验设置中均显著超越了现有基线。

本文的重点是任务边界感知的动态扩展设置,即在训练期间可利用任务切换来触发专家创建和主干冻结。这一假设对于受控部署场景是实用的,但也构成了一个重要限制:所提出的训练过程不是任务无关的,因为它需要明确的边界信号来确定何时扩展模型以及何时将新数据与当前激活的专家阶段关联。因此,当前框架并不直接适用于无边界持续学习环境[11],在这些环境中分布偏移是渐进的、模糊的或未知的。一个有前景的扩展是将当前可扩展架构与边界推理机制相结合,例如漂移检测、变化点估计或基于不确定性的新颖性信号,以实现自适应触发扩展,而不是依赖预言式的任务切换。然而,此类扩展并非易事,因为不准确的边界估计可能导致过早扩展、适应延迟或不正确的专家分配。因此,我们将所提出的方法定位为一种任务边界感知的持续学习框架,其具有任务无关的推理能力,而将完全任务无关的训练留作未来工作的重要方向。

本研究的主要贡献如下:

- 我们提出了一种新颖的双主干结构,在专家创建过程中提供通用和特定于任务的表示信息,从而提高每个专家的性能。
- 我们提出了一种新颖的CEA方法来优化通用主干,能够捕获所有已见任务之间的共享信息。
- 我们提出了一种新颖的PBA方法来优化特定于任务的主干的参数,促进新任务学习而不引起显著的负向知识迁移。
- 提出了一种新颖的COM来鼓励通用主干和特定于任务的主干捕获不同的语义信息,从而进一步增强模型性能。

**相关工作**

持续学习旨在开发能够从一系列任务序列中获取知识且不会遭受灾难性遗忘的模型。根据推理期间是否知道任务身份,现有的持续学习设置通常被分为类别增量学习(CIL)[12],[13],[14],即不提供任务标识符,以及任务增量学习(TIL)[15],[16],即在测试时提供任务标签。最近,多域任务增量学习……

**问题定义**

持续学习的特点是一种独特的训练范式,使模型能够依次从一系列任务中获取信息和知识。设$D_S^t = \{x_j, y_j\}_{j=1}^{n_S}$和$D_T^t = \{x_j, y_j\}_{j=1}^{n_T}$分别表示第$t$个训练集和测试集。在类别增量学习[11]的背景下,我们实施了一个数据集划分过程,根据类别信息将完整训练集$D_S^t$划分为$N$个不同任务$\{T_1, \ldots, T_N\}$:$\{D_S^{i,t} \mid D_S^{i,t} \in D_S^t, F_{task}(...)\}$

**实验设置与评估方法**

在本节中,我们介绍了用于验证持续学习框架的实验设置和评估方法。首先描述实验中考虑的数据集和持续学习场景。然后介绍用于比较的评估指标和基线方法。最后概述研究中使用的实现细节和超参数设置。

**标准数据集上的结果**

在本节中,我们在标准持续学习基准上评估了我们的方法,包括C10、C100、TIN和R-MNIST,并在任务增量学习和域增量学习设置下进行了评估。实验结果如表1所示。在所有评估的数据集中,所提出的方法均优于比较的基线。

在C10和C100上,我们的方法分别达到了99.34%和97.36%的平均准确率,超越了基于提示的方法,如DAP和DualPrompt。性能优势在……

**结论与局限性**

本文提出了一种新颖的持续学习框架,该框架将双主干架构与协同优化策略相结合,有效地平衡了知识保留与任务适应性。与固定主干和基于提示的方法相比,我们的方法动态地将表示学习分解为通用主干和特定于任务的主干。这种设计使模型能够在提取可迁移语义知识的同时保持……

**CRediT作者贡献声明**

刘其合:方法论、调研。钟永成:撰写——初稿、软件。叶飞:撰写——审阅与编辑、资金获取。Adrian G. Bors:资源、项目管理。孙景玲:软件、资源。胡荣耀:数据管理、概念化。周世杰:项目管理、资金获取。

**利益冲突声明**

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:叶飞报告称电子科技大学提供了管理支持。叶飞报告称与电子科技大学存在雇佣关系。如有其他作者,他们声明没有已知的可能产生利益冲突的财务利益或个人关系。

刘其合 | 钟永成 | 叶飞 | Adrian G. Bors | 孙景玲 | 胡荣耀 | 周世杰
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号