今日动态 返回首页
会员注册 登录 生物通快讯免费订阅
  • 首页 今日动态 人才市场 新技术专栏 中国科学人 云展台
    BioHot
    • 定制我的BioHot
    • 进入我的BioHot
    • 进入我的集采
    • 肿瘤癌症研究
    • 免疫/基因/细胞疗法
    • 神经生物学
    • 健康与疾病
    • 衰老机制与长寿
    • 单细胞技术
    • 基因编辑-CRISPR
    • RNA研究
    • 肠道菌与人体微生态
    • 细胞代谢
    • AI生物信息学
    • COVID
    云讲堂直播 会展中心 特价专栏 技术快讯 免费试用

  • 生物通官微
    陪你抓住生命科技
    跳动的脉搏

生物通首页  >  今日动态  >  正文

解决渐进式学习中的灾难性遗忘问题——一项综述

《ARTIFICIAL INTELLIGENCE REVIEW》:Addressing catastrophic forgetting in class-incremental learning—a survey

【字体: 大 中 小 】 时间:2026年05月15日 来源:ARTIFICIAL INTELLIGENCE REVIEW 13.9

编辑推荐:

  摘要类增量学习(Class-Incremental Learning,简称CIL)使模型能够在不遗忘先前获得知识的情况下随时间学习新类别——这一过程常常受到“灾难性遗忘”(Catastrophic Forgetting,简称CF)的阻碍。本文全面而系统地概述了CIL的研究领域,首

  

摘要

类增量学习(Class-Incremental Learning,简称CIL)使模型能够在不遗忘先前获得知识的情况下随时间学习新类别——这一过程常常受到“灾难性遗忘”(Catastrophic Forgetting,简称CF)的阻碍。本文全面而系统地概述了CIL的研究领域,首先详细探讨了其核心变体:任务增量学习、领域增量学习和类增量学习,并阐释了CIL如何在增量学习的更大框架中发挥作用,明确了这些变体之间的相互关系及其共同面临的挑战。这种视角为理解不同形式的增量学习与持续学习目标之间的联系提供了统一的概念基础。接下来,本文深入分析了CF现象,包括其正式定义、潜在机制和评估方法。本文的一个核心贡献是提出了一个完善的CIL方法分类体系,涵盖了基于重放(replay-based)、基于正则化(regularization-based)、参数隔离(parameter-isolation)、混合(hybrid)以及基于大型语言模型(Large Language Model,LLM)的方法。每个类别都从方法变体、应用场景、权衡因素以及新兴趋势等方面进行了分析。定量和定性的比较揭示了这些方法在可扩展性、可解释性以及适应不同领域能力方面的差异。我们还指出了现有的挑战,包括对最新类别的偏好、记忆和计算资源的限制,以及在持续适应过程中需要更强的理论一致性。展望未来,我们提出了若干具体的研究方向,例如改进自监督和生成式重放机制、基于注意力的变换器(attention-based transformers)以及神经符号一体化(neuro-symbolic integrations)等。这些方向为重新思考和提升类增量学习中的表征稳定性、效率及泛化能力提供了富有前景的长期路径。

类增量学习(Class-Incremental Learning,简称CIL)使模型能够在不遗忘先前获得知识的情况下随时间学习新类别——这一过程常常受到“灾难性遗忘”(Catastrophic Forgetting,简称CF)的阻碍。本文全面而系统地概述了CIL的研究领域,首先详细探讨了其核心变体:任务增量学习、领域增量学习和类增量学习,并阐释了CIL如何在增量学习的更大框架中发挥作用,明确了这些变体之间的相互关系及其共同面临的挑战。这种视角为理解不同形式的增量学习与持续学习目标之间的联系提供了统一的概念基础。接下来,本文深入分析了CF现象,包括其正式定义、潜在机制和评估方法。本文的一个核心贡献是提出了一个完善的CIL方法分类体系,涵盖了基于重放(replay-based)、基于正则化(regularization-based)、参数隔离(parameter-isolation)、混合(hybrid)以及基于大型语言模型(Large Language Model,LLM)的方法。每个类别都从方法变体、应用场景、权衡因素以及新兴趋势等方面进行了分析。定量和定性的比较揭示了这些方法在可扩展性、可解释性以及适应不同领域能力方面的差异。我们还指出了现有的挑战,包括对最新类别的偏好、记忆和计算资源的限制,以及在持续适应过程中需要更强的理论一致性。展望未来,我们提出了若干具体的研究方向,例如改进自监督和生成式重放机制、基于注意力的变换器(attention-based transformers)以及神经符号一体化(neuro-symbolic integrations)等。这些方向为重新思考和提升类增量学习中的表征稳定性、效率及泛化能力提供了富有前景的长期路径。

相关新闻
生物通微信公众号
生物通新浪微博
微信
新浪微博
我要投稿
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热搜:类增量学习|灾难性遗忘|任务增量学习|领域增量学习|方法分类体系|神经符号一体化

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号