综述:持续学习的进展:全面综述

【字体: 时间:2025年07月01日 来源:Expert Systems with Applications 7.5

编辑推荐:

  这篇综述系统梳理了持续学习(Continual Learning, CL)在机器学习(ML)领域的研究进展,聚焦视觉任务中缓解灾难性遗忘(CF)的核心挑战。文章提出五类方法分类框架(包括基于正则化、回放、参数隔离及新增的Lie群与动态模糊方法),总结数据集与评估指标,并展望了不确定性建模、模糊表示等未来方向。

  

持续学习的挑战与突破

Abstract
持续学习(CL)作为机器学习的重要范式,致力于解决模型在非平稳数据流中持续学习时面临的灾难性遗忘(CF)问题。本文以视觉任务为核心,系统梳理了CL的定义、典型场景(如类增量学习),并对比了元学习、迁移学习等相关范式。创新性提出五类方法分类框架,为领域研究提供结构化视角。

Introduction
人类学习具有持续整合新旧知识的能力(如儿童通过少量图像识别大象),而传统机器学习依赖独立同分布(IID)假设,难以适应动态环境。CL的核心挑战在于平衡知识保留(如自行车→摩托车技能迁移)与新任务适应,其应用覆盖自动驾驶、健康监测等生命科学场景。

Classical algorithm of continual learning

  • EWC(弹性权重固化):通过Fisher信息矩阵正则化关键参数,保护旧任务权重。
  • FearNet:模仿海马体-新皮层记忆机制,采用双网络结构实现经验回放。
  • DEN(动态扩展网络):动态添加神经元以适应新任务,避免参数覆盖。

Continual learning method
表2归纳的五类方法中:

  1. 正则化类(如LwF):通过知识蒸馏保留旧任务输出特征。
  2. 回放类(如iCaRL):存储旧任务样本缓解分布偏移。
  3. 参数隔离类(如PackNet):掩码机制隔离任务专属参数。
  4. Lie群方法:利用流形结构保持特征空间拓扑连续性。
  5. 动态模糊方法:处理非确定性数据(如医学影像中的病灶变异)。

Experimental setup
常用数据集涵盖MNIST变体(如Split-CIFAR)、CORe50等,评估指标包括平均准确率(ACCavg)与逆向迁移(BWT)。标准化基准的缺乏仍是领域瓶颈。

Conclusion
未来方向聚焦三大前沿:

  1. 不确定性建模:量化模型预测置信度(如贝叶斯神经网络)。
  2. 模糊表示:处理医学数据中的边界模糊性(如病理分级)。
  3. 流形学习:探索神经表征的几何结构(如脑电信号的低维嵌入)。

作者贡献
姜梦娟负责文献分析与初稿撰写,范家庆指导方法论,李范张统筹项目。全文未声明利益冲突。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号