Uni-DTR:一个统一的框架,用于在无示例的类增量学习中平衡知识保留与适应性

《Neurocomputing》:Uni-DTR: A unified framework for balancing knowledge preservation and adaptation in exemplar-free class-incremental learning

【字体: 大 中 小 】 时间:2026年04月21日 来源:Neurocomputing 6.5

编辑推荐:

  类增量学习中的Uni-DTR框架通过双层次知识蒸馏和原型分类器校准,有效缓解灾难性遗忘与分类器偏差,在CIFAR-100和Tiny-ImageNet上平均精度达65.7%/56.0%,遗忘率低于基线方法。

  
陈欣|王卓伟
广东工业大学计算机科学学院,外环路100号,高等教育综合中心,广州,510006,广东,中国

章节摘录

相关工作

类增量学习(CIL)要求模型在保留先前知识的同时依次识别新类别[29]、[30]。现有方法可分为三类:基于正则化的方法、基于重放的方法以及无样本的方法[14]、[16]、[31]。
基于正则化的方法通过约束参数更新来保留先前的知识。EWC [25] 通过费希尔信息对重要参数的变化进行惩罚。LwF [26] 和 LwM [32] 采用知识蒸馏技术

概述

我们提出了 Uni-DTR,这是一个统一的无样本类增量学习框架,通过两个集成组件解决了灾难性遗忘和分类器偏差问题。如图2所示,该框架包括:(1)双层次知识蒸馏,它在连贯的理论基础上结合了对数几率层和特征层的约束来保留已获取的知识;(2)原型分类器校准,用于估计旧类别的特征分布

数据集

我们在两个广泛使用的CIL基准数据集上评估了我们的方法。CIFAR-100 [50] 包含50,000张训练图像和10,000张测试图像,分辨率为,涵盖100个类别。Tiny-ImageNet [51] 是 ImageNet 的一个子集,包含100,000张训练图像和10,000张测试图像,分辨率为,涵盖200个类别。按照标准的CIL协议,模型首先在初始的类别子集上进行训练,然后逐步引入剩余的类别。我们采用了10任务和20任务的配置进行实验

讨论

表1显示,Uni-DTR在CIFAR-100和Tiny-ImageNet上的表现具有竞争力,平均准确率分别为65.7%/65.3%(10/20任务)和56.0%/52.7%,优于所有基线方法。CIFAR-100上的遗忘率为6.0%/8.4%,Tiny-ImageNet上的遗忘率为6.2%/10.6%,远低于其他竞争方法,这表明双层次知识蒸馏能够保留学习到的表示,而原型分类器校准则有助于减轻分类器偏差

结论

本研究提出了Uni-DTR,这是一个统一的无样本框架,能够在不存储历史样本的情况下解决类增量学习中的灾难性遗忘、损失冗余和任务不平衡问题。通过结合双层次知识蒸馏和原型分类器校准,该方法在多个优化目标上取得了平衡,同时保持了学习阶段之间的语义一致性。在CIFAR-100和Tiny-ImageNet上的实验表明其表现具有竞争力

CRediT作者贡献声明

陈欣:撰写——审稿与编辑,撰写——初稿。王卓伟:可视化处理,验证。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的工作。
陈欣目前正在广东工业大学计算机科学与技术学院攻读博士学位。他的研究兴趣包括类增量学习和计算机视觉,重点关注视觉识别任务中的持续学习。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号