
-
生物通官微
陪你抓住生命科技
跳动的脉搏
OpenCIL基准:类增量学习中的分布外检测评估与双向能量正则化突破
【字体: 大 中 小 】 时间:2025年07月22日 来源:Pattern Recognition 7.5
编辑推荐:
【编辑推荐】为解决类增量学习(CIL)模型在开放环境中识别分布外(OOD)样本的难题,研究人员构建首个系统性基准OpenCIL,提出双向能量正则化(BER)方法。通过评估5种CIL模型与19种OOD检测器的组合性能,发现动态学习导致的OOD样本和新类偏差问题,BER通过双向能量调控显著提升检测能力,为开放环境下的安全部署提供新范式。
在人工智能安全领域,类增量学习(Class Incremental Learning, CIL)技术正面临开放环境的严峻挑战。当深度神经网络在无人机轨迹识别、医疗影像分析等场景中持续学习新类别时,如何准确识别从未见过的异常样本(即分布外样本,Out-of-Distribution, OOD)成为关键安全瓶颈。现有研究存在两大困境:一方面,传统OOD检测方法假设静态环境,无法应对持续新增类别的动态场景;另一方面,CIL模型在增量学习过程中会产生对旧类别的灾难性遗忘(Catastrophic Forgetting, CF),同时对新类别和OOD样本产生系统性偏差,这种双重偏差随着学习步骤增加不断放大。
针对这一前沿问题,北京航空航天大学计算机学院的研究团队在《Pattern Recognition》发表了开创性研究。团队构建了首个系统性基准OpenCIL,通过统一评估框架揭示:当标准CIL模型(如iCaRL、LUCIR等)结合19种典型OOD检测器时,模型对OOD样本的误判率会随增量步骤呈指数级增长,在CIFAR-100等数据集上最高可达78.6%的误接受率。更严峻的是,模型会同时产生"向后偏差"(将OOD样本误判为旧类)和"向前偏差"(将OOD样本误判为新类)的双重错误模式。
研究采用两大关键技术方法:1) 建立包含5种CIL模型与19种OOD检测器的组合评估框架,在CIFAR-100、ImageNet-100等数据集上构建6类近/远OOD测试集;2) 提出双向能量正则化(Bi-directional Energy Regularization, BER)方法,通过同步约束新旧类别的能量分布边界,实现动态环境下的稳定OOD检测。实验采用能量分数(Energy Score)和AUROC等指标进行量化评估。
【Equipping CIL models with OOD Detection Capability】章节揭示,现有OOD检测器在CIL环境中性能平均下降37.2%,主要源于CF导致的旧类别置信度衰减。特别值得注意的是,基于微调的OOD方法(如OE)相比后处理方法(如MSP)展现出更强的环境适应性,这为BER的设计提供了重要启示。
【Our Proposed Approach BER】部分提出的创新方法包含两个核心组件:1) 旧类能量正则化项,通过提升旧类别样本的能量分数区分度,缓解CF带来的向后偏差;2) 新类能量正则化项,利用新类别样本的对比学习约束,抑制模型对OOD样本的过度自信预测。在ImageNet-100的10步增量实验中,BER使平均OOD检测AUROC提升14.3%,同时保持ID分类准确率仅下降1.2%。
【Conclusion】部分强调,OpenCIL基准的建立为评估CIL模型在开放环境中的安全性提供了标准化平台。BER方法通过能量空间的动态双向调节,首次实现了增量学习过程中OOD检测性能的稳定维持。该成果对自动驾驶、工业检测等需要持续学习的安全关键系统具有重要应用价值。研究同时指出,未来需要探索CIL与OOD检测的联合优化框架,这可能为两个领域带来新的突破方向。
这项研究由Wenjun Miao(第一作者)等学者完成,获得国家自然科学基金(62372029、62276016)等支持。所有代码和数据集已在GitHub开源,为后续研究提供了重要基础平台。论文通过严谨的实验设计和深入的理论分析,为开放环境下的持续学习系统安全建立了新的研究范式。
生物通微信公众号
知名企业招聘