《Neurocomputing》：Towards self-adaptive learning: A comprehensive survey on continual learning under harsh conditions
编辑推荐：
摘要：持续学习（Continual Learning, CL）旨在使模型能够在非平稳环境中顺序获取知识，同时缓解灾难性遗忘问题。然而，现实场景中的数据流常伴随分布偏移、标签稀缺及计算资源受限等挑战。本文综述了面向自适应学习（Self-Adaptive Lear
摘要：持续学习（Continual Learning, CL）旨在使模型能够在非平稳环境中顺序获取知识，同时缓解灾难性遗忘问题。然而，现实场景中的数据流常伴随分布偏移、标签稀缺及计算资源受限等挑战。本文综述了面向自适应学习（Self-Adaptive Learning, SAL）的相关方法，系统分析了开放集识别（Open-Set Recognition, OSR）、分布外检测（Out-of-Distribution Detection, OOD）以及流数据中的新颖性检测技术。研究人员进一步探讨了标签稀缺环境下的学习策略，包括自监督学习（Self-Supervised Learning, SSL）、主动学习（Active Learning, AL）及半监督学习（Semi-Supervised Learning, SSL）。此外，本文总结了应对概念漂移（Concept Drift, CD）的各类机制，并针对评估协议、资源效率及实际部署中的开放性挑战提出了系统性展望，旨在推动鲁棒且可扩展的持续学习系统发展。
6.1 开放集识别
开放集识别（Open-Set Recognition, OSR）方法从建模角度可分为判别模型、生成模型和混合模型三类。判别模型虽擅长分类任务，但需通过距离阈值或概率阈值机制扩展以适应未知样本识别。距离基方法利用特征空间中的超平面、类别原型或最近邻距离进行决策；概率基方法则通过改进Softmax输出、引入极值理论（Extreme Value Theory, EVT）或重构误差建模来估计样本属于已知类别的概率。生成模型主要通过生成合成未知样本辅助训练，或显式建模已知数据分布以区分未知输入。混合模型则结合判别与生成模型的优势，通过学习联合嵌入空间并利用流形混合或对抗训练来增强已知与未知类别的可分性。
6.2 分布外检测
分布外检测（Out-of-Distribution Detection, OOD）主要针对深度学习模型难以识别测试时分布偏移的问题。事后方法（Post-hoc methods）不改变训练流程，通过设计评分函数（如最大Softmax概率MSP、能量分数、最大Logit值、近邻引导置信度、激活修整ReAct或定向稀疏化DICE）来区分分布内与分布外样本。训练阶段方法（Training-stage methods）通过修改损失函数来引导模型，包括不依赖OOD数据的OOD不可知方法（如广义ODIN、梯度范数GradNorm、对比学习CSI）和利用辅助OOD数据的离群暴露方法（如离群暴露OE、双头CNN THCNN、最小他者分数MOS、虚拟离群合成VOS）。重建基方法利用自编码器对分布内数据的低重建误差特性进行检测，并结合马氏距离（Mahalanobis Distance）或掩码图像建模增强性能。距离基方法基于特征嵌入与类别质心或原型的距离进行判断，如马氏距离分数MDS、k近邻OOD检测KNN-OOD、确定性不确定性量化DUQ、虚拟Logit匹配ViM及紧凑性与分散性正则化框架CIDER。密度基方法则通过概率模型（如隐空间自回归LSA、归一化流Normalizing Flows、似然比LR-OOD）对分布内数据进行建模，识别低密度区域的样本为OOD。
6.3 流数据中的新颖性检测
流学习中的新颖性检测主要依托聚类、决策树、图及草图等方法。聚类基方法通过维护每个簇的超球体，将边界附近的样本视为概念漂移，远离所有簇的样本若形成凝聚群体则为新类，否则视为离群点。具体实现包括在线新颖与漂移检测算法OLINDDA、多类数据流学习算法MINAS、模糊多类新颖检测器FuzzND、支持向量流分类器SVSCLASS及离散余弦变换基新颖漂移检测DETECTNOD等。决策树基方法（如NCDCD-SDT、MuENL、SENCForest、NL-Forest）通常在叶节点进行聚类，依据路径长度或样本密度变化判断新颖性。图基方法（如EA2ING、GNG-A）通过维护带半径的节点图，计算新样本与现有图结构的隶属可能性来识别新颖模式。草图基方法（如SENC-MaS、AMaSC）利用矩阵草图近似技术，通过全局草图与局部草图的相似性度量检测新兴类别。此外，深度学习方法在流新颖性检测中通过表征学习提升高维数据下的性能，但在表示稳定性、更新频率及记忆约束方面面临权衡。
7. 持续学习
持续学习（Continual Learning, CL）方法主要依据缓解灾难性遗忘的策略分为回放基、正则化基、扩展基、元学习及混合方法。回放基技术（Replay-Based Techniques）通过存储并重播过去任务的子集样本来巩固记忆，关键在于样本选择策略，如蓄水池采样、启发式选择iCaRL、最大干扰检索MIR及衍生变体。为解决存储开销，特征级回放、生成式回放（如扩散模型Diffusion Models基的t-DGR）及参数高效回放成为研究重点。正则化基方法（Regularization-Based Methods）在不回放原始数据的情况下，通过对优化过程施加约束来保护旧知识。数据正则化（Data Regularization）如梯度情景记忆GEM及其加速版本A-GEM，通过约束梯度更新方向防止性能下降；参数正则化（Parameter Regularization）如弹性权重固化EWC、突触智能SI，通过评估参数重要性并对重要参数偏离施加惩罚；知识蒸馏（Knowledge Distillation）则通过迁移教师模型（旧任务模型）的知识（包括Logit蒸馏、特征蒸馏及关系蒸馏）指导学生模型（新任务模型）训练。扩展基方法（Expansion-Based Methods）通过动态调整模型架构容纳新知识，包括动态架构（Dynamic Architecture, DA）如渐进式神经网络PNNs、动态可扩展网络DEN，以及提示学习（Prompt Learning）如DyTox、L2P、DualPrompt和CODA-Prompt，后者通过引入可学习的提示令牌或适配器（Adapter）实现参数高效扩展。元学习（Meta-Learning）旨在通过“学会学习”快速适应新任务，典型方法如模型无关元学习MAML及其变体，通过双层优化寻找利于快速适应的初始化参数。混合方法（Hybrid Methods）融合多种机制，如结合动态网络、记忆回放与正则化，以平衡可塑性（Plasticity）与稳定性（Stability）。
8. 挑战与开放问题
持续学习面临的核心挑战包括：如何平衡跨任务迁移学习与干扰之间的权衡；大规模基础模型下的可扩展性及实际部署中的资源约束；开放世界中的分布外泛化能力；无明确任务边界的任务自由与在线学习；以及在边缘设备上的资源受限学习。此外，评估协议的标准化至关重要，需综合考量自主性、检测性能、鲁棒性、适应效率及稳定性，并在统一框架下结合多种严苛条件（如漂移、标签稀缺、不平衡）进行压力测试。
9. 标签相关挑战
标签稀缺是现实场景的主要瓶颈。针对无标签环境，自监督学习（Self-Supervised Learning, SSL）成为主流方案，包括对比基方法（如SCALE、CaSSLe、LUMP）和聚类基方法（如STAM、KIERA）。针对部分标签环境，半监督学习利用伪标注（Pseudo-labeling）、标签传播（Label-propagation）、生成模型及正则化技术增强模型；主动学习则通过不确定性、密度或方差等准则筛选信息量大的样本请求标注。针对初始标签环境，无监督或几何基方法可用于处理早期数据流。值得注意的是，标签稀缺也给漂移检测带来挑战，需借助模型置信度、偏差方差或师生模型差异等替代指标进行无监督漂移监测。
