基于最近邻类原型提示与模拟逻辑的持续学习方法：解决灾难性遗忘与任务混淆的新策略

针对持续学习(CL)中关键-值查询系统易陷局部最优及任务间混淆问题，西安某团队提出结合最近邻类原型提示(NNCP)与模拟逻辑(SL)的创新方法。通过动量微调查询函数(QFF)优化提示选择，并利用模拟跨任务逻辑压缩决策边界，在Split CIFAR-100等数据集上实现SOTA性能（平均提升2.47%），为无排练持续学习提供新范式。

　　

在人工智能领域，持续学习(Continual Learning, CL)被誉为实现"终身学习"的关键技术，但其发展长期受困于灾难性遗忘(catastrophic forgetting)难题——当模型学习新任务时，旧任务性能会断崖式下降。尤其类增量学习(Class-Incremental Learning, CIL)场景下，传统基于排练(rehearsal)的方法虽有效却面临数据隐私与存储限制。近年来，基于预训练视觉Transformer(ViT)的提示调优(prompt tuning)技术崭露头角，但现有方法普遍存在两大痛点：关键-值查询系统导致提示激活不平衡，以及预训练编码器作为查询函数时引发的任务间混淆(inter-task confusion)。

针对这些挑战，西安的研究团队在《Pattern Recognition》发表创新成果，提出融合最近邻类原型提示(Nearest-Neighbor Class Prototype Prompt, NNCP)与模拟逻辑(Simulated Logits, SL)的解决方案。通过将类原型作为提示选择依据，配合动量更新的查询函数微调(Query Function Finetuning, QFF)，有效规避了传统方法的局部最优陷阱；而独创的SL机制通过模拟跨任务逻辑响应，在不存储历史样本前提下压缩决策边界。实验表明，该方法在Split CIFAR-100等三大基准数据集上平均准确率提升2.51%，刷新了无排练持续学习的性能记录。

关键技术方法包括：1) 基于Split CIFAR-100/ImageNet-R/DomainNet构建增量任务流；2) 为每个任务训练独立提示并绑定类原型特征；3) 通过QFF增强查询函数的任务区分能力；4) 引入随机逻辑生成器构建SL训练信号。

【主要研究结果】

1. 类原型提示的平衡激活
   通过可视化分析发现，传统L2P方法仅激活5%的提示池(图1a)，而NNCP使提示利用率提升至83%(图1b)。类原型作为天然聚类中心，其最近邻搜索机制避免了关键向量的维度坍缩。

2. QFF提升任务推断精度
   在10任务CIFAR-100场景下，QFF使任务标签推断准确率从68.2%提升至89.7%。动量更新的提示嵌入为查询函数提供了动态调整的特征空间。

3. SL缓解跨任务混淆
   对比基线方法，SL使跨任务误分类率降低37.5%。通过生成虚拟的"强干扰"逻辑(如将"虎"类样本误判为"猫"类)，决策边界得到显著压缩。

4. 综合性能优势
   在长期CL场景(20任务)中，最终平均准确率达72.36%，超越CPrompt等SOTA方法4.63%。特别在DomainNet跨域数据上，遗忘率(forgetting)降低1.17%。

结论部分强调，NNCP-SL框架首次实现提示选择与分类器优化的协同改进：类原型策略确保提示的均衡利用，QFF突破预训练编码器的表征局限，而SL机制以零样本方式模拟多任务干扰。这项研究不仅为实际部署中的隐私敏感场景提供解决方案，其"模拟对抗"训练思想对多任务学习、领域自适应等方向均有启发意义。作者指出，未来可探索原型提示在开放集识别中的应用，以及SL与元学习(meta-learning)的结合潜力。