基于不变提示与分类器校正的持续学习方法研究

为解决持续学习中的特征噪声和分类器尺度不一致问题，研究人员提出了一种基于不变提示与分类器校正（iPrompt-CR）的新方法。该方法通过约束新任务组件与旧任务查询原型正交性实现不变提示，并利用高斯分布采样特征校正分类器，显著提升了类增量学习和通用增量学习场景下的性能。实验证明其在四个基准数据集上优于现有技术，为克服灾难性遗忘（catastrophic forgetting）提供了新思路。

　　

在人工智能领域，持续学习（Continual Learning, CL）致力于让模型像人类一样不断吸收新知识而不遗忘旧技能，但这一目标长期受困于“灾难性遗忘”（catastrophic forgetting）问题。随着预训练模型（如ViT）的普及，基于提示学习（prompt learning）的方法成为研究热点，但现有技术面临两大挑战：训练新任务时旧任务查询特征因组件混合产生噪声，以及分类器因任务间logit尺度差异导致误判。

针对这些问题，国内研究机构（未明确署名单位）的研究团队提出了iPrompt-CR方法。该方法通过双阶段设计实现突破：在提示学习阶段，强制新任务组件的可学习键（keys）与旧任务查询原型正交，抑制噪声干扰；在分类器校正阶段，通过高斯分布采样特征统一logit尺度，优化决策边界。实验证明，该方法在CIFAR-100等四个基准数据集上，类增量学习（Class-IL）和通用增量学习（General-IL）场景下的准确率均超越CODA-Prompt等现有技术。相关成果发表于《iLIVER》，为动态环境下的模型适应性提供了新范式。

研究采用三项关键技术：1）基于注意力机制的提示组件加权聚合；2）原型驱动的正交约束策略；3）高斯分布特征采样与分类器联合优化。其中，样本来源于标准增量学习数据集Split CIFAR-100和DomainNet等。

方法设计

通过分解提示为可训练组件，利用查询-键相似度动态聚合组件。创新性地引入旧任务原型正交约束，使新任务组件对旧任务查询的权重趋近于零，实现特征空间去噪。

分类器校正

保留每个类别的多中心原型（multi-centroid prototypes），采样生成服从高斯分布的特征，重新训练分类器头部。实验显示该方法使不同任务的logit尺度标准差降低42.3%。

实验结果

在Split CIFAR-100的Class-IL任务中，平均准确率提升5.8%；在含域偏移（domain-shift）的General-IL任务中，最终任务准确率较L2P提高12.4%。消融实验证实正交约束与分类器校正分别贡献63%和37%的性能增益。

该研究首次揭示了提示组件训练中“训练-测试阶段组件不一致”引发的特征噪声问题，并提出可解释的解决方案。通过统一分类器尺度，突破了持续学习中任务间偏差的瓶颈。其技术框架可扩展至多模态持续学习场景，为医疗影像动态诊断等应用提供了理论基础。