基于不变提示与分类器校正的持续学习方法iPrompt-CR突破特征噪声与尺度偏差难题

为解决持续学习中提示组件训练导致的旧任务特征噪声与新任务分类器尺度偏差问题，研究人员提出iPrompt-CR方法，通过正交约束新任务键向量与原型采样特征校正策略，在四个基准数据集上实现类增量与通用增量学习场景的SOTA性能，为预训练模型持续适应提供新范式。

　　

在人工智能领域，如何让模型像人类一样持续学习新知识而不遗忘旧技能，是持续学习（Continual Learning, CL）的核心挑战。现有基于预训练模型的提示学习（Prompt Learning）方法虽能通过冻结主干网络缓解灾难性遗忘，但提示组件训练会引入旧任务特征噪声，而分类器尺度偏差更导致跨任务误判。这些问题严重制约了智能系统在动态环境中的长期部署能力。

针对上述瓶颈，国内研究机构的研究人员提出了创新性解决方案——不变提示与分类器校正方法（iPrompt-CR）。该方法通过双阶段训练框架：在提示学习阶段，强制新任务键向量与旧任务查询原型正交，抑制无关组件干扰；在分类器校正阶段，基于高斯分布采样的特征重构统一分类器尺度。实验证明，该方法在CIFAR-100等四个基准数据集上，类增量学习（Class-IL）平均准确率提升5.2%，通用增量学习（General-IL）场景下超越CODA-Prompt等基线模型。相关成果为预训练视觉Transformer（ViT）的持续适应提供了可解释的技术路径。

关键技术方法包括：1）基于注意力权重的提示组件动态聚合；2）键向量-原型正交约束的噪声抑制；3）多中心高斯特征采样；4）跨任务统一尺度分类器优化。研究采用Split CIFAR-100、Split ImageNet-R等标准数据集验证，通过对比L2P、DualPrompt等提示池方法，系统评估了特征空间可分性与分类边界稳定性。

主要研究结果

1. 噪声特征分析：实验显示传统提示组件训练会使旧任务查询特征信噪比下降37%，而iPrompt-CR通过正交约束将特征偏移降低至8%。

2. 尺度偏差验证：单独优化的任务分类器存在logit尺度差异，新任务分类器w_φ^T的权重范数达旧任务w_φ^t的2.3倍，经高斯采样校正后尺度差异消除。

3. 基准测试：在DomainNet数据集上，iPrompt-CR的General-IL准确率达68.5%，较CODA-Prompt提升4.7%，且旧任务遗忘率降低至12.3%。

结论与意义

该研究首次揭示了提示组件训练中特征噪声与分类器尺度偏差的耦合效应，提出的iPrompt-CR通过数学约束与概率采样实现了三重突破：1）保持旧任务提示组合不变性；2）建立跨任务可比的决策边界；3）为复杂场景增量学习提供轻量化解决方案。方法论上开创的"冻结主干-可调提示-动态校正"框架，对医疗影像动态诊断、自动驾驶环境适应等需持续更新的领域具有重要应用价值。未来可探索提示组件与原型网络的联合优化，进一步降低计算开销。