基于大脑原理的协同记忆提示调优用于少样本类别增量学习

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Brain-Inspired Synergistic-Memory Prompt Tuning for Few-Shot Class-Incremental Learning

　　•受大脑启发的提示调优方法，用于少样本类别增量学习。•多层提示调优模块可实现快速少样本适应。•逐步扩展的记忆库通过跨模态融合强化已学知识的保留。•提出基于记忆的校准机制，以平衡新知识学习与旧知识保留。•在miniImageNet、CIFAR100和CUB200数据集上验证了该方法的有效性。

引言
深度学习系统在固定任务的封闭框架下展现了卓越的能力[1]、[2]。借助大规模且经过精心标注的数据集，这些系统在各种计算机视觉任务中实现了与人类水平相当的性能，比如固定类别物体检测[3]和语义分割[4]。然而，在持续出现特定类别语义输入的开放环境中，它们的局限性便显现出来。预定义的任务边界无法满足现实场景中的动态需求，导致模型在面对未见过的新型类别时效率极低。在缺陷检测和病变检测等实际应用中，新类别的持续出现才是常态而非例外[5]。令人失望的是，主流解决方案仍依赖于繁琐的流程：修改任务目标、重新组织数据集以及对整个模型进行重新训练才能实现再适应。这一过程不仅效率低下，还严重依赖人工干预，极大限制了其在现实世界动态环境中的适用性[6]。与之形成鲜明对比的是，人类认知系统具备惊人的学习效率，即使是儿童也能通过少量示范迅速掌握新知识，同时通过长期记忆机制稳定保留现有知识。这种持续学习且遗忘缓慢的能力贯穿人的一生[7]。在大型模型时代，复制这类类人学习能力已成为突破人工智能任务封闭性瓶颈、迈向通用智能的核心研究方向[8]、[9]。这一追求推动了少样本类别增量学习（FS-CIL）这一研究领域的诞生[10]、[11]。

少样本类别增量学习（FS-CIL）的核心挑战在于如何在可塑性——即从少量样本中快速掌握新类别的能力——与稳定性——即在不断出现新任务时保留已有知识的能力——之间取得平衡[12]、[13]、[14]。这一根本性的权衡与人脑的终身学习能力如出一辙，也为我们的生物启发式设计提供了灵感。如图1所示，大脑的双记忆系统为解决这一难题提供了清晰的方案：海马体以高度的可塑性快速编码新体验，而新皮层则将长期知识以稳定的形式整合并存储下来[15]、[16]。两者之间的持续互动推动了两个关键过程：睡眠驱动的巩固作用，将新知识转入长期存储；以及反馈校准机制，利用历史记忆指导新知识的学习[17]、[18]。正是这种功能上的双重性，使得人类能够在有限的经验基础上获取新信息，同时避免灾难性遗忘。受此机制启发，我们提出了基于预训练视觉语言模型（VLMs）的受大脑启发的协同记忆提示调优（BSPT）框架，用于FS-CIL。具体而言，多层提示微调模拟海马体的功能，实现针对新型少样本任务的快速、高效参数调整；而原型记忆库则模拟新皮层的功能，稳定保存各次增量学习过程中获得的类别原型。二者相互作用可实现两大核心功能：在每个新任务后更新原型，以及通过基于记忆的校准机制，利用旧类别知识约束和规范新知识的学习。由于该设计基于这种功能明确的类比而非抽象的生物学概念，BSPT能够在新类别学习与旧知识保留之间实现最佳平衡。在miniImageNet、CIFAR100和CUB200数据集上的大量实验表明，我们的方法优于现有的先进FS-CIL算法，为现实世界的增量学习场景提供了一种实用且具有生物学解释性的解决方案。本文的主要贡献如下：
•我们提出了受大脑启发的协同记忆提示调优（BSPT）框架，该框架将预训练视觉语言模型（VLMs）与海马体-新皮层结构相结合，从而实现快速知识获取并降低灾难性遗忘风险。
•BSPT采用双记忆架构：多层提示调优模块可实现快速少样本类别适应，而逐步扩展的记忆库则有助于强化已学知识的保留。
•我们提出了基于记忆的校准模块，该模块模拟生物记忆的协同效应，通过原型扰动和度量约束优化旧知识与新知识之间的决策边界，从而减轻灾难性遗忘现象。
•在miniImageNet、CIFAR100和CUB200数据集上进行的广泛实验充分证明了BSPT的有效性与优越性，其在快速适应与长期知识保留之间取得了更好的平衡。

章节摘录
少样本学习
少样本图像分类（FSIC）旨在让模型能够从极少的带标签样本中识别出新型类别，通常是在N路K样本的设置下进行[19]。与传统依赖大规模标注数据集的全监督学习不同，FSIC无需大量数据和标注工作即可运行，这一特点吸引了众多研究者的关注。此外，推动FSIC发展，使其能够从最少的示例中快速学习新的视觉类别，对于实现相关目标至关重要。

问题阐述
为评估少样本类别增量学习能力，我们采用了Tao等人[25]提出的标准设置，即将数据集划分为基础阶段D0以及一系列无类别重叠的增量阶段{D1,D2,…,DT}。基础阶段D0包含大量类别及丰富的样本，而每个增量阶段则包含少量新型类别及有限的带标签样本。每个阶段Dt还可进一步划分为带标签的……

方法论
图2展示了我们在基础阶段和增量阶段所采用方法的整体流程。我们基于常见的提示调优范式，利用预训练的视觉语言模型（VLMs），通过高效的参数调优实现快速任务适应。分类是通过计算VLMs的视觉编码器与语言编码器生成的图像嵌入和文本嵌入之间的相似度来完成的。这一设计灵感来源于人脑的记忆机制，即海马体与大脑皮层的作用……

实施细节
在实验中，我们采用了OpenAI CLIP [29]的ViT-Base-16版本（HuggingFace Transformers）作为模型核心，所有阶段的视觉编码器和文本编码器均保持完全冻结状态。仅多层提示标记、动态原型库以及基于记忆的校准模块被设置为可训练部分。所有输入图像都会被调整为224×224像素大小，且在基础阶段和增量阶段都采用统一的类别提示模板“一张[类别名称]的照片”。

局限性
尽管BSPT性能优异，但仍存在一些需要未来进一步研究的局限性。首先，虽然双记忆协同机制在训练阶段能有效发挥作用，并实现稳定性与可塑性的最佳平衡，但我们尚未成功将该机制整合到推理过程中。在人类认知中，决策过程依赖于对历史记忆的检索，而不仅仅是即时感知，因此将原型记忆纳入推理过程具有重要意义……

结论
本研究聚焦于少样本类别增量学习（FS-CIL）中的核心挑战，即如何在快速掌握新类别的可塑性与保留现有知识的稳定性之间找到平衡。受大脑海马体-皮层记忆机制的启发，我们提出了受大脑启发的协同记忆提示调优（BSPT）框架，该框架利用预训练视觉语言模型的跨模态语义先验及强大的泛化能力，来模拟基本的感知和学习能力。

作者贡献说明
陈佳乐：写作——审阅与编辑、写作——初稿撰写、验证、方法论、研究、概念设计。徐峰：写作——审阅与编辑、监督、项目管理、资金筹措。吕欣：写作——审阅与编辑、监督、研究。李欣：研究。陈尚静：研究。黄玉聪：研究。唐浩：研究。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

陈佳乐|徐峰|吕欣|李欣|陈尚静|黄玉聪|唐浩