近年来,基于大规模语料库预训练的大型语言模型在各种自然语言处理(NLP)任务中取得了显著成功[1]、[2]、[3],包括文本生成和问答,并且在某些基准测试中甚至超越了人类水平的表现。随着模型容量的不断增加及其处理多样化任务的能力提升,LLMs越来越被视为推进通用人工智能(AGI)和多模态智能系统的基础技术。
然而,LLMs的大参数规模和高训练成本使得对新任务进行全精细调优(FFT)在计算上非常昂贵且不切实际,特别是在动态应用环境中。这促使了参数高效精细调优(PEFT)技术的发展,例如适配器[4]、提示调优[5]和低秩适应(LoRA)[6],这些技术将轻量级可训练模块引入到模型主干中而不改变其原始参数,从而大幅降低了训练开销。其中,LoRA由于其简单性和几乎可以忽略的推理开销而成为最广泛采用的方法之一。最近,GIST[7]通过以即插即用的方式明确建模任务特定知识和任务无关知识之间的交互,进一步增强了PEFT。Ding等人[8]全面分析了参数高效方法,表明增量调优在用最少的可训练参数刺激大型预训练语言模型方面具有巨大潜力。然而,这些研究主要是为孤立或固定任务设计的,并隐含地假设任务边界是静态的,且每个任务的优化是独立进行的。
当扩展到持续学习(CL)场景时,PEFT方法面临重大挑战,因为模型必须在不访问历史数据的情况下学习一系列任务。在多模态设置中,这一挑战更加突出,因为需要不断整合来自文本、图像和结构化数据等异构来源的知识。CL的目标是通过顺序任务适应实现长期知识积累和整合。持续学习系统面临两个主要挑战:(1)灾难性遗忘(CF)[9],即模型在适应新任务时忘记先前学到的知识;(2)知识转移(KT)[10],涉及新任务与先前任务之间的有效知识转移。
现有的CL方法大致可以分为三类:(1)基于复习的方法[11]、[12],通过存储和重放部分先前数据来缓解遗忘,但由于数据隐私和存储限制,这通常是不可行的;(2)基于正则化的方法[13]、[14],通过约束参数更新或梯度方向来惩罚对先前学习任务重要的参数变化;(3)基于架构的方法[15]、[16]、[17],为每个任务引入特定于任务的参数模块,以防止参数干扰并提高适应性。
尽管上述方法取得了进展,但在大型语言模型的持续学习背景下仍存在显著限制。基于复习的方法依赖于存储和重新访问先前任务的数据,这对数据隐私提出了挑战,并限制了它们在现实世界部署场景中的适用性。基于正则化的方法依赖于复杂的策略来估计参数重要性并调整梯度,在具有庞大参数空间的大规模模型中难以有效且稳定地应用。相比之下,基于架构的方法由于其灵活性和效率已成为LLMs的主流方法。
然而,由于大多数基于架构的方法在持续学习中依赖于独立的任务特定模块,它们仍然面临两个关键限制。首先,参数爆炸:为每个任务引入新模块会导致参数总数随任务数量增加而线性增长,从而阻碍模型可扩展性并降低部署效率。例如,O-LoRA[16]在正交子空间内逐步引入新的任务特定适配器,同时冻结先前学习的参数。尽管这减轻了遗忘,但参数总数仍会随着任务数量的增加而持续增长。其次,表示漂移:在新任务上的训练可能导致先前获得的知识的内表示发生漂移[18]、[19],因为大多数方法是在没有统一表示结构的情况下单独优化每个任务的。这些问题在多模态持续学习中更为明显,因为单独训练的模态特定适配器往往缺乏统一的子空间以实现一致的跨模态知识转移。
为了解决上述限制,我们旨在实现可控的参数增长和一致的跨任务知识融合的持续学习,而无需在推理时依赖经验回放或任务标识符。为此,我们提出了CSF,这是一种新颖且参数高效的持续学习框架。首先,我们为所有任务构建了一个统一的共享表示,有效克服了传统方法中任务被迫形成孤立子空间的限制,从而提高了表示的一致性。此外,我们设计了一种增量融合机制,每个任务仅学习轻量级模块,这些模块在训练过程中动态集成,而不是之后合并。这种设计不仅防止了无限制的参数增长,还使模型能够在逐步学习新任务的同时适应统一的结构,最终在推理期间实现更高的稳定性和可靠性。
我们在两种代表性的语言模型架构上评估了CSF:仅解码器的LLaMA2模型[20]和编解码器T5模型[21]。在两个持续学习基准测试上的广泛实验表明,我们的方法在平均准确率和参数效率之间取得了更好的平衡,优于主流的LLM持续学习方法,如图1所示。与LLaMA模型上的O-LoRA[16]相比,我们的方法将可训练参数的数量减少了40.5%。在大量任务场景中,它进一步将参数增量减少了93.6%,同时保持了竞争性能。此外,CSF在不同模型规模上始终表现出稳定的性能,突显了其可扩展性和适用于动态知识整合的现实世界应用。
我们的贡献可以总结如下:
1.我们提出了CSF,这是一种简单高效的持续学习框架,用于语言模型,能够在无需复习或任务标识符的情况下实现有效的跨任务知识融合。
2.我们设计了一个共享的低秩投影子空间和增量子空间融合机制,以实现跨任务的统一表示,同时实现可控的参数增长和统一的推理。
3.在持续学习基准测试和多种LLM架构上的广泛实验表明,CSF在准确率和参数效率之间取得了更好的平衡,显著优于现有的LLM持续学习方法。