用于语言模型持续学习的可控子空间融合方法

《Information Fusion》:Controlled Subspace Fusion for Language Model Continual Learning

【字体: 大 中 小 】 时间:2026年01月26日 来源:Information Fusion 15.5

编辑推荐:

  提出CSF框架,通过共享低秩投影子空间和增量子空间融合机制解决大语言模型持续学习中的参数爆炸和知识迁移问题,实验显示参数效率提升显著且性能优于现有方法。

  
包星灿|冯建洲|霍一茹|邱华晓|于浩然|任世元|任家东
中国河北省秦皇岛市燕山大学信息科学与工程学院,邮编066000

摘要

大型语言模型(LLMs)在各种自然语言处理任务中表现出色。然而,在多任务持续学习方面,它们仍面临重大挑战,尤其是在任务顺序演变且资源受限的动态环境中。现有方法通常为每个任务学习单独的适配器模块,导致随着任务数量增加参数呈线性增长,从而阻碍了可扩展性和部署效率。在本文中,我们提出了控制子空间融合(CSF)框架,这是一种无需复习且与任务无关的持续学习方法,它能够在任务之间整合知识,同时防止参数爆炸。CSF引入了一个共享的低秩投影子空间,为知识表示提供统一的基础,从而提高一致性并促进跨任务知识转移。此外,我们设计了一种增量子空间融合机制,该机制能够将新的任务适配器与先前融合的表示动态合并,同时抑制冗余参数的增长。因此,该框架能够在顺序任务之间实现可扩展且稳健的知识融合。我们在主流架构(包括LLaMA和T5)上对CSF进行了评估,模型参数规模从220M到13B不等。在持续学习基准测试中的实验结果表明,CSF不仅在平均准确率和参数效率上优于现有方法,而且还提供了一种可扩展且易于部署的解决方案,支持高效的知识融合。

引言

近年来,基于大规模语料库预训练的大型语言模型在各种自然语言处理(NLP)任务中取得了显著成功[1]、[2]、[3],包括文本生成和问答,并且在某些基准测试中甚至超越了人类水平的表现。随着模型容量的不断增加及其处理多样化任务的能力提升,LLMs越来越被视为推进通用人工智能(AGI)和多模态智能系统的基础技术。
然而,LLMs的大参数规模和高训练成本使得对新任务进行全精细调优(FFT)在计算上非常昂贵且不切实际,特别是在动态应用环境中。这促使了参数高效精细调优(PEFT)技术的发展,例如适配器[4]、提示调优[5]和低秩适应(LoRA)[6],这些技术将轻量级可训练模块引入到模型主干中而不改变其原始参数,从而大幅降低了训练开销。其中,LoRA由于其简单性和几乎可以忽略的推理开销而成为最广泛采用的方法之一。最近,GIST[7]通过以即插即用的方式明确建模任务特定知识和任务无关知识之间的交互,进一步增强了PEFT。Ding等人[8]全面分析了参数高效方法,表明增量调优在用最少的可训练参数刺激大型预训练语言模型方面具有巨大潜力。然而,这些研究主要是为孤立或固定任务设计的,并隐含地假设任务边界是静态的,且每个任务的优化是独立进行的。
当扩展到持续学习(CL)场景时,PEFT方法面临重大挑战,因为模型必须在不访问历史数据的情况下学习一系列任务。在多模态设置中,这一挑战更加突出,因为需要不断整合来自文本、图像和结构化数据等异构来源的知识。CL的目标是通过顺序任务适应实现长期知识积累和整合。持续学习系统面临两个主要挑战:(1)灾难性遗忘(CF)[9],即模型在适应新任务时忘记先前学到的知识;(2)知识转移(KT)[10],涉及新任务与先前任务之间的有效知识转移。
现有的CL方法大致可以分为三类:(1)基于复习的方法[11]、[12],通过存储和重放部分先前数据来缓解遗忘,但由于数据隐私和存储限制,这通常是不可行的;(2)基于正则化的方法[13]、[14],通过约束参数更新或梯度方向来惩罚对先前学习任务重要的参数变化;(3)基于架构的方法[15]、[16]、[17],为每个任务引入特定于任务的参数模块,以防止参数干扰并提高适应性。
尽管上述方法取得了进展,但在大型语言模型的持续学习背景下仍存在显著限制。基于复习的方法依赖于存储和重新访问先前任务的数据,这对数据隐私提出了挑战,并限制了它们在现实世界部署场景中的适用性。基于正则化的方法依赖于复杂的策略来估计参数重要性并调整梯度,在具有庞大参数空间的大规模模型中难以有效且稳定地应用。相比之下,基于架构的方法由于其灵活性和效率已成为LLMs的主流方法。
然而,由于大多数基于架构的方法在持续学习中依赖于独立的任务特定模块,它们仍然面临两个关键限制。首先,参数爆炸:为每个任务引入新模块会导致参数总数随任务数量增加而线性增长,从而阻碍模型可扩展性并降低部署效率。例如,O-LoRA[16]在正交子空间内逐步引入新的任务特定适配器,同时冻结先前学习的参数。尽管这减轻了遗忘,但参数总数仍会随着任务数量的增加而持续增长。其次,表示漂移:在新任务上的训练可能导致先前获得的知识的内表示发生漂移[18]、[19],因为大多数方法是在没有统一表示结构的情况下单独优化每个任务的。这些问题在多模态持续学习中更为明显,因为单独训练的模态特定适配器往往缺乏统一的子空间以实现一致的跨模态知识转移。
为了解决上述限制,我们旨在实现可控的参数增长和一致的跨任务知识融合的持续学习,而无需在推理时依赖经验回放或任务标识符。为此,我们提出了CSF,这是一种新颖且参数高效的持续学习框架。首先,我们为所有任务构建了一个统一的共享表示,有效克服了传统方法中任务被迫形成孤立子空间的限制,从而提高了表示的一致性。此外,我们设计了一种增量融合机制,每个任务仅学习轻量级模块,这些模块在训练过程中动态集成,而不是之后合并。这种设计不仅防止了无限制的参数增长,还使模型能够在逐步学习新任务的同时适应统一的结构,最终在推理期间实现更高的稳定性和可靠性。
我们在两种代表性的语言模型架构上评估了CSF:仅解码器的LLaMA2模型[20]和编解码器T5模型[21]。在两个持续学习基准测试上的广泛实验表明,我们的方法在平均准确率和参数效率之间取得了更好的平衡,优于主流的LLM持续学习方法,如图1所示。与LLaMA模型上的O-LoRA[16]相比,我们的方法将可训练参数的数量减少了40.5%。在大量任务场景中,它进一步将参数增量减少了93.6%,同时保持了竞争性能。此外,CSF在不同模型规模上始终表现出稳定的性能,突显了其可扩展性和适用于动态知识整合的现实世界应用。
我们的贡献可以总结如下:
  • 1.
    我们提出了CSF,这是一种简单高效的持续学习框架,用于语言模型,能够在无需复习或任务标识符的情况下实现有效的跨任务知识融合。
  • 2.
    我们设计了一个共享的低秩投影子空间和增量子空间融合机制,以实现跨任务的统一表示,同时实现可控的参数增长和统一的推理。
  • 3.
    在持续学习基准测试和多种LLM架构上的广泛实验表明,CSF在准确率和参数效率之间取得了更好的平衡,显著优于现有的LLM持续学习方法。
  • 部分摘录

    持续学习

    持续学习旨在从不同任务中顺序获取知识,同时保留先前学到的信息。现有方法大致可以分为三类:基于正则化的方法、基于复习的方法和基于架构的方法。基于正则化的方法通过约束损失函数并惩罚对重要参数的更改来保留先前任务的知识[13]、[22]、[24]。然而,这些方法

    问题表述

    持续学习[46]旨在设计算法,使模型能够从非静态数据中积累知识。任务{D1, …, DT}在流式环境中按顺序传递。每个任务Dt=(xit, yit)=1nt对应于一个单独的目标数据集,其中(xit∈Xt, yit∈Yt)模型需要依次适应这些任务,且在第t步时只能访问Dt。更正式地,给定一个由Θ参数化的预测函数hΘ,持续学习

    方法

    在本节中,我们首先概述所提出的框架,然后详细描述其设计和实现。我们介绍了CSF,这是一种针对大型语言模型的新颖持续学习框架,旨在顺序学习多个任务,同时减轻参数膨胀并促进跨任务知识转移。如图2所示,该框架包括两个关键模块:

    数据集

    标准CL基准 我们首先使用张等人[48]提出的四个文本分类数据集来评估我们提出的方法:AG News、Amazon Reviews、DBpedia和Yahoo Answers。遵循之前的研究[16]、[47],我们探索了该基准的三种不同顺序。
    大量任务基准 为了评估我们的方法在较长任务序列上的性能,我们在一个持续学习基准上进行了实验

    结论

    在本文中,我们提出了CSF,这是一种针对大型语言模型的参数高效持续学习方法,它实现了无需复习且与任务无关的适应,同时防止了随着任务数量增加而导致的参数增长。该方法基于共享的低秩子空间为任务构建统一的表示投影,并结合了结构引导的增量子空间融合策略,从而抑制了参数膨胀,同时有效缓解了

    CRediT作者贡献声明

    包星灿:撰写——原始草稿、软件、方法论、概念化。冯建洲:撰写——审阅与编辑、监督、资金获取。霍一茹:撰写——原始草稿、数据整理。邱华晓:软件、方法论。于浩然:可视化、软件。任世元:撰写——审阅与编辑、监督。任家东:监督、资源获取。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号