RectLoRA：一种子空间参数高效微调方法，用于大型语言模型（LLMs）和语言视觉模型（LVMs）的持续适应

《Patient Education and Counseling》：RectLoRA: Subspace Parameter-Efficient Fine-Tuning for Continual Adaptation of LLMs and LVMs

　　李学光|郭成|唐新宇|颉英模
大连工业大学软件技术学院，中国大连116620

**摘要**
大型语言模型（LLMs）和大型视觉模型（LVMs）通过大规模预训练和下游适应，在模式识别方面取得了显著的性能提升。然而，全参数微调在计算上非常昂贵。现有的参数高效微调（PEFT）方法，如低秩适应（LoRA），采用低秩参数化。尽管如此，组合更新ΔW=BA仍然与目标矩阵具有相同的形状，这可能会留下较大的适应灵活性，从而增加持续学习中过拟合和灾难性遗忘的风险。为了解决这些问题，我们提出了RectLoRA，这是一种新颖的PEFT框架，它从组件角度重新制定了权重适应机制。我们引入了塑性-刚性分解（PRD），将预训练参数分为用于学习新任务的塑性子空间和用于保留先前知识的刚性子空间。RectLoRA将参数更新限制在由预训练权重提取的显著基向量所跨越的塑性子空间内，同时通过一个紧凑的矩形可训练更新矩阵来实现适应，从而有效减轻灾难性遗忘，同时保持足够的适应能力。此外，RectLoRA还包括一种自适应秩选择策略和注入位置选择（IPS）模块来控制更新位置和参数重用。在大型语言和视觉基准测试上的广泛实验表明，RectLoRA始终优于现有的PEFT和基于LoRA的方法。具体来说，与LoRA相比，RectLoRA在LLMs上减轻灾难性遗忘的效果提高了多达81%。在具有挑战性的ImageNet-A数据集上，RectLoRA在所有任务设置中实现了最高的平均最终准确率和平均准确率，最终准确率比最强的竞争方法提高了2.40%。

**引言**
大型语言模型（LLMs）[1]和大型视觉模型（LVMs）[2]最近在自然语言处理（NLP）[3]和视觉任务的广泛领域取得了前所未有的进展。然而，全参数微调对硬件资源的要求越来越高，而且这个过程非常耗时。更重要的是，每次全参数微调都会产生巨大的财务成本，这对许多中小型企业以及个人研究者来说是一个巨大的负担。为了应对这一挑战，参数高效微调（PEFT）[4]方法应运而生。这些方法涉及冻结预训练的大规模模型（PLMs）[5]中的大多数参数，只调整一小部分以适应下游任务。一些研究探索添加额外参数以进行任务适应。这些方法[6,7]已经显示出与全参数微调相当的性能。尽管如此，添加额外参数会导致推理延迟增加的问题。

低秩适应（LoRA）[8]的有效引入解决了这一难题。它在训练期间通过引入额外参数来适应下游任务，训练后，组合更新ΔW=BA可以吸收到LLM的选定层中。这种方法具有双重目的：适应一组参数以应对多样化的下游任务，同时避免额外的推理延迟。然而，基于LoRA的方法也有缺点和局限性。首先，它仍然在训练期间将两个与大型矩阵权重具有相同维度的小矩阵相乘的结果合并并更新，然后在组合更新应用于选定层之后。因此，它只是减少了可训练参数的数量，但并没有减少应用于目标权重矩阵的有效更新量。当数据资源有限时，这一特性可能会增加过拟合的风险。其次，灾难性遗忘是持续学习（CL）中的一个核心挑战，先前的研究[9,10]表明，在顺序适应过程中广泛的或约束不足的参数更新可能会加剧这个问题。

在LoRA训练之后，整个注意力机制中的Q矩阵和V矩阵都会被更新，从而导致LLMs的性能显著下降。第三，在LoRA框架内，秩r是由用户手动指定的。没有内在的自适应机制可以根据不同任务和PLMs的具体要求来校准这个参数。InfLoRA[11]和BiLoRA[12]旨在通过限制基于梯度的初始化和参数更新来减轻灾难性遗忘。然而，在这些方法中，组合更新ΔW=BA仍然与选定层的权重矩阵具有相同的维度，即使有效参数化仍然是低秩的。我们的关注点是持续学习，这里讨论LoRA只是为了表明其组合更新ΔW=BA在顺序适应中仍可能导致结构较少的有效更新。

为了克服上述限制，我们提出了RectLoRA（图1），其中“Rect”表示矩形可训练更新矩阵及其在目标权重矩阵中的支持模式，而不是特定的线性子空间。RectLoRA通过塑性-刚性分解（PRD）重新制定了权重适应机制，将参数空间分为用于下游适应的塑性子空间Sp和用于保留先前知识的刚性子空间Sr。与现有的LoRA变体不同，其更新ΔW=BA仍然覆盖目标层的整个权重空间，RectLoRA将适应限制在由预训练模型的前r个重要权重基向量定义的塑性子空间内，并通过一个小型的可训练矩阵Cp进行优化，而不是更新整个目标权重矩阵。在我们的实现中，这个矩形矩阵仅包含相应目标矩阵参数的大约0.21%。RectLoRA进一步引入了一种自适应策略来确定矩形尺寸和注入位置选择（IPS）模块来控制更新位置和参数重用。通过明确分离适应和保留角色在两个正交子空间内，RectLoRA减少了不必要的参数变化，减轻了灾难性遗忘，并保持了下游适应性能。此外，自适应r同时考虑了权重特性和任务复杂性，使得分配策略更加关注任务。所提出的RectLoRA在多个预训练的基于Transformer的backbone上进行了评估，包括传统的PLMs、LLMs和LVMs。

PRD不同于简单地截断SVD组件然后在保留的子空间中应用LoRA。直接的截断-SVD+LoRA策略主要通过保留部分奇异组件并丢弃其他组件来执行低秩近似。相比之下，PRD明确地将预训练参数空间分解为塑性子空间和刚性子空间。在适应过程中，RectLoRA仅更新塑性子空间，同时保持刚性子空间不变以保留稳定的知识。此外，塑性子空间的大小由基于预训练权重特性和下游任务复杂性的自适应r策略确定。因此，RectLoRA不应仅仅被视为一种增量初始化的改进，而是一种更结构化、更受约束的PEFT公式，适用于持续学习。

**本文的主要贡献如下：**
1. 我们建立了PRD框架，通过将参数空间划分为正交的“塑性”和“刚性”子空间来重新制定权重适应机制。该框架提供了一种结构化的机制，同时促进下游适应和保留基础知识。基于这种分解，我们提出了一种称为RectLoRA的PEFT方法。
2. 我们提出了一种自适应r方法和注入位置选择（IPS）模块。通过共同评估预训练权重的显著性和任务复杂性，这些组件使模型能够动态调整更新的尺寸和位置，以满足特定任务的要求。
3. RectLoRA通过来自LLM和LVM权重的小型矩形矩阵Cp增强了CL的塑性，同时通过将参数更新限制在这些矩阵上来提高CL的稳定性。实验结果证明了其有效性及其在LLM适应下游任务时减轻灾难性遗忘的潜力。

**相关工作**
近年来，PEFT领域取得了显著进展。该领域的研究可以大致分为三个主要方向：提示学习、Delta调优和具有参数高效适应的持续学习。

**模型概述**
如图2所示，RectLoRA包括两种变体：RectLoRA-S和RectLoRA-M。AR、MT、PD和LI表示超参数，其中AR由自适应r方法确定。RectLoRA-Pre、RectLoRA-Hybrid和RectLoRA-Tail对应于不同的IPS模块设置，这些设置根据MT和LI确定插入位置和顺序。RectLoRA首先从原始PLM权重和下游任务计算出自适应r，然后构建一个宽度为r的矩形矩阵。

**数据集**
我们的实验使用了六个基准数据集。GLUE [26]数据集、E2E NLG [27]和标准CL基准[28]用于评估LLMs和PLMs的适应准确性和CL性能，而ImageNet-R、CIFAR-100和ImageNet-A用于LVMs。

**基线**
我们将RectLoRA与全微调和几种代表性的PEFT和持续学习基线进行了比较。微调会更新预训练模型的所有参数以适应每个目标任务。BitFit [7]仅更新偏置项。

**局限性**
尽管RectLoRA在多个NLP和视觉基准测试中取得了强大的性能，但它仍存在一些局限性。首先，该方法需要一个分解阶段以及自适应秩选择，与标准LoRA相比引入了额外的预处理开销。其次，RectLoRA改善了塑性和稳定性之间的权衡，但在高度挑战性的顺序设置下并不能完全消除遗忘。

**结论**
现有的PEFT方法仍然更新选定层权重矩阵的完整维度，这通常会导致持续学习场景中的过拟合和灾难性遗忘。我们从组件角度重新制定了权重适应机制，并引入了塑性-刚性分解（PRD），其中塑性子空间用于获取新下游任务的知识，而刚性子空间保留了先前学习的知识。基于这种公式，我们提出了CRediT。

**作者贡献声明**
李学光：撰写——原始草稿、验证、软件、方法论、概念化。
郭成：方法论、资金获取、概念化。
唐新宇：可视化、验证、形式分析。
颉英模：撰写——审阅与编辑、可视化、验证、监督、资金获取、形式分析。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

**资助**
本工作得到了中国国家自然科学基金[授权号72201051和61871064]和辽宁省基础研究基金[授权号2023JH2/101300206]的支持。