大语言模型的高效稀疏低秩适配

《Neural Networks》：Efficient Sparse Low-Rank Adaptation for Large Language Models

　　

摘要参数高效微调 (PEFT) 方法通过仅选择性更新一小部分关键参数，将基础模型适配到特定领域，显著降低了计算成本。在这些方法中，稀疏低秩适配 (SoRA) 已成为一种微调大型语言模型的有效方法。本文研究了 SoRA 算法在大规模模型中的性能，特别是分析了宽神经网络中的学习动态和缩放效应。我们发现，对所有参数矩阵采用统一的学习率限制了学习效率。为此，我们推导了一种改进的学习率配置，并提出 SoRA+，这是一种增强变体，引入了一个超参数来按比例调整学习率。这种修改符合理论最优值，并缓解了原始 SoRA 方法的次优性。实验表明，SoRA+ 提高了多达 2% 的微调性能，并加速了收敛。

引言大型语言模型 (LLMs) 的演进近年来取得了巨大进展，并已在自然语言处理、多模态学习等多个领域得到广泛应用。GPT-4 (Achiam and Adler, 2023)、LLaMA (Touvron and Martin, 2023)、Claude (Anthropic, 2023) 等基于 Transformer (Wolf and Debut, 2020) 的最先进模型在各种任务中均表现出令人印象深刻的性能。将 LLMs 部署到各种下游领域的过程通常需要模型学习来自目标领域的特定数据集。然而，由于特定数据集的数据量受限以及基于 Transformer 框架的参数规模巨大，针对下游任务对模型进行重新训练或完全微调通常充满挑战。

参数高效微调 (PEFT) 技术作为一种解决方案应运而生，通过减少微调所需的参数量，从而降低计算成本和内存需求。PEFTs 允许 LLMs 适应特定任务而无需大量重新训练。著名的 LoRA (Hu et al., 2022) 是 PEFT 算法的代表，近年来被认为是最高效的 PEFT 技术之一。因此，本文关注 LoRA 及其相关工作。LoRA 在预训练模型参数 W0 中引入可训练的低秩重参数化适配器 ΔW=BA，得出权重矩阵 W=W0+ΔW，并在训练过程中仅微调重参数化适配器 ΔW。矩阵 B 和 A 的秩为 r，远小于原始参数维度。因此，LoRA 可以有效建模预训练参数的低秩结构，这被视为大规模语言模型的一种固有属性 (Aghajanyan et al., 2021)。虽然低秩假设通常成立，但不同层之间甚至同一层内的固有秩不同并不罕见。因此，现有的 LoRA 技术可能无法充分利用预训练参数的低秩结构，导致性能次优。一种捕获秩多样性并实现动态调整的方法是 SoRA (Ding et al., 2023)。SoRA 基于受 SVD 启发的重参数化适配器 ΔW=PΛQ，其中 P、Λ 和 Q 分别称为上投影、门控和下投影矩阵。具体来说，Λ 是一个对角矩阵，通过固定策略修剪其对角元素来动态调整适配器的秩。SoRA 随后使用 L1 正则化在微调过程中将门控单元置零。这允许 SoRA 通过控制门控向量的稀疏性来动态调整适配器的秩。训练后，SoRA 删除下投影和上投影中对应于门控向量置零单元的列和行，以节省计算资源。实验结果也表明，SoRA 是改进 LoRA 的高性能和高效率 PEFT 方法之一。

SoRA 对 LoRA 的改进已在标准微调场景中得到证明。除了密集模型外，LoRA 还激发了基于专家或模块化适配器组合的更广泛工作线。MoLORA (Zadouri et al., 2024) 将 LoRA 作为带有软路由的轻量级专家；MoDULA (Ma et al., 2024) 通过三阶段范式分离通用专家和领域特定专家的训练；HydraLoRA (Tian et al., 2024) 引入了共享矩阵 A 和多个 B 矩阵的不对称 LoRA；MALoRA (Wang et al., 2025) 为多任务学习开发了一种不对称 LoRA 专家混合；D2MoRA (Zuo et al., 2026) 引入了多样性调节的不对称 MoE-LoRA 分解以进行高效的多任务适配；C-Poly (Wang et al., 2024) 区分任务通用和任务特定技能，并具有可学习的技能分配；以及 LoraHub (Huang et al., 2023) 组合预训练的 LoRA 模块，并在未见过的任务上优化其组合权重，而无需引入额外的模型参数或基于梯度的适配。这些工作展示了 LoRA 在结构化参数分解、不对称专家设计和模块组合方面的多功能性。鉴于 SoRA 的竞争性性能特征，SoRA 代表了 MoE-PEFT 和相关模块化适配框架中适配器设计的潜在选项。

同时，随着 LLMs 宽度的增加，有必要研究神经网络的学习动态如何随宽度增加而变化。一种方法是分析神经网络关键数量的数值属性。Hayou et al. (2019); Littwin and Yang (2023); Schoenholz et al., 2016; Yang (2019) 的研究通过调整网络的初始化、学习率和架构，研究了网络达到规模限制时的属性。从同一视角出发，我们调查了 SoRA 的学习动态，发现在 SoRA 适配器中对所有矩阵使用相同的学习率时存在潜在的内在数值不稳定性。因此，我们通过在 SoRA 适配器中为矩阵设置不同的学习率来解决这种数值不稳定性，并为 SoRA 带来额外的性能提升。

贡献基于对 SoRA 研究的系统回顾，我们建立了 SoRA 学习动态在模型宽度增加下的首个理论表征，严格证明了模型宽度与中间矩阵数值稳定性以及其梯度方差之间的渐近关系。特别是，我们的分析针对 SoRA 的三因子结构，其中缩放行为由初始化方案下 P、Λ 和 Q 之间的相互作用共同决定。我们的分析表明，由于内在的数值不稳定性，统一的学习率在高维空间中可能变得次优。为此，我们推导了差异化学习率分配的原则性指南，并引入了 SoRA+，这是一种在保持参数效率的同时适当调整各层学习率的算法。这导致了 SoRA 特定的学习率缩放结果，并推动了 SoRA+ 的设计。在密集模型 (BERT, Llama) 和混合专家架构 (OLMoE) 上进行的广泛理解与生成任务实验进一步验证了这一结果，展示了持续的精度提升和架构无关性，以及在 MoE-PEFT 框架中的潜在适用性。我们的工作将理论洞察与实践解决方案相结合，推动了参数高效微调在高维设置中的应用。

相关工作为了推进 LoRA 方法，研究人员提出了多种改进方法。具体而言，Zhang et al. (2023) 引入了受 SVD 启发的重参数化，涉及基于门控对角元素重要性得分的迭代修剪。Benedek and Wolf (2024) 通过掩码矩阵实现了层特定秩的动态分配和自适应修剪。Hayou et al. (2024) 探索了 LoRA 的数值属性，发现了类似的不稳定性问题，并提出了 LoRA+，通过采用差异化学习率来提高性能。Zhu et al. (2024) 表明，仅微调矩阵 B 优于同时微调两个矩阵，甚至随机矩阵 A 也能达到竞争性性能。最近的研究进一步探索了多任务设置下的不对称和基于混合的 LoRA 适配。Wang et al. (2025) 提出了 MALoRA，一种用于增强多任务学习的不对称 LoRA 专家混合，而 Zuo et al. (2026) 引入了 D2MoRA，一种用于高效多任务适配的多样性调节不对称 MoE-LoRA 分解方法。此外，还提出了各种方法来减少可训练参数并节省计算资源。Kopiczko et al. (2023) 在所有层之间共享矩阵 B 和 A，并优化小的缩放向量。Han et al. (2023) 对权重 W0 进行 SVD 分解，并仅微调权重矩阵的奇异向量。Liu and Qiu (2024) 采用蝴蝶结构参数化来减少可训练参数，同时保持强劲性能。Koohpayegani et al. (2023) 通过用随机基的可训练线性组合重参数化低秩矩阵，克服了 LoRA 的秩一下限，实现了更大的参数减少而无性能损失。

据我们所知，没有现有研究调查 SoRA 的学习动态或为其学习率建立理论指南，这构成了我们工作的主要焦点。

组织本文的其余部分组织如下。第 2 节介绍 SoRA 算法，并研究其在模型宽度增加下的学习动态，并展示其在相同学习率下的次优行为。第 3 节建立我们的主要定理，通过差异化学习率解决 SoRA 的次优行为，然后根据这一理论框架构建 SoRA+ 算法。第 4 节在 DeBERTa-V3、Llama2-7B 和 OLMoE-1B-7B 上针对理解和生成任务呈现广泛实验，以验证我们提出的 SoRA+ 算法，展示其相比 SoRA 的增强性能。第 5 节总结本论文的结论和主要贡献。技术证明和实验细节包含在附录中。

章节片段 SoRA 重参数化与宽度缩放在进行学习动态分析之前，我们首先介绍本节中将使用的概念和符号。这些包括 SoRA 重参数化、模块的宽度以及用于描述中间特征和参数更新行为的缩放符号。

介绍 SoRA 作为重参数化 PEFT 方法之一，SoRA 也遵循重参数化方法的框架。它通过构建 W=W0+ΔW 对预训练权重 W0 进行重参数化。

我们的解决方案我们现在形式化上述缩放分析所建议的想法。具体而言，为了解决 SoRA 模型在宽度 n 趋于无穷大时假设 2 与假设 1 之间的矛盾，我们保持原始 SoRA 重参数化不变，仅分别设置其可训练矩阵的学习率。经过一些推导，我们建议可以通过设置 ηP=ηΛ=Θ(1) 和 ηQ=Θ(n?1) 来解决矛盾，这意味着矩阵 Q 的学习率应该较低。

实验在本节中，我们进行了广泛实验，以验证我们的 SoRA+ 模型在多种模型架构和任务类型上的效率。我们使用 GLUE 基准 (Wang et al., 2018) 在理解任务上评估 SoRA+，并使用 SAMSum 语料库 (Gliwa et al., 2019) 在生成任务上评估 SoRA+，微调 DeBERTa-V3 (He et al., 2021)、Llama2-7B (Touvron and Martin, 2023) 和 OLMoE-1B-7B (Muennighoff et al., 2024) 模型。

结论本文调查了一种大型语言模型 (LLM) 微调算法，即 SoRA 微调算法。使用宽神经网络参数的缩放效应分析方法，我们分析了 SoRA 在大宽度模型上的性能，并展示了其次优性。随后，我们提出了 SoRA+ 微调算法以解决这种次优性，并通过广泛实验验证了其优越性能。主要贡献总结如下：

基于 aCRediT 作者贡献声明
Junren Qiao: 写作 – 原稿，方法论，形式分析。Shisong Wu: 软件。Wenqing Su: 写作 – 审查与编辑，概念化。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些可能影响本文报道的工作。

Junren Qiao|Shisong Wu|Wenqing Su