NOVA：基于噪声与变化引导的大语言模型剪枝方法

《Knowledge-Based Systems》：NOVA: Noise-to-variation guided pruning of large language models

　　丁安然|徐鹏|金志宏•一种基于噪声驱动的大语言模型训练后剪枝框架。•用于二阶剪枝损伤的封闭形式曲率感知代理方法。•基于扰动敏感度的自适应分层稀疏度分配策略。•在50%–60%的高稀疏度下仍能保持一致的困惑度与准确率提升。

引言
大语言模型在语言理解和生成任务中表现出色，其能力随模型规模和数据量的增加而提升。然而，参数数量的快速增长给模型的部署带来了巨大挑战。大规模模型的推理需要大量的内存和计算资源，从而导致更高的延迟、更高的能耗以及高昂的硬件成本。这些限制使得大语言模型在本地、边缘及大规模在线环境中的应用受到限制。因此，如何在效率与性能之间实现有效平衡，已成为可扩展大语言模型部署的核心难题。

为了解决这些问题，人们提出了多种模型压缩技术，包括量化[1]、[2]、知识蒸馏[3]、[4]、低秩近似[5]、[6]、[7]以及剪枝[8]、[9]、[10]。其中，剪枝通过去除冗余参数来减小模型大小，同时保持架构不变。这一特性使得剪枝能够与现有的预训练检查点及推理流程兼容，从而无需过多工程修改即可实现部署。此外，训练后的剪枝避免了额外训练或微调的高昂成本，而在当前大语言模型的规模下，这类额外训练往往并不现实。尽管有这些优势，剪枝仍然依赖于准确识别那些移除后对模型行为影响最小的权重。

为评估各个权重的重要性，以往的研究提出了多种标准，包括权重幅度[8]、梯度信号[11]、激活值统计量[9]、[10]以及二阶信息的近似值[12]、[13]。近年来，由于可以从较小的校准集计算得出且往往能获得良好的实验结果，基于激活值的方法在大规模训练后剪枝中越来越受欢迎。这些方法通常根据权重与观测到的激活值之间的关系来为权重打分，以此作为衡量权重在前向传播中贡献频率和强度的实用指标。然而，在高度冗余的网络中，可靠地评估权重的重要性依然具有挑战性，尤其是在高稀疏度情况下，估计误差会进一步放大。

尽管基于激活值的标准在实验上取得了成功，但它们主要衡量的是权重在典型输入下的贡献强度，而非模型对该权重扰动的敏感程度。一个激活值较高的权重，如果其扰动只会导致微小的功能变化，那么它仍然可以被移除；而一个看似不太重要的权重，如果其轻微偏差就会导致输出出现显著变化，那么它可能反而至关重要。在高稀疏度情况下，这种差异愈发重要，因为此时剪枝错误会在各层间累积，而剩余的模型容量不足以抵消这些扰动。因此，仅依赖激活值统计量可能会导致在强烈压缩条件下做出不稳定的剪枝决策。

为阐明NOVA与以往工作的区别，避免给人以只是对现有组件进行简单组合的印象，我们将其与三类训练后剪枝标准进行了明确对比。基于幅度和激活值感知的方法，如幅度剪枝[8]和Wanda[10]，是根据静态使用统计量为权重打分，它们并不考虑当某个权重被扰动时层间映射关系会发生怎样的变化。基于优化的二阶重建方法，如SparseGPT[9]以及最近的D2Prune[14]，则是通过显式的海森矩阵或泰勒展开方法来解决每层的最小二乘问题，这种方法虽然能够捕捉权重的敏感度，但会带来较高的计算成本和内存压力。基于分层分配的方法，如AlphaPruning[15]和DLP[16]，则是利用静态的频谱特性或激活值特性在层间分配全局稀疏度预算，但它们是在现有的权重标准基础上进行操作，而非定义新的标准。NOVA与这三种方法都不同：它通过受控的前向扰动和封闭形式的输入投影来估计权重的敏感度，从而得到一种无需解决重建问题、也不需计算梯度或海森矩阵的曲率感知标准，而且我们证明，这种标准在标准的层局部海森矩阵近似下，可以作为一种封闭形式的代理，用来表示剪枝带来的损失变化。

这些观察结果表明，剪枝应当以对参数扰动的敏感度为指导。虽然二阶方法通过曲率信息形式化了这一理念，但在大语言模型的规模下，显式计算此类量值仍然难以实现。基于这一思路，我们提出了NOVA（噪声到变异），这是一种非结构化的训练后剪枝方法，它通过注入与权重成比例的、保持符号的信息噪声来探测功能敏感度，进而评估权重的重要性。具体而言，我们会为每个权重引入按该权重大小缩放的高斯扰动，然后测量在校准输入下层输出所出现的变异情况。我们认为，那些扰动会导致输出偏差较大的权重，对于保持模型行为更为关键。与反映典型使用情况的基于激活值的代理方法相比，NOVA提供了一种仅基于前向传播的敏感度信号，无需计算梯度或进行显式的曲率估计。

在剪枝大型Transformer模型时，另一个挑战在于各层的敏感度和冗余程度存在差异。因此，对所有层应用统一的稀疏度比例往往并非最佳选择：它可能会过度剪除那些对保持核心表征至关重要的层，同时在那些更能承受冗余的层留下过多的计算能力。为了解决这个问题，NOVA采用了一种基于敏感度的分层稀疏度分配策略。我们会汇总每层内的噪声到变异得分，以此估算该层的相对重要性，并据此分配全局稀疏度预算。那些在扰动下输出变异较大的层会获得较低的稀疏度，而较为稳定的层则会被更积极地剪除。这种自适应的分配方式有助于在高稀疏度下减少错误积累。

在每一层内部，NOVA还会通过结合噪声到变异敏感度与激活值统计量来进一步优化权重选择。敏感度用于量化受控扰动所引起的输出偏差程度，而激活值统计量则反映权重在典型输入下的使用频率。这两种信号是互补的：仅依靠激活值可能会忽略那些扰动会导致显著功能变化的权重，而仅依靠敏感度则可能会过分强调那些很少被使用的参数。因此，我们构建了一个融合了这两种信号的加权重要性得分，用于在层内对权重进行排序。总体而言，敏感度标准是NOVA的核心构成要素，而自适应稀疏度分配和得分融合则是在此基础之上构建的，共同构成了完整的剪枝流程。

我们在不同稀疏度水平下，对LLaMA和LLaMA-2系列模型进行了NOVA方法的测试。结果显示，与常用的基准方法相比，NOVA始终能带来性能提升，尤其在高稀疏度情况下，这种提升最为明显，因为此时仅依赖激活值的标准可靠性会下降。除了在WikiText2任务上的困惑度有所降低外，NOVA在常识推理类基准任务上也保持了出色的零样本准确率。

总结而言，我们的主要贡献如下：
•我们提出了NOVA，这是一种非结构化的训练后剪枝框架，它通过量化受控权重扰动所引起的输出变异来评估权重的重要性，该方法的核心就是基于前向传播的敏感度信号。
•我们还开发了一种基于敏感度的分层稀疏度分配策略，以及一种基于激活值的层内融合机制，这两种机制可将NOVA生成的信号转化为针对所有层的逐权重剪枝决策。
•我们在多种稀疏度水平及不同基准任务上对LLaMA和LLaMA-2系列模型进行了NOVA方法的测试，结果表明，与常用基准方法相比，该方法始终能带来稳定且显著的性能提升，尤其是在高稀疏度情况下。

相关研究综述
我们回顾了训练后剪枝标准、曲率感知的敏感度分析以及分层稀疏度分配方法，这些内容均为NOVA的设计提供了理论依据。

方法
我们提出了NOVA，这是一种针对大语言模型的非结构化训练后剪枝方法，它通过探测在受控扰动下层输出的噪声到变异敏感度，来识别出冗余权重。图1展示了该方法的整体流程示意图。

硬件与框架
所有实验都在配备80GB内存的NVIDIA A100 GPU上进行。我们的实现基于PyTorch框架[25]，并利用HuggingFace Transformers库[26]来处理模型和数据集。

模型与数据集
我们在广泛使用的LLaMA[27]系列模型上测试了NOVA，这些模型的参数量分别为70亿、130亿和300亿，此外还测试了LLaMA-2[28]系列中参数量为70亿和130亿的模型。困惑度指标是在WikiText2[29]数据集上计算的，该数据集是用于评估模型在剪枝和压缩处理后语言建模质量的常用标准。

结论
我们提出了NOVA，这是一种基于噪声到变异原理的LLM剪枝方法。通过利用结构化噪声来评估权重的敏感度，NOVA为冗余度评估提供了合理的标准，同时也实现了层间平衡的稀疏度分配。命题1进一步表明，该方法得到的权重得分是一种封闭形式的、仅基于前向传播的代理指标，它与控制二阶剪枝损伤的海森矩阵加权映射具有相同的意义，而在LLaMA和LLaMA-2系列模型上的大量实验也验证了这一结论。

CRediT作者贡献说明
丁安然：撰写——初稿撰写、可视化、验证、软件开发、方法设计、研究实施、概念构思。徐鹏：撰写——审阅与编辑、监督指导、软件开发、资源协调、项目管理、方法设计、研究实施、资金获取、正式分析、概念构思。金志宏：撰写——审阅与编辑、验证、软件开发、研究实施、数据整理。

关于 manuscript 准备过程中生成式AI及AI辅助技术的声明
在准备本文档的过程中，作者们使用了GPT-5.2（ChatGPT，OpenAI）来对文档的语言表达进行优化，以提高其语法水平、清晰度及可读性。该工具并未被用于生成新的科学成果，也未用于改变研究结果的解读。在使用该工具之后，作者们对内容进行了必要的审阅和修改，并对最终发表文章的内容负全责。

资金支持
本研究得到了中国国家重点研发计划的支持（项目编号：2024YFF0907400）。

利益冲突声明
作者们声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。