RotSQ：在旋转空间中大语言模型的联合量化与稀疏化

《Neurocomputing》：RotSQ: Joint quantization and sparsification of large language models in rotated space

　　

摘要
由于计算和内存成本高，在资源受限环境中部署大语言模型（LLMs）仍然具有挑战性。量化和稀疏化是两种有效的压缩技术，但在激进压缩下独立应用它们往往会导致严重的性能下降，因为它们对权重和激活值施加了不同的分布要求。本文提出了 RotSQ，一种在学习的旋转空间中进行压缩的联合稀疏化和量化框架。RotSQ 使用 Cayley SGD 优化正交旋转矩阵以重塑权重和激活分布，并引入了异常值惩罚加法（OPA）正则项，以平衡异常值抑制、剪枝可分离性和量化鲁棒性。进一步整合了克罗内克分解以降低学习旋转的在线开销。在 LLaMA 和 Qwen 模型上的实验表明，RotSQ 在多种压缩设置下持续提升了准确率和困惑度。与 JSQ 相比，RotSQ 在 LLaMA-3.2-1B 上实现了高达 6.62% 的平均准确率提升，在 Qwen3-8B 上提升了 7.08%。在匹配的 W4A4KV4 + 50% 稀疏度设置下，RotSQ 也优于 OBR。就部署效率而言，与 FP16 基线相比，RotSQ 提供了高达 2.95 倍的预填充加速和 2.21 倍的解码加速。

引言
大语言模型（LLMs）的迅速进步极大地推动了自然语言处理的发展，使其在机器翻译、文本摘要和问答等任务中表现出强大的性能。以 GPT-4 和 LLaMA 为代表的模型已扩展至数十亿参数或更多 [1], [2]，在各种基准测试中取得了有竞争力的结果。然而，它们庞大的参数数量和较高的计算成本使得在资源受限环境中部署变得具有挑战性。因此，模型压缩已成为在保持模型性能的同时减少内存占用和推理延迟的关键。在现有的压缩技术中，量化和稀疏化是两种广泛采用的方法，且两者在独立应用时均显示出有效性。

与卷积神经网络（CNNs）或像 BERT [3] 这样较小的 Transformer 模型相比，LLMs 在权重和激活分布中表现出更明显的异常值，这大大增加了压缩的难度 [4], [5]。这些高幅值可以扩大量化范围，放大舍入错误，并使剪枝决策变得不那么可靠。对于量化，SmoothQuant [6] 和 GPTQ [7] 等方法通过缩放或基于重构的优化来减轻量化误差，而最近的基于旋转的方法，如 SpinQuant [8] 和 FlatQuant [9]，通过在变换空间中重塑分布来提高量化鲁棒性。对于稀疏化，SparseGPT [10] 将剪枝表述为逐层重构问题，Wanda [11] 引入了基于权重幅值和激活范数的激活感知剪枝标准。然而，当压缩比变得激进时，单独应用量化或稀疏化往往会导致相当大的准确率下降 [12]。这激发了本工作的核心问题：我们如何能在保持模型准确率和实用推理效率的同时实现激进压缩？

一个有希望的方向是在压缩前变换权重和激活值。特别是，正交旋转可以在全精度下保留确切的线性映射，同时将大分量重新分配到各个维度上。这一特性使得旋转空间在缓解异常值和提高压缩鲁棒性方面具有吸引力 [8], [13], [14]。然而，量化和稀疏化本质上施加了不同的分布偏好。量化倾向于具有有限动态范围的紧凑且平滑的分布，从而减少舍入误差。相比之下，稀疏化受益于显著权重和可忽略权重之间更强的可分离性，以便以较少的重构损失剪除不重要的参数。因此，对量化有益的旋转不一定对稀疏化最优，反之亦然。这种不匹配表明，LLM 压缩不应将量化和稀疏化视为两个孤立的过程。

联合优化提供了一种解决这一挑战的自然方法。如图 1 所示并在本文中进一步分析，单独的量化或稀疏化方法在激进压缩下迅速退化，而联合压缩可以在相同的压缩预算下更好地平衡量化噪声和稀疏性引起的误差。早期的联合压缩研究主要集中在 CNNs 上。例如，Zhang 等人 [15] 将结构化稀疏性与可学习的通道洗牌和量化相结合，而 OPQ [16] 提出了一次性剪枝和量化框架，以联合降低参数密度和位宽。对于 LLMs，JSQ [12] 引入了一种桥接剪枝和量化的稀疏性度量，OBR [17] 进一步通过基于补偿的恢复研究了联合量化和稀疏化。尽管取得了这些进展，但大多数现有的联合压缩方法主要在原始参数空间内运行，并没有明确优化旋转空间中稀疏化和量化之间的分布冲突。

为了克服这些局限性，我们提出了 RotSQ，一种用于旋转空间中 LLMs 的联合稀疏化和量化框架。RotSQ 将可学习的正交旋转插入 Transformer 块中的压缩敏感接口，在压缩前重塑权重和激活分布。为了针对这两个目标优化这些旋转，我们制定了一个统一的目标准确目标并引入了异常值惩罚加法（OPA）正则项，该正则项明确惩罚大的旋转异常值，并有助于平衡剪枝可分离性与量化鲁棒性。旋转矩阵使用 Cayley SGD 进行优化，以在整个训练过程中保持正交性。此外，为了减少旋转引入的在线开销，我们将克罗内克分解作为面向效率的实现组件纳入其中，遵循先前的基于旋转的 PTQ 实践。

我们在激进压缩设置下评估了多个 LLaMA 和 Qwen 模型上的 RotSQ。实验结果表明，RotSQ 始终优于强量化、稀疏化和联合压缩基线。在相同的压缩预算下，RotSQ 在 LLaMA 模型上实现了高达 6.62% 的平均准确率提升，在零样本推理任务中，在 Qwen3-8B 上提升了 7.08%。我们进一步在匹配的压缩设置下将 RotSQ 与最近的联合压缩方法（如 OBR）进行比较，展示了旋转空间联合优化的有效性。就部署效率而言，与 FP16 基线相比，RotSQ 实现了高达 2.95 倍的预填充加速和 2.21 倍的解码加速。我们还通过分析完整 RotSQ 与没有克罗内克分解的变体之间的差异来分析克罗内克分解的效果，表明分解旋转有效地减少了在线旋转开销。

总之，我们的主要贡献如下：
• 我们识别了旋转空间中量化和稀疏化相互冲突的分布要求，并将联合 LLM 压缩表述为旋转空间中的分布对齐问题，而不是两个独立的压缩步骤。
• 我们提出了 RotSQ，一种在 LLaMA 风格的 Transformer 块中插入可学习正交旋转并在统一重构目标下对其进行优化的联合稀疏化和量化框架。
• 我们引入了异常值惩罚加法（OPA）正则项，并使用 Cayley SGD 优化旋转矩阵，使学习到的旋转能够在保持正交性的同时平衡异常值抑制、剪枝可分离性和量化鲁棒性。
• 我们在多个 LLMs 和压缩设置下进行了广泛的实验，包括与最近的联合压缩方法（如 OBR）的匹配比较。我们进一步通过分析有无克罗内克分解的 RotSQ 来评估部署效率，展示了实用的端到端加速效果。

章节片段

LLMs 中的量化
随着对推理效率的需求不断增长，大语言模型的训练后量化（PTQ）已成为一个重要研究方向。低位 PTQ 的一个主要难点是激活和权重异常值的存在，这会大大放大量化误差。早期的方法如 SmoothQuant [6] 通过逐通道缩放将量化难度从激活值转移到权重来缓解这一问题，而 OmniQuant [18] 进一步引入了可学习的

预备知识
在本节中，我们为提出的 RotSQ 框架建立了数学基础。我们正式定义了量化、稀疏化和基于旋转变换的操作，这些是大语言模型（LLMs）中联合优化的核心组件。
量化。量化通过将高精度权重映射为更低位宽表示来减少内存占用并加速推理。对于权重为 和输入激活值为 的线性层，the

所提方法
在本节中，我们介绍 RotSQ，这是一个针对稀疏化和量化损失整合并优化 LLMs 中旋转的框架。首先，我们分析旋转空间中量化和稀疏化之间的权衡，并解释我们为什么选择将稀疏化和量化结合在一起。然后，我们提出了一种使用目标损失优化这些旋转矩阵的方法。最后，我们描述如何通过...来降低推理延迟并节省内存空间

实验
在本节中，我们通过多个大语言模型（LLMs）上的综合实验评估 RotSQ 的有效性。我们从困惑度（PPL）、零样本常识推理准确率和推理延迟方面评估性能，展示了 RotSQ 在激进压缩设置下相对于基线的优越性。所有实验均使用 LM Evaluation Harness [40] 进行以确保可复现性，代码使用 Hugging Face Transformers [37] 和 PyTorch [38] 实现。

结论
本文提出了 RotSQ，一种用于旋转空间中 LLMs 的联合稀疏化和量化框架。RotSQ 使用 Cayley SGD 学习正交旋转以在压缩前重塑权重和激活分布，从而抑制有害异常值并平衡稀疏化和量化的不同要求。我们进一步引入了异常值惩罚加法来引导旋转优化，并采用 Kroonecker 分解来降低...的在线开销

代码可用性
用于重现结果的源代码和脚本可在以下位置获取：https://github.com/ChenhuiZhu41/RotSQ

CRediT 作者贡献声明
Chenhui Zhu: 写作 – 审阅与编辑，写作 – 原稿撰写，可视化，验证，监督，软件，资源，项目管理，方法论，调查，形式分析，数据整理，概念化。Hongxu Jiang: 监督，资源，方法论，概念化。Jinhao Liu: 写作 – 原稿撰写，验证，方法论。Yaochen Han: 写作 – 审阅与编辑，方法论，调查。Kang Zhao: 写作 – 审阅与编辑，项目管理。

写作过程中生成式 AI 和 AI 辅助技术的声明
在准备本作品期间，作者使用了 gemini 和 grok 以润色文章。在使用该工具/服务后，作者对内容进行了审阅和编辑，并对已发表文章的内容承担全部责任。

利益冲突声明
作者声明，他们没有已知的竞争财务利益或个人关系可能影响本文中报告的工作。

Chenhui Zhu 获得了电子科技大学的工学学士学位和波士顿大学的硕士学位。他目前正在北京航空航天大学计算机科学与工程学院攻读博士学位。他的研究兴趣包括大语言模型的模型压缩和高效推理。

Chenhui Zhu|Hongxu Jiang|Jinhao Liu|Yaochen Han|Kang Zhao|Runhua Zhang
北京航空航天大学，中国，北京