Q-SA2：基于结构感知适配的增强型低位量化感知微调

《Neural Networks》：Q-SA2: Enhanced Low-Bit Quantization-Aware Fine-Tuning via Structure-Aware Adaptation

　　# 摘要- 我们提出 Q-SA2 方法用于低位宽 QAF，为微调提供一个鲁棒的起点。- 我们将权重分解为稀疏分量和主子空间，以保留关键信息。- 我们进一步将 Q-SA2 扩展为按权重混合精度变体，以缓解性能瓶颈。# 引言大语言模型（LLMs）近期在自然语言处理（NLP）应用中展现出巨大潜力，特别是在高质量文本生成以及语义和上下文理解方面（Chowdhery et al., 2023）。其强大的泛化能力源于海量训练数据和复杂的网络架构。然而，这一范式也导致 LLMs 拥有数百万甚至数十亿参数，在训练和部署过程中带来巨大的计算和内存开销。为提高实用性，模型压缩受到了越来越多的关注，量化作为一种减少内存占用和计算成本的有效方法应运而生。虽然 OPTQ 和 AWQ 等训练后量化方法在 4-bit 量化设置中表现出很强的有效性，但在极低比特宽（如 2-bit）情况下，由于缺乏参数更新来补偿大幅增加量化误差，其性能往往会显著下降。与计算密集的量化感知训练方法不同，量化感知微调（QAF）通过参数高效微调（PEFT）来缓解量化引入的性能损失，提供了全模型重训的资源高效替代方案。低秩自适应（LoRA）及其变体近期成为 PEFT 的主要方法之一。LoRA 通过将目标权重矩阵分解为两个大幅降维的低秩适配器来近似目标权重矩阵，从而实现参数的大幅减少并提高计算效率。QLoRA 将模型权重量化为 NormalFloat 4-bit，然后应用 LoRA 进行微调。QLoRA 遵循标准 LoRA 初始化方案，其中低秩适配器以零均值高斯分布初始化。然而，量化权重与初始化低秩适配器之和无法近似原始预训练权重，从而损害了训练的连续性。现有方法尝试通过量化模型与全精度模型之间的交替优化来缓解这种差异。LoRA-Fine-Tuning-Aware Quantization（LoftQ）利用迭代量化和奇异值分解（SVD）来初始化低秩适配器，从而减少微调起始阶段带适配器量化权重与原始预训练权重之间的差异。为进一步加速微调收敛，Principal Singular Values and Singular Vectors Adaptation（PiSSA）使用预训练权重的主成分初始化低秩适配器。基于这一思路，QPiSSA 将该方法扩展到量化设置中，对次要成分进行量化，从而进一步提升性能。尽管这些方法推动了低位宽 QAF 的发展，但我们的分析表明，在控制量化误差和设计有效的适配器初始化方面仍面临挑战。如图 1(a) 和 (d) 所示，LoftQ 表现出明显的量化误差，且与预训练权重的相似度极低。相比之下，QPiSSA 在一定程度上减轻了量化误差，并与预训练权重表现出更高的相似度，从而实现了更好的适应性能。这一观察结果表明，在适配器中保留结构信息可能为后续微调提供更优越的初始化，这与改进下游适应能力相关。然而，QPiSSA 中直接量化剩余的次要成分仍会引入不可忽视的误差，限制了其保留预训练权重全局结构信息的能力。为解决这一问题，我们提出了面向低位宽 QAF 的结构感知适配（Q-SA2），该方法量化预训练权重的稀疏分量，并使用主子空间初始化低秩适配器，从而在最小化初始量化误差的同时保留结构信息。如图 1(c) 所示，Q-SA2 有效地将量化误差限制在稀疏分量中，图 1(d) 表明初始化适配器与全精度权重表现出更高的相似度，说明全局结构信息的保留程度有所提升。基于这种结构化初始化，稀疏分量产生了更受限的非零分布，从而有助于更可靠的异常值检测。利用这一特性，我们提出了按权重混合精度的 Q-SA2 变体，在列级别分配不同精度，进一步缓解量化引起的性能瓶颈。我们在 WikiText-2、C4、GSM8K 和 GLUE 基准上的多种 NLP 任务中进行了全面的实验。与最先进的 QAF 方法相比，我们提出的 Q-SA2 在各种低位宽量化场景中均取得了优越的性能。主要贡献总结如下：- 我们为低位宽 QAF 引入了一种结构感知的适配初始化策略。通过将预训练权重分解为稀疏分量和主子空间，该策略在减少初始量化误差的同时保留结构信息，用于下游适应。- 我们将该策略扩展为按权重混合精度变体，利用稀疏分量中受限的非零分布进行列级别的异常值检测和自适应比特宽度分配，进一步缓解量化引起的性能退化。- 我们在多种模型和任务上进行了全面实验，结果表明我们的方法始终取得优越性能，特别是在数学推理任务上。# 章节摘要## LLM 的量化随着 LLMs 参数规模的迅速扩展，量化已成为减少内存消耗和提高部署效率的必要技术。量化研究通常分为三种范式：量化感知训练（QAT）、训练后量化（PTQ）和量化感知微调（QAF）。## 方法论在本节中，我们描述了所提出的 Q-SA2 框架的实现细节，如图 2 所示。我们首先介绍设计背后的动机，该动机源于一个观察：低位宽 QAF 中的统一量化会导致平滑权重分量产生不成比例的大量误差。然后，我们介绍结构感知适配初始化策略。受稳健主成分分析（RPCA）启发，该策略对预训练权重进行分解。## 实验设置本节介绍主要实验设置，详细的训练配置随对应结果一起报告。**数据集** 评估数据集包括自然语言理解（NLU）和自然语言生成（NLG）任务，涵盖语言建模和数学推理场景。具体而言，GLUE 开发集是一个代表性的 NLU 基准，由多个分类和推理任务组成，被广泛使用。## 结论在本工作中，我们重新审视了 LLMs 的低位宽 QAF，并将同时减少模型量化误差和有效初始化低秩适配器确定为实现强大下游任务性能的关键挑战。为应对这一挑战，我们提出了 Q-SA2，一个用于低位宽 QAF 的统一结构感知框架，该系统性地集成了稀疏分解和主子空间保留，在减少量化误差的同时提供有效的低秩适配器初始化。## 局限性我们所提出的方法已在代表性的大语言模型架构、常见 NLP 基准和多种低位宽量化设置上进行了评估。在这些评估设置中，该方法始终改进了下游适应性能。在更广泛的模型架构和下游任务上进一步进行实证评估和理论分析，将有助于更全面地理解其在不同设置中的适用性。此外，扩展...## 未引用参考文献算法 1## CRediT 作者贡献声明**Yuning Yang：** 撰写初稿、方法论、形式分析、数据整理。 **Guowei Peng：** 可视化、方法论、调查研究、数据整理。 **Xiurui Xie：** 审阅与编辑、监督、项目管理、概念设计。 **Dongyang Zhang：** 审阅与编辑、验证、调查研究。 **Guangchun Luo：** 监督、资源获取、资金获取。 **Guisong Liu：** 监督、资源获取、资金获取、概念设计。## 利益冲突声明作者声明不存在已知的可能影响本文所报告工作的财务利益或个人关系。## 致谢本工作得到了国家自然科学基金委员会（NSFC）第 62376228 号和成都市科学技术项目第 2025-YF12-00009-RC 的资助。Yuning Yang | Guowei Peng | Xiurui Xie | Dongyang Zhang | Guangchun Luo | Guisong Liu