大语言模型的高效零样本后训练量化

《Neural Networks》：Efficient Zero-Shot Post-Training Quantization of Large Language Models

　　

摘要

近年来，大语言模型（LLMs）彻底改变了人工智能领域；然而，其庞大的参数规模对在内存受限的硬件上部署构成了重大障碍。对于普及型人工智能而言，内存带宽瓶颈是一个关键挑战，因为每生成一个标记，都必须将数十亿个权重从内存搬运至计算单元。虽然训练后量化（PTQ）为模型压缩提供了一条切实可行的路径，但现有最先进的方法仍存在重大局限：它们要么依赖计算成本高昂的校准数据，可能导致过拟合或数据不可用，要么使用对硬件不友好的混合精度表示来处理离群值。为克服这些局限，本研究提出了一种快速、免校准且统一精度的量化框架。具体而言，我们引入了两种不同的方法：混合分组量化（HGQ），采用"双标尺"策略从统计上将离群值与常规权重分离；以及自适应分组向量量化（AGVQ），通过学习局部码本捕获子向量的几何结构。我们在三个不同的模型家族（Llama、OPT 和 BLOOM）上测试了所提方法，模型规模从 1.25 亿到 130 亿参数不等。在量化运行时间方面，我们的方法优于基于校准的最先进基线方法。HGQ 将 Llama-2-13B 的量化时间从超过 30 分钟缩短至不到 20 秒（>100 倍加速），同时保持了具有竞争力的困惑度。此外，AGVQ 在 Llama-2-13B 模型上的常识推理任务中取得了极具竞争力的零样本准确率，接近原始 FP16 性能，同时节省约 74% 的内存占用。结合融合重建内核，这些节省进一步转化为实际测得的速度提升，HGQ 在 24 GB 工作站 GPU 上达到 FP16 基线解码吞吐量的 1.28 倍。这些结果展示了统计型、免校准方法在民主化精准高效 LLM 部署方面的潜力。

引言

大语言模型（LLMs）的崛起给人工智能领域带来了巨大的变革。我们见证了从任务专用模型向更具通用性的模型（如 GPT-4、LLaMA-3、Claude-3 等）的转变。尽管这些模型展现出了前所未有的涌现推理能力，但受其庞大体积的限制，其应用日益受到集中式云范式的制约。然而，使用远程数据中心存在不可避免的瓶颈，包括延迟问题、大数据量传输带来的高昂带宽成本，以及对敏感用户数据卸载的严重隐私隐忧。因此，边缘部署已成为一项关键需求，旨在消除向云端传输数据的延迟，并支持自动驾驶和工业机器人等应用的离线使用。此外，边缘处理增强了数据安全性，因为它将敏感信息保留在设备上，同时降低了与集中式基础设施相关的高运营成本。

然而，此类模型的巨大内存占用带来了高昂的部署成本。例如，拥有 1750 亿参数的 GPT-3 模型在半精度（FP16）下的内存需求约为 350 GB，远大于最先进的 NVIDIA B200 GPU 的 192 GB 容量，更不用说边缘设备极为受限的资源了。

为了弥合巨型大语言模型的内存需求与资源受限硬件之间的巨大鸿沟，研究人员提出了各种压缩技术，在保持精度的同时减少内存占用。显著的方法包括网络剪枝，但该方法通常需要大量重训练来恢复精度——这对于十亿参数级别的模型来说是一个极其昂贵的过程。此外，除非进行结构化剪枝，否则由此产生的不规则稀疏性在通用 GPU 上很少能带来成比例的实际加速效果，这是因为其内存访问模式效率低下。因此，通过降低权重和激活值的精度，量化已成为一种更优的替代方案。尽管量化感知训练（QAT）可以在训练中补偿误差从而实现高精度，但对于大语言模型来说，它计算上不可行，因为需要消耗大量资源和专有数据集。这使得训练后量化（PTQ）成为主流解决方案，因为它允许在不进行梯度更新的情况下实现大幅压缩。在 PTQ 中，仅量化权重特别有效，因为大语言模型的推理受内存带宽限制。这种权重压缩方法本身就足以消除主要瓶颈（内存带宽），同时保持激活值的高精度，从而避免了复杂的激活值量化。

然而，大语言模型的权重遵循非均匀的长尾分布，其中一小部分高幅度的离群值在预测能力中发挥了不成比例的重大作用。这使得在 3 位或 4 位等低位宽模式下充分发挥训练后量化的潜力变得从根本上困难。当对这些分布应用标准均匀量化时，重要权重会被严重截断，导致不可忽视的精度下降。为缓解这一问题，最先进 PTQ 框架通常退而求其次，采用两种妥协方案之一。第一类方法依赖校准数据来优化量化参数。例如，AWQ 和 SmoothQuant 利用激活值统计量来缩放权重，而 GPTQ 使用二阶 Hessian 信息。然而，校准是一个基本的瓶颈，因为它增加了部署阻力，需要访问私有数据，并增加了过拟合校准集的可能性。在安全医疗设施、工业物联网或隐私敏感的企业合作环境等实际应用中，由于严格网络安全框架的限制，提取或集中代表性校准数据往往在法律或技术上是不可能的。这种在零信任环境中的严重部署限制凸显了开发完全免校准量化方法的关键重要性。此外，为了最小化重建误差，这些技术通常使用迭代优化算法，计算成本高昂。结果是，该过程速度慢得令人难以接受，量化单个模型通常需要数小时的 GPU 时间。

为了处理离群值，第二类方法采用混合精度方案。SpQR 和 LLM.int8() 等技术通过提升敏感权重的精度来保护它们，将其保留为 16 位浮点数，而其余部分量化为低位宽。由于不规则数据类型使内存访问模式复杂化并增加了系统复杂度，这引入了硬件低效率问题。HGQ 则采用不同的策略，不是提升离群值的精度，而是为它们重新建立参考基准，将两个群体量化为相同的位宽，但分别使用两个独立拟合的仿射标尺，从而在不离开整数数据流的情况下保留重要值。

虽然一些免数据方法试图避免校准，但它们经常退回到混合精度格式以维持精度，或者表现不佳。现有方法往往以牺牲一种约束为代价来满足另一种约束，据我们所知，尚无任何方法能够同时避免校准数据和混合精度存储，并保持具有竞争力的精度。

AGVQ 在码本的获取方式上也不同于此前的向量量化方法。GPTVQ 和 AQLM 从数据依赖的目标（即 Hessian 加权重建和迭代加性拟合）中推导码本，因此校准数据是其公式的固有组成部分，而非附加条件。AGVQ 通过在聚类前进行逐组最大绝对值归一化来消除这种依赖，将每个组映射到公共支撑集上，从而使具有不同动态范围的组中的子向量彼此可比较。因此，一个小型码本即可服务于整个张量，并可仅通过 K-means 聚类在权重上直接拟合。

为了克服这些局限，本研究开发了一种快速的、免校准的量化框架，包含两种针对不同压缩需求优化的方法。本研究的主要贡献如下：

1. 混合分组量化（HGQ）：我们提出了一种零样本标量量化方法，采用统计"双标尺"策略，在严格的纯整数数据通路中显式管理离群值。该方法消除了对混合精度格式的需求，并实现了比基于优化的基线方法快 100 倍以上的量化速度。

2. 自适应分组向量量化（AGVQ）：我们引入了一种零样本向量量化范式，通过学习局部码本来保留权重张量的几何结构，无需先前向量量化方法所需的校准数据和基于 Hessian 的优化。

我们在 Llama、OPT 和 BLOOM 系列（最高 130 亿参数）上进行了广泛的实验，以验证所提方法的效率。我们通过在语言流畅度和下游任务上评估量化模型，来评估所提方法对模型保真度和困惑度的影响，以确认这种效率并非以牺牲精度为代价。我们将评估结果与最先进的量化技术 GPTQ 和 AWQ 进行对比，并额外与基于校准的向量量化基线 GPTVQ 进行比较。此外，我们进行了全面的消融研究，以调查所提方法对重要超参数（如分组大小和向量维度）的敏感性。该分析隔离了各个算法组件的影响，并验证了所提方法在不同压缩约束下的鲁棒性。

在本研究中，我们认为有必要将免数据量化范式具体定义为零样本训练后量化（PTQ）。重要的是要将这一技术方法与零样本学习区分开来，后者描述的是模型处理未经专门训练的任务的能力。虽然我们的实验评估了这些模型的零样本学习性能，但我们的方法论侧重于零样本 PTQ 过程。后者意味着量化参数仅从权重分布本身获取，而非依赖外部校准数据或迭代优化步骤。

本文其余部分组织如下：第 2 节全面回顾了大语言模型压缩的现有文献，分析了当前方法的局限。第 3 节详细介绍了我们所提方法，阐述了混合分组量化（HGQ）和自适应分组向量量化（AGVQ）方法论的理论基础和算法实现。第 4 节呈现实验评估，涵盖实验设置、跨 Llama、OPT 和 BLOOM 系列的对比性能分析以及严格的消融研究。最后，第 5 节总结主要发现并对论文作出结论。

章节摘要

训练后量化的演变

大语言模型重训练的高昂成本使训练后量化（PTQ）成为压缩大语言模型最受欢迎的方式。与需要访问整个数据集和梯度反向传播的量化感知训练（QAT）不同，PTQ 专注于仅使用预训练权重来降低精度。最初的 PTQ 模型是为卷积神经网络（CNN）设计的。诸如 AdaRound 和 AdaQuant 等方法……

方法

为了克服大语言模型推理的内存带宽瓶颈，本研究探讨了仅权重的训练后量化（PTQ）。我们通过零样本 PTQ 范式来应对压缩任务，在不进行重训练或访问校准数据的情况下，将高精度权重张量 W 转换为低位整数表示 Q。该模式下的主要问题是权重的长尾分布，其中稀疏的高幅度离群值……

模型与基线

我们对参数从 1.25 亿到 130 亿不等的多种开源模型进行了广泛评估，以确保所提框架的泛化能力：Llama（Llama-2-7B/13B、Llama-3.2-1B/3B）、CodeLlama-Instruct（7B/13B）、OPT（1.25 亿至 130 亿）和 BLOOM（5.6 亿至 71 亿）。我们将免校准方法（HGQ 和 AGVQ）与三种最先进的基于校准的方法进行比较……

结论

在本研究中，我们引入了两种免校准的训练后量化方法——混合分组量化（HGQ）和自适应分组向量量化（AGVQ），以应对将大语言模型部署在消费级硬件上的关键挑战。我们在 OPT、BLOOM 和 Llama/CodeLlama 系列上的分析表明，高保真度模型压缩并不需要外部校准数据或计算成本高昂的优化。

具体而言，为隔离……

作者贡献声明

Sami Ul Haq：论文撰写——初稿、软件、方法论、概念化。Aiman H. El-Maleh：论文撰写——审阅与编辑、验证、监督、概念化。Ali Alsuwaiyan：论文撰写——审阅与编辑。

利益冲突声明

作者声明不存在任何已知的可能影响本文所述工作的竞争性经济利益或个人关系。

致谢

作者感谢沙特数据与人工智能管理局与国王费萨尔石油大学人工智能联合研究中心（SDAIA-KFUPM JRC-AI）提供的计算资源和 GPU 访问权限，这些资源促进了本研究的开展。

Sami Ul Haq | Aiman H. El-Maleh | Ali Alsuwaiyan