BVSR：面向分布感知的大语言模型权重量化的比特向量求和表示

《Neurocomputing》：BVSR: BitVector-sum representation for distribution-aware LLM weight quantization

　　

• •
  位向量求和表示产生非均匀的大语言模型权重量化点。
• •
  位向量布局确保合并式GPU访问并避免权重反量化。
• •
  解码速度比码本方法快至多2.75$$倍，同时保持竞争力精度。

引言

大语言模型（LLMs）[1]、[5]、[10]已在广泛的任务中展现了卓越的性能，包括代码生成、文档摘要，乃至解决复杂的数学问题。由于有强有力的证据表明模型性能大致与模型规模成正比[15]、[37]，许多大语言模型的研究者和厂商都致力于扩大模型规模。然而，这种极端的扩展带来了巨大的内存和计算资源需求，从而阻碍了对大语言模型的便捷访问。为应对这些挑战，量化——一种降低模型权重和激活值精度的方法——已成为缓解大语言模型部署中昂贵资源需求的关键策略。在众多量化技术中，训练后量化（PTQ）——一种在大语言模型昂贵的预训练阶段无需显式考虑量化格式的量化分支——已获得广泛应用。

训练后量化（PTQ）方法的一大类别依赖于最近舍入（RTN）方法。这些方法以逐元素的方式将大语言模型权重量化到均匀整数网格上，同时采用各种技术来缓解量化误差。具体而言，它们将权重组分群，根据最大绝对值计算每组的缩放因子，并将每个缩放后的权重映射到目标比特率所确定范围内的最近整数。由于量化后的整数权重可以以紧凑、连续的方式存储在GPU上，推理阶段能够启用合并式内存I/O，从而显著提升解码速度。然而，众所周知，大语言模型权重遵循高斯型分布[32]、[35]、[36]，而均匀整数网格映射无法有效捕捉这种分布。

训练后量化方法的第二大类别采用码本来量化大语言模型权重。这些方法将权重视为权重向量的集合，并生成包含码向量的码本，这些码向量用于表示目标权重向量。由于码向量可以最优地选择以模仿原始大语言模型权重的分布，因此它们减轻了实际权重分布与量化点之间的差异。然而，基于码本的方法在推理阶段存在结构性缺陷。在解码过程中恢复原始权重向量时，每个线程必须读取对应权重向量所存储的码向量索引。由于每个权重向量独立地映射到其最近的码向量，所引用的索引在各向量之间各不相同。这种变化导致非合并式内存访问模式，严重降低了GPU I/O效率并降低了解码速度。

为解决先前量化方法的这些问题，我们提出了BVSR，一种位向量加权和表示。该方法类似于码本方法地捕捉非均匀权重分布，同时保持合并式内存访问模式并实现无需显式反量化的直接通用矩阵-向量乘法（GEMV）计算。在此，位向量是元素由0或1组成的向量。

BVSR量化的核心思想很简单：将每个权重向量——一组连续的权重元素——表示为位向量的加权和，其中系数在组内共享，而每个元素的二进制选择各不相同。给定一个权重向量和一个系数集合$$，通过最小化均方误差（MSE）来选择位向量，使得系数加权和尽可能逼近原始权重。图1通过简化示例说明了这一过程。

为了逼近大语言模型权重，应仔细确定系数，以确保系数的子集和能够有效表示权重分布。我们经验性地观察到，几何级数的子集和经过与数据相关的项进行缩放和平移后，可以逼近广泛的权重分布。基于这一观察，我们构建了一个候选空间，将几何系数集与对齐到数据范围的辅助网格配对，并对其进行穷举搜索，为每个权重向量选择最匹配其分布的系数集。

图2为这一观察提供了具体支持，展示了BVSR的非均匀量化点如何比RTN的均匀网格更好地保留原始分布。

BVSR格式，一种系数加权的位向量表示，在推理解码阶段也带来了显著的速度优势。由于位向量中第$$位持有第$$个元素的选择，每个位向量都是一个自包含的固定宽度单元，其在内存中的位置不受限制。我们利用这种自由度，将连续输出行对应的位向量相邻存储，使得一个warp沿$$维度发出完全合并的加载操作。基于码本的表示则放弃了这种自由度，因为每个存储的索引必须首先通过码本查找来解析。这一特性显著提升了解码速度，因为解码阶段，尤其是在单批次用户推理场景中，是一个内存受限的任务。

为了高效存储系数，我们采用码本结构。然而，向量内所有元素共享相同的系数集，并且这些系数集通过BVSR高效的系数选择算法——称为系数缓存——在多个权重向量之间进一步共享。因此，推理期间必须加载的绝对系数数量很小，解码时产生的内存访问开销极小。

最后，BVSR解码在推理过程中不需要显式的权重反量化。相反，输入激活值通过轻量级在线量化转换为BVSR格式，并通过按位AND和人口计数操作直接执行GEMV计算，进一步降低了计算开销。基于这些原理，我们开发了一个适用于BVSR格式权重和激活值的GPU友好型通用GEMV内核，以实现更快的推理。

总之，本文的主要贡献如下：

• 1.
  我们指出了训练后量化方法中必须解决的固有限制，以进一步提高精度并满足严格的速度要求。
• 2.
  我们提出了BVSR，一种基于位向量加权和表示的新型量化方法，旨在为大语言模型实现高精度和快速推理，同时有效克服上述限制。
• 3.
  实验表明，在4比特域下，BVSR在多个基准测试中优于几种主流的PTQ方法，同时在模型推理中实现了相对于基于码本的量化的显著加速。

章节摘要

相关工作

我们将相关工作分为三个小节：传统的基于RTN的逐元素量化方法、基于码本的量化方法，以及其他不属于这两个类别的相关技术和应用。

预备知识

如第1节所述，采用反映实际权重分布的非均匀码点对于准确量化至关重要。为此，BVSR引入了一种专门的算法来生成分布感知码点，而不是将权重映射到均匀点上。第3.1节提供了大语言模型量化中分配非均匀码点的理论背景动机。第3.2节介绍了必要的GPU架构概念，并提供了设计指南

BVSR设计

本节描述了我们的大语言模型分布感知高效量化算法——BVSR。

实验

在本节中，我们介绍实验设置，包括所使用的模型、评估指标、基线方法、测试环境以及实验的实现细节。我们还将我们提出的方法BVSR的基准测试结果与其他基线量化方法进行了比较。

讨论与未来工作

尽管BVSR在4比特量化域下展现了强大的精度和推理速度，我们识别出两个值得讨论的主要限制。

极低比特率下的表示能力。?? 如第5.1节所述，BVSR在极低比特域（例如2-3比特）中缺乏可表示点。将BVSR扩展到在这些域中有效运行——可能通过结合BVSR与残差码本或混合精度的混合策略

结论

本研究介绍了BVSR，一种面向大语言模型（LLMs）的新型量化技术，能够在保持高精度量化的同时实现高速推理。BVSR将大语言模型权重映射到每个权重向量选择的非均匀量化点上，并引入了一种专用数据格式，配合为GPU上的快速GEMV操作优化的计算内核。大量实验结果表明，BVSR生成的码点适应于大语言模型权重的实际分布

CRediT作者贡献声明

Wonjun Bang：撰写——原始草稿、验证、软件、方法论、概念化。Jongseok Park：撰写——审阅与编辑、软件、方法论、概念化。Hongseung Yu：撰写——审阅与编辑、验证、数据整理。Sanghyun Han：撰写——审阅与编辑、概念化。Kyungmin Bin：撰写——审阅与编辑、概念化。Kyunghan Lee：撰写——审阅与编辑、监督、项目管理、资助获取、概念化。

资金来源

本研究未获得公共、商业或非营利部门资金机构的任何专项资助。

利益冲突声明

作者声明，他们不存在任何可能影响本文报告工作的已知竞争性经济利益或个人关系。

Wonjun Bang于2024年和2026年分别从首尔大学获得电气与计算机工程的学士和硕士学位。他目前在美国耶鲁大学攻读计算机科学博士学位。他的研究兴趣包括模型推理的高效系统和智能体人工智能。

Wonjun Bang|Jongseok Park|Hongseung Yu|Sanghyun Han|Kyungmin Bin|Kyunghan Lee