高速率量化矩阵乘法 II

《IEEE BITS the Information Theory Magazine》：High-Rate Quantized Matrix Multiplication II

　　摘要：这是关于量化矩阵乘法（MatMul）研究的第二部分工作。在第一部分中，我们探讨了无校准量化的情况，而本文则讨论在第二个因子的列的协方差矩阵 Σ_X 可用的设置下进行研究。该设置出现在大语言模型（LLM）的仅权重训练后量化这一普遍任务中。仅权重量化与加权均方误差（WMSE）信源编码问题相关，其经典的（反向）注水解决方案规定了如何在向量的各坐标之间分配速率。我们展示了如何利用注水方法来改进实际的LLM量化算法（GPTQ），该算法目前采用均匀分配速率的方式。我们对近期提出的一个仅使用标量INT量化器的方案（称为"WaterSIC"）进行了分析，并证明其高速率性能具有以下特点：(a) 与基无关，即由 Σ_X 的行列式所表征，因此与现有方案不同，该方法对施加随机旋转具有免疫性；(b) 在信息论失真极限的 2πe/12（或 0.25 bit/entry）的乘法因子范围内。GPTQ的性能则受基选择的影响，但对于随机旋转以及来自 Llama-3-8B 的实际 Σ_X，我们发现其性能在 0.1 bit（取决于层类型）以内接近 WaterSIC，这表明采用随机旋转的 GPTQ 同样接近最优，至少在高速率区域如此。