一种采用双向微缩量化技术的LLM加速器

《IEEE Open Journal of the Solid-State Circuits Society》：An LLM Accelerator with Bidirectional Microscaling Quantization

　　

摘要：

大型语言模型（LLMs）在视觉、文本和视频领域取得了显著的成功，远远超过了传统的神经网络。然而，这种成功伴随着巨大的内存访问和计算需求。量化是一种广泛使用的技术，用于减少模型的开销。微缩量化是一种新颖的细粒度量化方案，它采用更细的块级划分方式，与传统的每张量量化方法相比，性能更优越。然而，模型中异常值的普遍存在仍然对微缩量化带来了挑战。首先，固定块的划分模式无法适应异常值的随机分布，导致量化性能下降。其次，块内的异常值会在低比特量化中产生过大的数值误差，迫使使用更高的比特宽度，从而浪费能源。为了解决这些问题，我们首先提出了一种双向划分的微缩量化方法，该方法可以动态选择异常值较少的划分方向。其次，我们将异常值和非异常值分为稀疏数据和密集数据，使得大部分非异常值数据能够有效地量化到低比特宽度。第三，我们设计了密集/稀疏混合核心来分别处理非异常值和异常值数据。实验结果表明，我们的方法平均将异常值数量减少了35.9%，内存访问减少了66.7%。所提出的加速器在MXFP4平台上实现了9.81 TFLOPS/W的峰值能效，并且比现有的最先进加速器能耗低1.49倍，速度高1.38倍。