用于语言模型的混合精度量化：技术与前景

《ACM Computing Surveys》：Mixed-Precision Quantization for Language Models: Techniques and Prospects

　　语言模型（LMs）的快速规模化带来了前所未有的计算、内存和能耗需求，使其训练和部署日益难以持续。量化作为一种关键的压缩技术，通过减小模型体积、缓解内存瓶颈并加速推理而崭露头角。然而，尽管统一低位量化（如INT8、INT4）能带来显著的效率提升，却可能降低基于Transformer的语言模型中敏感组件的精度。混合精度量化通过在层间或张量内选择性分配精度，在效率与精度之间取得平衡，提供了一种有前景的替代方案。本综述全面概述了面向语言模型的混合精度量化框架（MXPLMs）。我们首先回顾量化基础，包括均匀与非均匀量化器、量化粒度以及后训练量化中广泛使用的方法。随后，我们根据比特分配策略以及跨权重、激活和键值缓存的精度配置，对近期MXPLM框架进行分类和比较。对比分析揭示了困惑度、零样本任务性能及部署权衡方面的差异。此外，我们将MXPLMs与早期面向深度神经网络的混合精度量化方法进行对比，识别出哪些策略可以迁移，哪些在语言模型场景下面临挑战。然后，我们讨论了与量化兼容的硬件、KV缓存与混合专家量化，并总结了开放问题和未来方向，包括硬件感知设计、激活量化以及面向十亿参数模型的可扩展优化方法。