面向极低比特与多精度的Conformer及语音基础模型量化

《Artificial Life》：Towards Extremely Low-Bit and Multi-Precision Conformer and Speech Foundation Model Quantization

　　

摘要：

模型量化为在资源受限设备上部署自动语音识别（ASR）模型提供了一条可行路径。然而，现有方法面临重大挑战：1) 在极低比特率（<4位）下精度严重下降；2) 多精度部署所需的存储冗余；3) 跨多种训练范式的适应性有限。在本文中，我们通过提出两种不同的量化方法来应对这些局限性，每种方法都针对特定的ASR训练范式，但都共享"协同训练"的理念以实现灵活的多精度推理。a) 对于可以完全重新训练的场景（例如监督式Conformer），我们提出了量化感知协同训练（QACT）。这种基于梯度的方法联合优化权重共享的子网络，构建一个能够进行动态2位和1位推理的"一体化"模型。它实现了性能无损的压缩（在Switchboard数据集上2位时WER为12.86%），但需要大量计算资源。b) 对于重新训练计算成本过高的基础模型（例如Whisper、HuBERT），我们提出了码本共享向量量化（CSVQ）。这种基于分解的方法通过分层优化共享码本，将协同训练策略适应于后训练阶段。与标准标量量化相比，CSVQ通过成功缓解HuBERT和Whisper等大规模模型中常出现的严重WER上升，显著提高了后训练量化（PTQ）性能。此外，它能够在不引入额外存储开销的情况下实现稳健的2/3/4位多精度部署，有效解决了十亿参数模型的"内存瓶颈"问题。在监督式（Conformer）、自监督式（Wav2Vec2、HuBERT）和弱监督式（Whisper）范式中的大量评估证明了我们提出的低位解决方案的有效性。作为关键要点，本工作提供了一个原则性的部署...

显示更多