卡拉卡尔帕克语自动语音识别中Whisper模型的参数高效微调方法比较

《Information》：Adapting Whisper to Karakalpak: Full, Layer-Selective, and Parameter-Efficient Fine-Tuning for Low-Resource Speech Recognition

　　

摘要

建设可靠的卡拉卡尔帕克语自动语音识别（ASR）受到转录语音稀缺的阻碍。Whisper 在许多语言上表现良好，但未经适配时其卡拉卡尔帕克语转录结果仍不可靠，主要原因是该语言结合了黏着语形态特征，并使用包含大多数其他正字法中不存在的字母的拉丁字母表。遵循最近的 Whisper 微调方案，我们在作者公开发布的卡拉卡尔帕克语语料库上适配 Whisper Large-v2，并比较全量微调、层选择性微调以及在冻结网络中使用轻量级模块（瓶颈适配器和低秩适配，LoRA）的效果。在说话人独立的测试集上，全量微调将词错误率（WER）从 37.70% 降低到 13.53%，字符错误率从 15.40% 降低到 5.42%。冻结下 13 个编码器层可达到可比的准确度（13.39% WER），而上层编码器和解码器中的适配器仅用 590 万可训练参数即可达到 15.59% 的 WER。替换的特殊字母仍是最常见的错误类型。全量微调使近亲语言哈萨克语和乌兹别克语的 WER 分别上升了 4.6 和 6.6 个百分点，而适配器和 LoRA 在很大程度上保持了多语言准确度。这些结果为卡拉卡尔帕克语 ASR 提供了可重复的参考点，未来可服务于教育、公共管理、无障碍访问和数字语言保护等领域的应用。