DA-ICL：一种用于阿拉伯语自动语音识别错误校正的分布式感知上下文学习方法

《IEEE Access》：DA-ICL: Distribution-Aware In-Context Learning for Arabic Automatic Speech Recognition Error Correction

　　

摘要：

阿拉伯语语音识别面临诸多挑战，包括丰富的方言差异、复杂的形态结构以及数据匮乏等问题。虽然像HuBERT这样的自监督语音模型在声学特征表示方面表现优异，但它们缺乏解决阿拉伯语特有歧义所需的深度语言推理能力。大型语言模型则具备相应的语法和语义知识，不过其在系统性、实时的阿拉伯语语音识别错误修正中的应用仍有待深入研究。在本研究中，我们提出了一种新的两阶段框架，用于实现准确且高效的阿拉伯语语音识别优化。首先，我们在Common Voice阿拉伯语语料库上对HuBERT模型进行微调，得到的基准词错误率为19.3%。其次，我们引入了分布感知的上下文学习策略DA-ICL，该策略为阿拉伯语大型语言模型Aya-23-8B提供了一组经过系统分类的少样本示例，这些示例涵盖了语音混淆和形态拼写错误等语音识别错误类型。DA-ICL能够实现精确且符合原文结构的错误修正，将词错误率降至9.6%，同时不会导致句子结构发生不必要的变化。为了解决领域偏移和灾难性遗忘问题，我们还采用了低秩适配技术LoRA，以参数高效的方式将预训练的HuBERT模型适配到新领域。这种方法将跨领域词错误率从67%降低到了24%，同时保持了在原始领域的性能，从而证明了无需完全微调即可提升模型的泛化能力。我们的实验结果表明，将基于HuBERT的声学建模与基于大型语言模型的DA-ICL修正以及LoRA高效适配相结合，能够为阿拉伯语语音识别提供一种强大、准确且可扩展的解决方案，有效弥合了声学信号与语言知识之间的差距。在我们的测试中，该框架在Common Voice阿拉伯语语料库上的词错误率为9.6%，这一成绩显著优于Whisper-large模型（零样本情况下的错误率为47.49%，经过LoRA微调后的错误率为37.89%），充分体现了我们这种兼顾语言特点的识别方法的有效性。

查看更多