一种用于声学、音系和语义建模的两阶段自监督语音表示学习方法

《Artificial Life》：A Two-Stage Self-Supervised Speech Representation Learning for Acoustic, Phonetic and Semantic Modeling

　　

摘要：

以往的自监督语音表示学习方法主要关注声学和语音信息的编码，而忽略了语义信息的编码。在本文中，我们提出了一种两阶段的自监督语音表示学习方法，能够同时编码声学、语音以及语义信息。具体而言，在第一阶段，即语义建模阶段，从文本编码器中提取的语义知识被引入语音编码器，从而形成具有语义功能的语音编码器。在第二阶段，即分层建模阶段，该语义编码器作为教师模型，引导新的语音编码器进行语义建模。与此同时，这个新的语音编码器还会通过伪单元的掩码预测来预训练，以捕捉声学和语音信息。实验结果表明，我们的方法在SUPERB和SLUE这两个标准语音评测任务上，在声学、语音和语义方面都取得了优异的性能。此外，我们还证明，当与大型语言模型结合使用时，我们的语音编码器能发挥更强的作用。