基于注意力驱动的离散表示学习与音色保持增强技术的语音增强方法

《IEEE Open Journal of the Computer Society》：Attention-Driven Alaryngeal Speech Enhancement via Discrete Representation Learning and Timbre-Preserving Augmentation

　　

摘要：

喉切除术后的患者往往难以清晰自然地说话，喉上语音增强技术旨在改善这类患者的表达能力。现有的方法多基于直接频谱映射或帧级语音转换，未能充分利用语音的语言结构，且受限于有限的病理数据。我们提出了一种多阶段框架，结合离散表示学习与注意力驱动的特征对齐技术。首先通过某种量化方法对WavLM嵌入进行量化，再由语音语言模型将喉上语音符号转换为正常语音符号，随后进行基于Conformer的重建。接着，注意力驱动特征匹配器通过三个相互关联的模块进一步优化特征：具有可学习缩放功能的残差特征增强器、对最接近的正常语音邻居进行软对齐的多头注意力匹配器，以及用于估算每帧置信度的质量预测器，该置信度可作为推理时的可靠性指标。最后，HiFi-GAN声码器用于生成波形。为解决数据不足的问题，我们引入了多掩码GAN增强策略，在MaskCycleGAN-VC的基础上加入音色相似性损失函数，以保持说话人的身份特征。在泰语和英语语料库上的测试显示，该方法在两种语言中的说话人相似度均达到最高水平（泰语为0.858，英语为0.850），其FAD值（泰语为5.252，英语为5.385）和MCD值（泰语为5.644，英语为5.322）也处于竞争水平或处于行业领先地位，相比kNN-VC方法，FAD值可降低27.3%。主观测试表明，听众更偏好这种处理后的语音（英语为77%，泰语为67%）。