基于深度学习的多语言语音合成技术，采用多特征融合方法

《ACM Transactions on Asian and Low-Resource Language Information Processing》：Deep Learning based Multilingual Speech Synthesis using Multi Feature Fusion Methods

传统拼接式语音合成技术存在可懂度低、自然度不足的问题，CNN上下文深度学习方法在敏感语音合成中不够稳健。本文提出一种新模型，通过最小化非周期失真提升通信识别能力，虽接近人类语音仍有可听缺陷。改进需增加隐藏层与节点，优化网络结构及算法，以解决少数据拟合和参数存储问题。

　　

摘要

传统串联语音合成技术存在的两大主要问题是语音可懂度低以及合成效果异常。卷积神经网络（CNN）的基于上下文的深度学习方法在处理敏感的语音合成任务时还不够稳健。我们提出的方法有望解决这些问题，并简化语音合成的复杂流程。该模型所具有的最小非周期性失真特性使其成为通信识别模型的理想选择。尽管语音合成仍存在一些可听见的缺陷，但我们的方法已经尽可能接近人类真实语音的表现。此外，在利用自然语言处理技术将情感分析融入文本分类方面，还有许多值得深入研究的工作有待完成。不同国家之间人们的情感表达强度存在显著差异。为了提升语音合成效果，模型需要在更新的混合密度网络中加入更多的隐藏层和节点。为了让我们的算法发挥最佳性能，需要构建更为稳健的网络架构并采用更高效的优化方法。我们希望读者在阅读本文并尝试提供的示例数据后，无论是经验丰富的研究人员还是初学者，都能更好地理解构建深度学习模型所涉及的各个步骤。尽管在训练数据量有限的情况下仍存在拟合问题，但该模型正在取得进步。基于深度学习的方法需要更多的内存空间来存储输入参数。