基于深度卷积神经网络的时频表示在构音障碍与帕金森病语音质量指标估计中的比较研究

《Scientific Reports》：Estimation of voice quality parameters of dysarthric speech with preserved identity using different time-frequency image representations in deep learning network

　　摘要语音语言病理学家使用原始语音的语音质量指标来评估构音障碍。与其使用原始语音，不如使用基于深度学习的诊断方法，从时频语音表示中提取这些指标，这将更加可靠并能保留说话者身份。在这项工作中，实验性地使用基于回归的深度卷积神经网络来估计抖动、微颤、基频（F0）和谐波噪声比（HNR），采用了6种不同的时频表示方法：频谱图、低频频谱图、倒谱图、低频倒谱图、耳蜗图和梅尔频谱图。实验在VOC-ALS构音障碍语音数据集上使用均方根误差（RMSE）和R2指标进行评估，其中低频倒谱图在所有元音上表现良好，抖动的平均RMSE为0.76%，微颤的平均RMSE为2.36%，谐波噪声比的平均RMSE为4.075 dB；而对于基频，倒谱图显示出最高的精度，平均RMSE为21.05 Hz。在帕金森病语音数据集（PC-GITA）上，倒谱图产生的平均RMSE最低，分别为抖动（0.57%）、基频（46.65 Hz）和谐波噪声比（3.80 dB），紧随其后的是低频倒谱图，抖动的平均RMSE为0.58%，基频为48.53 Hz，谐波噪声比为4.10 dB。对于微颤，低频倒谱图达到了最低的平均RMSE（2.64%）。结果表明，低频倒谱图和倒谱图表示在构音障碍和帕金森病语音的所有元音中表现最好。