采用高级数据增强技术的1D-CNN，用于强大的语音情感识别

《Scientific Reports》：A 1D-CNN with advanced data augmentation for robust speech emotion recognition

　　

摘要

语音情感识别在人机交互中发挥着重要作用，它能够让智能系统识别并响应人类的情绪状态。对于心理健康评估、医疗监测、虚拟助手以及人机机器人交互等应用而言，从语音信号中准确识别情感至关重要。然而，传统的语音情感识别方法往往依赖人工设计的声学特征，且由于数据集不平衡、说话人差异以及环境噪声等因素，其泛化能力较为有限。为解决这些问题，本研究提出了一种基于Conv1D的深度学习框架，通过结合多种声学特征及数据增强技术来实现更可靠的语音情感识别。该框架利用从语音信号帧中提取的梅尔频率倒谱系数、过零率以及均方根能量，来捕捉与频谱、时间及能量相关的情感特征。这些提取出的声学描述符会被依次拼接成一个统一的特征表示，作为输入传递给Conv1D架构，从而实现分层的时间特征学习。实验采用了RAVDESS、SAVEE、CREMA-D和TESS多个数据集构成的混合数据集进行测试。数据集被划分为训练集、验证集和测试集，同时针对训练样本应用了噪声注入、时间移位、音高调整和时间拉伸等数据增强技术，以提高模型的鲁棒性和类别平衡性。在七种不同情感类别上的实验结果表明，所提出的框架的测试准确率为94.91%，宏观F1分数为0.94，显示出在多种不同情感语境下的强大识别能力。实验结果证明，将具有区分度的声学特征提取、序列化特征表示以及基于Conv1D的时间学习方法相结合，能够显著提升语音情感识别的性能。该框架提供了一种高效且实用的解决方案，非常适合用于实际的人机语音情感识别应用。