基于变分自编码器赋能的自模块注意力神经网络的EEG与语音多模态情绪识别方法

《Scientific Reports》：Attention with variational autoencoder enabled one-dimensional convolutional memory network for emotion recognition using EEG and speech signals

　　

摘要

情绪识别是一项新兴任务，旨在识别个人的多样化情绪状态。此前，已有许多尝试旨在识别个人情绪并以更好的性能对其进行有效分类。然而，在人类情绪检测过程中仍存在若干局限性，如计算功耗高、识别准确率有限以及多模态识别多样性等问题。因此，本研究提出了一种基于变分自编码器（VAE）赋能的自模块注意力一维卷积神经网络与长短期记忆网络（SMAVA-1DCNN-LSTM），该方法克服了先前方法的局限性，并以最小的计算复杂度提供了稳健的检测结果。研究中，通过内部生理信号（脑电图，EEG）和语音音调来识别情绪。在评估过程中，通过多种特征提取机制提取语音和EEG信号的重要特征，从而通过最小化过拟合问题来提升分类准确率和训练过程。具体而言，自模块注意力（SMA）机制有助于融合模态特定的信息特征，以便关注输入多模态数据中的关键部分。实验结果表明，SMAVA-1DCNN-LSTM方法在情绪识别中表现出卓越的性能，在EAV数据集上使用90%的训练数据时，准确率为97.70%，F1分数为97.79%，敏感性为97.06%，MCC为0.954，精确率为98.54%，特异性为98.34%。