TS-CNN-LSTM：基于脑电图（EEG）的情绪识别技术，该方法适用于混合主体群体和跨主体实验协议，并采用了变分模态分解（Variational Mode Decomposition）算法

《IEEE Access》：TS-CNN-LSTM: EEG-Based Emotion Recognition Across Mixed-Subject and Cross-Subject Protocols Using Variational Mode Decomposition

　　

摘要：

利用脑电图（EEG）信号进行情感识别是情感计算领域的关键研究方向。现有的基于EEG的方法通常依赖于有限的特征表示，并且没有充分运用深度学习架构，这限制了它们捕捉EEG信号复杂的时域、空域和频谱特征的能力。为了解决这些问题，本研究提出了一个新颖的多特征EEG情感识别框架TS-CNN-LSTM。首先，通过变分模态分解（VMD）对EEG信号进行分解，从而实现改进的时频分析。从VMD结果中提取频域特征，并结合时域和非线性特征。将九种不同的特征类型进行组合，并转换为九维多谱表示，以保持时域-空域-频谱之间的关系。这些表示通过三流（TS）架构进行处理，该架构包括并行的1D、2D和3D卷积神经网络（CNN）以及长短期记忆（LSTM）网络。1D-CNN捕捉频谱特征，2D-CNN提取空间依赖性，3D-CNN学习联合的空间-频谱表示，而LSTM建模序列动态。该模型在SEED和DEAP基准数据集上进行了评估，采用了混合受试者和跨受试者测试协议。结果表明，TS-CNN-LSTM在混合受试者评估中表现出强劲的性能，同时也凸显了由于受试者之间EEG信号差异而导致的跨受试者泛化挑战。所提出的框架为基于EEG的情感识别提供了一种综合方法，将多域特征提取与三流CNN-LSTM架构相结合。