堆叠脑电频谱图与注意力增强型CNN-LSTM用于跨被试情感识别

《Journal of Neuroscience Methods》：Stacked EEG spectrograms and an attention-augmented CNN–LSTM for subject-independent emotion recognition

　　

•堆叠的脑电（EEG）频谱图在输入层面整合了多通道结构。
•注意力增强型 CNN-LSTM 实现了 82.34% 的独立于受试者的准确率。
•早期通道整合始终优于单通道方法。
•该框架在公开 SEED-IV 基准上进行了验证，准确率达到 84.51%。
•使用消费级 14 通道脑电硬件演示了实用方法。

引言
可靠的情绪识别是情感计算、自适应人机交互（HCI）和情感脑机接口（aBCI）的关键要求。由于情绪状态会影响感知、决策和行为，能够推断用户情感状态的系统可能支持更响应性和个性化的交互。然而，自动情绪识别仍然困难，因为情绪反应在个体之间存在异质性，并随时间动态演变。
传统的情绪识别严重依赖面部表情、语音和肢体动作等可观察线索。尽管有用，但这些模态容易受到自愿抑制、文化差异和上下文歧义的影响。生理信号提供了更直接的内部情感过程视图。其中，脑电图（EEG）尤其引人注目，因为它是非侵入性的，提供毫秒级的时间分辨率，并捕获与情绪处理密切相关的神经活动。因此，基于 EEG 的情绪识别引起了广泛的研究关注，正如最近的几篇综述所反映的那样（Wang et al., 2023, Ma et al., 2024, Liu et al., 2025a, Hamzah and Abdalla, 2024）。
早期的基于 EEG 的情绪识别研究主要使用手工特征结合传统分类器，如支持向量机（SVM）、k 近邻和随机森林。这些方法计算效率高，但严重依赖手动特征设计，可能无法捕获 EEG 信号的非线性、非平稳和个体可变特性。相比之下，深度学习能够直接从结构化 EEG 表示中进行分层特征提取，因此已成为近期 EEG 情绪识别研究中的主导方法（Cheng et al., 2024, Dhara et al., 2024）。
时频表示尤其具有影响力，因为它们保留了时间动态和特定频率的神经活动。由短时傅里叶变换（STFT）得出的频谱图将一维 EEG 序列转换为可由卷积神经网络（CNN）有效处理的二维地图（Chakravarthi et al., 2022, Wang et al., 2024）。基于分段的预处理也已用于 EEG 特征提取和分类之前（Mahmood et al., 2025）。与此同时，混合 CNN-循环和基于注意力的架构也被探索用于建模纯卷积模型可能忽略的长程依赖关系（Chakravarthi et al., 2022, Wang et al., 2024, Gong et al., 2023）。尽管取得了这些进展，但许多基于频谱图的研究要么独立分析通道，要么仅在通道特征提取后才融合信息——例如在逐通道特征提取后应用基于图（Chen et al., 2024）或时空注意力（Zhu et al., 2024）的融合——这可能削弱了模型在早期阶段学习通道间结构的能力。
为了解决这个问题，我们提出了一种堆叠时频谱图表示，将逐通道频谱图垂直连接成单个复合输入，使通道间结构从第一个卷积层开始就对网络可见，而不是像大多数现有基于频谱图或后期融合方法那样，仅在通道特征提取后才可见。我们进一步引入了一种注意力增强型 CNN-LSTM 架构，结合卷积特征学习、时间序列建模，以及在该堆叠表示中对信息片段的自适应强调。该框架在严格的留一受试者法（LOSO）协议下进行评估，并额外在公开 SEED-IV 基准上进行外部评估，以评估观察到的增益是否能泛化到单个数据集和记录设置之外。
本研究的主要贡献如下：
•早期、保持结构的多通道整合。与将通道独立处理或通过后期融合合并的先前基于频谱图的方法不同，我们引入了一种堆叠频谱图表示，直接在输入层面整合时间、频谱和通道结构的 EEG 信息，使网络能够从最早的处理阶段学习通道间关系。
•针对堆叠表示定制的注意力增强型 CNN-LSTM。我们开发了一种注意力增强型 CNN-LSTM，在捕获局部谱时模式的同时，专门针对堆叠的多通道输入中的长程时间依赖关系进行建模——这种组合此前尚未用于这种堆叠、早期融合表示。
•严格的、注重泛化的评估。我们在自有数据集上采用留一受试者法协议验证了框架，并额外在独立的公开 SEED-IV 基准上进行评估，采用 LOSO 交叉验证。这些结果提供了证据，表明所提出的框架可以在原始数据集和记录队列之外进行评估，但并不意味着观察到的增益与数据集或硬件差异无关。
•消费级硬件的实用性。我们演示了使用消费级 14 通道脑电耳机进行独立于受试者的情绪识别，表明在资源受限的情感计算环境中具有潜在适用性，无需研究级脑电系统。

章节片段
情绪建模和情感标注
建立情绪表示的理论框架是可靠情绪识别的先决条件。在情感研究中，广泛采用了两种主导范式：Ekman 提出的类别模型（Ekman, 1999）和 Russell 引入的维度模型（Russell, 1980），如图 1 所示。Ekman 确定了六种基本情绪类别，被认为是具有生物学基础且跨文化普遍表达的。Russell 提出了圆周模型

机构审查委员会（IRB）
本研究按照《赫尔辛基宣言》进行，并获得了延世大学机构审查委员会的批准（IRB No. 7001988-201807-HR-424-03）。实验前获得了所有参与者的书面知情同意。

参与者
共有 23 名健康志愿者（9 名女性；年龄范围，21–33 岁；平均 ± 标准差，25.67 ± 3.60 岁）参加了研究。所有参与者均为右撇子，视力正常或矫正至正常，并报告没有病史

使用 STFT 的时频表示
时频表示是使用短时傅里叶变换（STFT）生成的。STFT 使用 64 个样本（0.5 秒）的汉明窗和 50% 的重叠进行计算。FFT 点数设置为 128，在 4–45 Hz 范围内产生 1 Hz 的频率分辨率。频谱幅度转换为对数功率刻度。生成的频谱图使用最小 - 最大缩放进行归一化，并通过双线性插值调整大小为 224 × 224 像素。频谱图生成是

分类模型
我们使用传统机器学习基线和几种深度学习模型评估了所提出的框架。支持向量机（SVM）被用作传统基线。深度学习模型包括一层 CNN、三层 CNN、VGG16 网络、CNN-LSTM 基线和所提出的注意力增强型 CNN-LSTM。

样本量
训练样本数量根据分类器和输入表示而有所不同。在单通道设置中，每个通道窗口被视为独立样本。在堆叠设置中，同一时间窗口的通道段被合并为单个复合输入，减少了总样本数，同时保留了多通道信息。每种配置的样本数总结在表 6 中。

超参数设置
超参数是通过初步实验选择的

总体分类器性能
表 7 总结了不同特征表示和分类器的分类性能。基线 SVM 达到了 54.87% 的平均准确率。在单通道频谱图上训练的 CNN 表现相似或更差（41.81%–49.00%），表明孤立的通道表示不足以进行稳健的情绪判别。相比之下，堆叠的多通道频谱图 consistently 提高了性能：平均准确率达到 52.95%（一层 CNN），62.21%（三层

讨论
本研究得出了几项重要发现。首先，堆叠的多通道频谱图在所有评估的深度学习模型中 consistently 优于单通道表示，表明在输入阶段向网络展示通道结构信息有助于学习与情绪处理相关的分布式神经活动。
其次，模型架构在确定分类性能方面发挥了有意义的角色。浅层 CNN 显示

局限性与未来工作
尽管有这些令人鼓舞的发现，但应承认存在几个局限性。首先，样本量较小（n = 23），这可能限制了结果的泛化性。虽然 LOSO 协议减少了受试者特定偏差，但需要更大、更多样的队列来确认所提出框架的鲁棒性。
其次，条件之间的原始训练样本数量存在方法论上的不对称性。单通道设置产生了多得多的样本

结论
本研究提出了一种用于基于 EEG 的情绪识别的堆叠频谱图框架，该框架在统一表示中整合了时间、频谱和通道结构信息。通过垂直连接特定通道的频谱图，所提出的输入设计实现了早期多通道整合，并比传统单通道方法为深度学习提供了信息量更大的基础。
实验结果表明，注意力增强型 CNN-LSTM 实现了

缩写
aBCI，情感脑机接口；CNN，卷积神经网络；CMS，共模感应；DRL，驱动右腿；EEG，脑电图；FFT，快速傅里叶变换；FIR，有限脉冲响应；HCI，人机交互；ICA，独立成分分析；IRB，机构审查委员会；LOSO，留一受试者法；LSTM，长短期记忆；RBF，径向基函数；RGB，红 - 绿 - 蓝；SAM，自我评估人偶量表；STFT，短时傅里叶变换。

CRediT 作者贡献声明
Guiyoung Son：写作 – 审阅与编辑，写作 – 原稿，可视化，验证，监督，资源，项目管理，方法论，数据整理，概念化。

伦理声明
已从所有参与者或其法定代理人获得参与研究和发表文章的书面知情同意。已遵守参与者的隐私权。
本研究按照研究所在地的相关法律、监管框架和指南进行。本研究获得了延世大学的批准。（批准号 IRB No. 7001988-201807-HR-424-03）

伦理批准
经延世大学 IRB 批准（No. 7001988-201807-HR-424-03）。已从所有参与者获得书面知情同意。

发表同意
不适用。

资金支持
由韩国国家研究基金会（NRF）通过教育部资助的基础科学研究计划支持（RS-2026-25554297）。

利益冲突声明
作者声明，他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本论文中报告的工作。

致谢
不适用。

Guiyoung Son