《Cyborg and Bionic Systems》:Beyond Static Representations: Learning Electroencephalogram Spatiotemporal Dynamics for Enhanced Emotion Recognition
编辑推荐:
基于脑电图(EEG)的情感识别在脑–计算机接口(brain–computer interface, BCI)和心理健康监测中发挥关键作用。然而,传统方法常忽视EEG通道间内在空间相关性,且未能有效建模全局时间依赖性与神经振荡连续性。为克服这些挑战,研究人员提出
基于脑电图(EEG)的情感识别在脑–计算机接口(brain–computer interface, BCI)和心理健康监测中发挥关键作用。然而,传统方法常忽视EEG通道间内在空间相关性,且未能有效建模全局时间依赖性与神经振荡连续性。为克服这些挑战,研究人员提出动态空间嵌入与时间注意力Mamba(Dynamic Spatial Embedding and Temporal Attention Mamba, DSE-TAM)框架。其动态空间嵌入(Dynamic Spatial Embedding, DSE)模块利用图卷积网络(graph convolutional network, GCN)动态捕获通道间关系,保持EEG表征的空间一致性。随后,时间注意力Mamba(Temporal Attention Mamba, TAM)模块将自注意力与状态空间模型(state-space model, SSM)结合,以联合优化长程时间依赖性和平滑过渡动态。在2个公开基准(DEAP和DREAMER)及一个内部CEED数据集上的大量实验表明,DSE-TAM优于最先进方法(state-of-the-art methods),在DEAP上达到79.75%(唤醒度)和78.27%(效价)准确率,在DREAMER上达到80.55%(唤醒度)和83.91%(效价)准确率,在CEED上达到73.75%(三分类)准确率。这些结果验证该框架在推进基于EEG的情感解码用于BCI方面的有效性。源代码见https://github.com/Raizeroko/DSE-TAM。
研究背景与问题:基于脑电图(electroencephalogram, EEG)的情感识别是情感脑–计算机接口(brain–computer interface, BCI)与心理健康监测的重要环节。传统方法多依赖手工特征或通道独立分段,易忽视EEG通道间内在空间相关性,且难以同时建模全局时间依赖与神经振荡连续性;循环网络受长程依赖限制,自注意力虽具全局感受野但排列不变性可能削弱时间连贯性。为此,研究人员提出DSE-TAM框架,旨在从原始EEG中联合学习动态空间关系与时间动态,提升情感解码性能。该研究发表于《Cyborg and Bionic Systems》,其意义在于为BCI中的EEG情感解码提供端到端时空建模方案。
关键技术方法(≤250字):研究构建DSE-TAM端到端框架。DSE将原始多通道EEG分为J个非重叠片段,以可学习邻接矩阵构建通道图,采用Chebyshev多项式近似谱图滤波,经二维卷积与池化生成时空token,并加入[CLS]标记和位置编码;浅层时间Mamba(Shallow Temporal Mamba, STM)基于选择性SSM(Mamba)作浅层时间预处理;TAM层串联自注意力(self-attention, STA)与STM以建模全局和局部时间依赖;[CLS]分类器输出分类,交叉熵损失训练。评价采用试次级K折(DEAP 10折、DREAMER 6折、CEED 5折)和留一被试交叉验证(leave-one-subject-out, LOSO),Wilcoxon符号秩检验经FDR校正。样本来源:公开DEAP(32名被试、32通道EEG)、公开DREAMER(23名被试、14通道EEG)、实验室自建CEED(35名被试、64通道采集、63个有效电极;经重庆邮电大学批准)。
研究结果:
(1)Decoding accuracies(解码准确率):通过试次级K折交叉验证,DSE-TAM在DEAP达到79.75%(arousal)和78.27%(valence),在DREAMER达到80.55%(arousal)和83.91%(valence),在CEED三分类达到73.75%,总体优于基线;LOSO下DEAP为61.29%/58.80%,DREAMER为61.96%/65.11%,CEED为59.59%,显示跨被试泛化竞争力。
(2)Confusion metrics(混淆矩阵):通过混淆矩阵比较,DSE-TAM分类更均衡,在低arousal和低valence等困难状态提升明显;DREAMER低valence准确率达92.03%,CEED对sad与neutral区分增强,正性情绪仍相对较低。
(3)Ablation study(消融实验):通过移除[CLS]、DSE、pre-STM、STM或将STA替换为STM等,各组件去除均导致下降;移除STA降幅最大(DEAP 18.67%、DREAMER 20.28%、CEED 29.32%),表明STM与STA互补、DSE和[CLS]均必要。
讨论部分总结:
Effects of EEG token encompassing temporal length P:对P∈{4,8,16,32,64}进行敏感性分析,P=16在多数设置最优,兼顾性能与泛化。
Impact of the [CLS] token position:比较[CLS]位于序列左、中、右端,左端一致较优,利于聚合序列级信息。
Temporal feature extraction structures:比较6种整合STM、STA与前馈网络(Feed-Forward Network, FFN)的结构,DSE-TAM最稳健;STM-only与STA-only各有局限,FFN对已有效的TAM无显著增益。
Interpretability and visualization:功能连接和时空动态可视化显示DSE学到神经科学上合理的连接模式,跨数据集存在稳定额–后连接;加权地形图增强前额、外侧颞和顶叶等与情感加工相关区域。
Computational efficiency analysis:比较准确率、乘加运算(multiply–accumulate operations, MACs)和参数量,DSE-TAM具有较好效率–性能折中;miMamba在CEED高通道下MACs较大且性能有限。
Limitations and future work:局限包括未显式按脑区划分通道、Mamba为单向状态转移、正性情绪分类较低、试次内同标签假设;未来将探索双向Mamba、多实例学习等。
研究结论部分译文:本文介绍DSE-TAM,一种用于EEG情感识别的新型有效端到端模型,旨在解决现有空间与时间建模技术的关键局限。通过利用GCN捕获EEG数据中的动态空间关系,并采用经自注意力增强的SSM进行更优时间动态提取,DSE-TAM有效建模EEG信号固有的局部与全局依赖。在DEAP、DREAMER和CEED数据集上的实验评估证明DSE-TAM的优越性能。这些进展在情感BCI、个性化医疗及其他需要准确可靠情感识别的相关领域具有较大潜力。未来工作将聚焦探索该框架在不同人群中的泛化性,并研究其在实时情感检测场景中的适用性。