情绪识别是脑机接口(BCI)领域的一个重要研究课题,在人机交互、心理健康和临床医学中具有广泛的应用前景。与基于面部表情、语音和文本的情绪识别方法相比,基于脑电图(EEG)的方法可以直接反映大脑的神经活动,提供更真实和客观的情绪状态表示(Song等人,2021年)。因此,它在情感BCI研究中受到了广泛关注。
早期基于EEG的情绪识别研究主要依赖于传统的机器学习方法,如支持向量机(SVM)和k最近邻(KNN)。虽然这些方法验证了EEG信号在情绪识别中的可行性,但其泛化能力有限,在复杂和动态的现实世界场景中效果较差(Roy等人,2019年)。随着深度学习的发展,卷积神经网络(CNN)(Cui等人,2020年)和循环神经网络(RNN)(Zhang等人,2018年)被引入到EEG情绪识别任务中。这些方法可以自动从EEG信号中提取空间或时间特征,但它们倾向于忽略EEG通道之间的空间相关性,而这对于建模大脑区域之间的复杂连接模式至关重要(Shen等人,2025年)。
由于EEG通道在头皮上分布不规则且表现出复杂的神经连接特性,这些信号更自然地表现为图结构数据,而不是欧几里得空间数据(Bronstein等人,2017年)。最近,图神经网络(GNN)因其处理非欧几里得数据的优势而被广泛应用于EEG情绪识别中。特别是图卷积网络(GCN)在多项EEG研究中表现出良好性能,通过构建图结构来描述EEG通道之间的空间拓扑关系(Cao, Zhao, Sun, 2025; Li, Tang, Pan, Yang, Zhang, Chen, Li, Gao, Chen, Li等人,2024a; Tian, Wang, Gong, Xu, Chen, Wei, Wu, 2025)。然而,现有研究通常使用基于电极物理距离的静态邻接矩阵(Chen等人,2022年)或在图构建过程中使用功能连接模板(Li等人,2024a)。尽管这些方法可以反映大脑的内在空间拓扑特征,但它们在捕捉情绪状态或个体之间变化的微妙和动态连接模式方面缺乏灵活性(Liu等人,2024a)。为了提高模型对个体差异和情绪变化的敏感性,一些研究引入了动态图卷积机制,如动态图卷积神经网络(DGCNN)(Song等人,2018年)和融合深度卷积与自适应时空图卷积网络(DC-ASTGCN)(Yang等人,2024年),这些方法采用注意力机制或数据驱动策略来自适应学习EEG通道之间的依赖性。尽管这些方法提高了模型的灵活性和适应性,但它们往往忽略了大脑区域之间的内在拓扑约束,可能导致学习到的图结构偏离真实的生理意义(Lu等人,2024年)。总体而言,现有的图卷积方法仍然缺乏同时捕捉大脑内在空间拓扑结构和EEG通道之间动态连接性的有效机制。
除了空间建模外,时间特征提取也是基于EEG的情绪识别中的关键挑战。大多数现有方法从单一尺度的信号中提取时间信息。具体来说,这个尺度对应于时间感受野的大小。这些方法通常使用固定的感受野,这阻碍了短期模式和长期依赖性的同时捕捉(Li等人,2021年)。EEG信号本质上是非平稳的时间序列,情绪信息分布在多个时间尺度上。在单一固定感受野上进行卷积或池化可以捕捉某些类型的时间模式,但这要么强调短期变化而忽略长期依赖性,要么在关注更宽的时间跨度时平滑短期信息(Li等人,2024b)。此外,简单地堆叠多个卷积层来扩大感受野往往会导致冗余表示和信息稀释,其中较低层中的短期细节被过度平滑,最终降低识别性能(Li等人,2019年)。
为了解决这些挑战,本研究提出了一种统一的建模框架,称为渐进式双分支图卷积网络(PDGCN),旨在同时表征EEG信号中的时间多尺度和互补的空间关系,以实现跨受试者的情绪识别。PDGCN不是引入孤立的架构组件,而是以一种连贯的方式将渐进式多尺度时间提取与双分支图卷积架构相结合。具体来说,时间建模阶段从多个时间分辨率层次化地提取表示,而空间建模阶段使用并行的图卷积分支来捕捉不变的空间拓扑结构和自适应的动态连接性。双分支架构与渐进式多尺度提取模块的结合提供了强大的协同效应。渐进模块生成多时间表示,捕捉快速、中等范围和持续的情绪动态,这些不同的时间尺度自然会在后续的图处理中产生不同的连接模式。然后,双分支利用这些多尺度表示通过固定的空间图和可学习的数据驱动图来提取空间结构化特征。这种协调设计使PDGCN能够捕捉时间多尺度和互补的空间关系结构,超出了任何单一组件的能力。
本研究的主要贡献总结如下:
(1)我们提出了一种基于EEG的情绪识别的渐进式双分支图卷积网络,该网络同时建模时间多尺度和互补的空间关系。这种层次化的时空对齐策略使模型能够捕捉不同时间持续时间的不同空间连接模式。
(2)我们引入了一种双分支图卷积策略,通过两个图卷积分支同时捕捉大脑区域的内在空间拓扑结构和动态连接性。这种策略深入集成到渐进式时间提取过程中,确保了抗噪声的稳定性,同时对复杂交互模式保持敏感性。
(3)我们在SEED、SEED-IV和DEAP数据集上进行了全面的实验和消融研究,证明了所提出框架的有效性,并验证了其时间和空间建模组件的互补贡献。