PDGCN:一种用于脑电图(EEG)情感识别的渐进式双分支图卷积网络

《NEOTROPICAL BIOLOGY AND CONSERVATION》:PDGCN: A Progressive Dual-branch Graph Convolution Network for EEG Emotion Recognition

【字体: 大 中 小 】 时间:2026年04月20日 来源:NEOTROPICAL BIOLOGY AND CONSERVATION 0.8

编辑推荐:

  EEG情绪识别中,PDGCN模型通过渐进式多尺度时间特征提取与双分支图卷积协同建模,同时捕捉空间拓扑结构和动态连接,在SEED、SEED-IV、DEAP数据集上表现优于现有方法。

  
邱琳娜|吴敏进|胡友|龙白强|陈天健|潘嘉辉
华南师范大学人工智能学院,中国佛山,528225

摘要

脑电图(EEG)直接测量神经活动,为情绪识别提供了客观依据。然而,现有的基于图神经网络的方法往往无法同时捕捉EEG情绪信号的空间拓扑结构和自适应连接性,通常只关注单一尺度的特征提取。本研究提出了一种渐进式双分支图卷积网络(PDGCN),用于基于EEG的情绪识别。该框架将渐进式多尺度时间特征提取与双分支图卷积相结合,实现了对时间上下文化EEG表示的空间建模。具体而言,PDGCN首先从局部到全局尺度层次化地提取渐进式多尺度时间特征,然后采用双分支图卷积策略提取和融合空间特征:一个分支编码电极的内在空间拓扑结构,另一个分支通过可学习的邻接矩阵捕捉EEG通道之间的自适应交互。在SEED、SEED-IV和DEAP数据集上的跨受试者实验表明,PDGCN的性能与现有的代表性方法相当。所提出的方法为基于EEG的情绪识别提供了一种有效解决方案,并为多尺度和多视图脑信号处理引入了新的视角。我们的代码可在https://github.com/wuminjin/PDGCN公开获取。

引言

情绪识别是脑机接口(BCI)领域的一个重要研究课题,在人机交互、心理健康和临床医学中具有广泛的应用前景。与基于面部表情、语音和文本的情绪识别方法相比,基于脑电图(EEG)的方法可以直接反映大脑的神经活动,提供更真实和客观的情绪状态表示(Song等人,2021年)。因此,它在情感BCI研究中受到了广泛关注。
早期基于EEG的情绪识别研究主要依赖于传统的机器学习方法,如支持向量机(SVM)和k最近邻(KNN)。虽然这些方法验证了EEG信号在情绪识别中的可行性,但其泛化能力有限,在复杂和动态的现实世界场景中效果较差(Roy等人,2019年)。随着深度学习的发展,卷积神经网络(CNN)(Cui等人,2020年)和循环神经网络(RNN)(Zhang等人,2018年)被引入到EEG情绪识别任务中。这些方法可以自动从EEG信号中提取空间或时间特征,但它们倾向于忽略EEG通道之间的空间相关性,而这对于建模大脑区域之间的复杂连接模式至关重要(Shen等人,2025年)。
由于EEG通道在头皮上分布不规则且表现出复杂的神经连接特性,这些信号更自然地表现为图结构数据,而不是欧几里得空间数据(Bronstein等人,2017年)。最近,图神经网络(GNN)因其处理非欧几里得数据的优势而被广泛应用于EEG情绪识别中。特别是图卷积网络(GCN)在多项EEG研究中表现出良好性能,通过构建图结构来描述EEG通道之间的空间拓扑关系(Cao, Zhao, Sun, 2025; Li, Tang, Pan, Yang, Zhang, Chen, Li, Gao, Chen, Li等人,2024a; Tian, Wang, Gong, Xu, Chen, Wei, Wu, 2025)。然而,现有研究通常使用基于电极物理距离的静态邻接矩阵(Chen等人,2022年)或在图构建过程中使用功能连接模板(Li等人,2024a)。尽管这些方法可以反映大脑的内在空间拓扑特征,但它们在捕捉情绪状态或个体之间变化的微妙和动态连接模式方面缺乏灵活性(Liu等人,2024a)。为了提高模型对个体差异和情绪变化的敏感性,一些研究引入了动态图卷积机制,如动态图卷积神经网络(DGCNN)(Song等人,2018年)和融合深度卷积与自适应时空图卷积网络(DC-ASTGCN)(Yang等人,2024年),这些方法采用注意力机制或数据驱动策略来自适应学习EEG通道之间的依赖性。尽管这些方法提高了模型的灵活性和适应性,但它们往往忽略了大脑区域之间的内在拓扑约束,可能导致学习到的图结构偏离真实的生理意义(Lu等人,2024年)。总体而言,现有的图卷积方法仍然缺乏同时捕捉大脑内在空间拓扑结构和EEG通道之间动态连接性的有效机制。
除了空间建模外,时间特征提取也是基于EEG的情绪识别中的关键挑战。大多数现有方法从单一尺度的信号中提取时间信息。具体来说,这个尺度对应于时间感受野的大小。这些方法通常使用固定的感受野,这阻碍了短期模式和长期依赖性的同时捕捉(Li等人,2021年)。EEG信号本质上是非平稳的时间序列,情绪信息分布在多个时间尺度上。在单一固定感受野上进行卷积或池化可以捕捉某些类型的时间模式,但这要么强调短期变化而忽略长期依赖性,要么在关注更宽的时间跨度时平滑短期信息(Li等人,2024b)。此外,简单地堆叠多个卷积层来扩大感受野往往会导致冗余表示和信息稀释,其中较低层中的短期细节被过度平滑,最终降低识别性能(Li等人,2019年)。
为了解决这些挑战,本研究提出了一种统一的建模框架,称为渐进式双分支图卷积网络(PDGCN),旨在同时表征EEG信号中的时间多尺度和互补的空间关系,以实现跨受试者的情绪识别。PDGCN不是引入孤立的架构组件,而是以一种连贯的方式将渐进式多尺度时间提取与双分支图卷积架构相结合。具体来说,时间建模阶段从多个时间分辨率层次化地提取表示,而空间建模阶段使用并行的图卷积分支来捕捉不变的空间拓扑结构和自适应的动态连接性。双分支架构与渐进式多尺度提取模块的结合提供了强大的协同效应。渐进模块生成多时间表示,捕捉快速、中等范围和持续的情绪动态,这些不同的时间尺度自然会在后续的图处理中产生不同的连接模式。然后,双分支利用这些多尺度表示通过固定的空间图和可学习的数据驱动图来提取空间结构化特征。这种协调设计使PDGCN能够捕捉时间多尺度和互补的空间关系结构,超出了任何单一组件的能力。
本研究的主要贡献总结如下:
  • (1)
    我们提出了一种基于EEG的情绪识别的渐进式双分支图卷积网络,该网络同时建模时间多尺度和互补的空间关系。这种层次化的时空对齐策略使模型能够捕捉不同时间持续时间的不同空间连接模式。
  • (2)
    我们引入了一种双分支图卷积策略,通过两个图卷积分支同时捕捉大脑区域的内在空间拓扑结构和动态连接性。这种策略深入集成到渐进式时间提取过程中,确保了抗噪声的稳定性,同时对复杂交互模式保持敏感性。
  • (3)
    我们在SEED、SEED-IV和DEAP数据集上进行了全面的实验和消融研究,证明了所提出框架的有效性,并验证了其时间和空间建模组件的互补贡献。
  • 部分内容

    基于EEG的情绪识别

    由于EEG易于获取且准确率高,因此在情绪识别领域受到了广泛关注。在情绪识别过程中,特征提取和分类是两个关键步骤。常见的特征包括时域特征(如事件相关电位、功率、标准差和高阶矩)、频域特征(如带功率)以及通过短时傅里叶变换提取的时频域特征,

    提出的方法

    所提出的PDGCN的整体框架如图1所示,包括一个渐进式多尺度提取模块、一个双分支图卷积模块和一个全连接层。首先,从过滤后的EEG信号中提取的DE特征被用作输入,因为这种特征在情绪识别任务中被广泛证明是有效的(Song等人,2018年)。然后,通过逐层卷积和池化对DE特征进行渐进式处理以获得

    SEED数据集

    SEED数据集(Duan等人,2013年)包含15名受试者的EEG数据,其中7名为男性,8名为女性。实验使用了15个电影视频片段来刺激受试者的各种情绪,每个视频大约持续4分钟。在实验过程中,每位受试者需要进行3次实验,每次观看15个视频,间隔大约一周。材料的情感标签分为积极、中性和消极。

    与现有方法的比较

    我们使用准确率(ACC)、F1分数和曲线下面积(AUC)评估了所提出模型的性能。图2和图3分别显示了PDGCN模型在SEED和SEED-IV数据集上的结果。结果表明,PDGCN在大多数受试者上表现一致地高。在SEED数据集上,AUC值通常高于0.97,而ACC和F1分数均超过0.90。值得注意的是,受试者s07和s14的ACC值

    结论

    本研究提出了PDGCN,这是一种基于EEG的情绪识别统一框架。所提出的方法将渐进式多尺度提取机制与双分支图卷积策略相结合。具体来说,该设计从局部到全局层次化地提取时间特征,同时捕捉不变的空间拓扑结构和自适应的通道间连接。通过将多尺度时间动态与互补的特征对齐

    CRediT作者贡献声明

    邱琳娜:撰写——原始草案,资金获取,正式分析,概念化。吴敏进:撰写——原始草案,验证,方法论,调查,数据管理。胡友:撰写——审阅与编辑,可视化,验证。龙白强:撰写——审阅与编辑,方法论,调查。陈天健:撰写——审阅与编辑,数据管理。潘嘉辉:撰写——审阅与编辑,监督,项目管理。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

    致谢

    本研究部分得到了国家自然科学基金(NSFC)项目82302339和62576142、广东省高等学校特色创新项目(项目编号2024KTSCX097)以及广东省基础与应用基础研究基金(项目编号2023A1515140100)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号