面向EEG情绪识别的认知先验驱动的时间解耦与空间对齐网络

《Neurocomputing》：Cognitive-prior-driven temporal disentanglement and spatial alignment network for EEG emotion recognition

　　

摘要：神经科学研究表明，不同情绪状态在时间演变和大脑激活方面均表现出独特且动态的模式。然而，多尺度时间特征内部尺度共享分量与尺度特有分量的纠缠、跨脑叶空间异质性，以及局部与全局空间特征之间的语义鸿沟，阻碍了有效的情绪表征。本文提出一种认知先验驱动的时序解耦与空间对齐网络（CTDSANet），用于脑电（EEG）情绪识别。具体而言，首先基于已有的神经科学知识将脑电通道划分为四个脑叶区域。在时间维度上，采用改进的深度可分离卷积（MDWSC）提取多尺度特征，随后通过时序解耦策略分离并校准尺度共享分量与尺度特有分量。在空间维度上，应用跨注意力Transformer建模跨脑叶异质性，并提出区域语义对齐策略，通过对比学习将脑叶区域（局部）与全脑区域（全局）空间特征映射至共享表示空间，从而弥合二者之间的语义鸿沟。在四个公开数据集（DEAP、DREAMER、PhyMER和HBUED）上的大量实验表明，在受试者相关和受试者无关的三类与四类分类任务中，所提模型相较于最先进的基线方法均取得了具有竞争力的性能。结果凸显，解耦时序表示并对齐空间表示对提升情绪解码性能有显著贡献。

引言：情绪与人类的日常生活密不可分，并对心理健康产生尤为深远的影响[59]。近年来随着精神疾病发病率不断上升，开发准确高效的情绪识别方法对于通过早期干预有效降低人类心理风险具有重要意义[46]。目前，用于情绪识别的信号主要分为非生理信号（如面部表情[11]和语音[56]）和生理信号（如脑电图EEG[8],[17],[47],[62]与心电图ECG[21]）。脑电信号直接源于中枢神经系统，能够更客观、准确地反映情绪状态[16]。尤其是随着可穿戴设备的兴起，基于脑电分析的情绪识别近来备受瞩目[13]。

人类情绪受生理、心理及外部环境因素共同影响，其随时间呈现动态变化，并反映为脑电信号的波动。神经科学研究表明，不同情绪状态通常具有不同的持续时间；例如，与生存和安全相关的强烈负面情绪往往持续更久，而积极情绪通常更为短暂[12]。因此，提取多尺度时间表示对于全面解码情绪状态至关重要[10],[59],[65]。神经动力学研究进一步表明，情绪处理在大脑中通过跨越多个时间尺度的层级机制展开，由此产生两类分量：尺度共享分量与尺度特有分量。一方面，慢波（如delta/theta）与情感及动机调节相关，而快波（如alpha/beta/gamma）与感知及认知评价相关；这些不同频段节律并非各自独立作用，而是动态交互以产生跨尺度协同模式，如theta-alpha-beta耦合，形成尺度共享特征[18],[23],[24],[48]。另一方面，不同时间跨度的神经过程编码情绪的特有方面：早期gamma爆发捕捉快速的感知性反应，中潜伏期alpha/beta调制反映认知评价，而持续的delta/theta活动构成长期情感状态的底层基础。这些尺度特有分量携带互补且不重叠的信息[18],[23],[33],[60]。因此，同时提取这两类分量对于表征完整的情绪处理层级至关重要。然而，原始脑电信号本质上具有复合性，其中包含复杂神经动力学的叠加以及生理伪迹与外部噪声[15]。常规深度学习模型缺乏显式的数学约束，通常将这些信号视为同质混合物进行处理。因此，直接从原始脑电中提取多尺度时间特征，不可避免地导致多尺度时间特征无法在情绪表征中被充分利用。在这种情况下，背景性的尺度共享节律、瞬时性的尺度特有爆发与噪声在潜在特征空间内天然纠缠，这种纠缠从根本上阻碍了网络分离并利用与情绪相关的时间属性，从而限制了其解码效能。

除复杂的时间动态外，空间激活模式对于情绪解码同样至关重要。如图1所示，即使在特定时间尺度下，不同情绪状态（例如效价与唤醒度高低的不同组合）所激活的脑区也呈现出截然不同的空间分布。这直观地表明，脑电信号中蕴含的空间特征对于准确的情绪识别不可或缺。从空间视角进一步分析，情绪作为一种高级认知过程，与多个空间区域（包括不同脑叶和全脑）的神经活动密切相关[5],[29],[63]。脑叶区域级（局部）空间特征包含局部神经元或神经组装协同活动的信息[30],[63]，而全脑区域级（全局）空间特征则倾向于捕捉跨脑叶的大尺度整合信息[5],[27]。然而，构建高效的空间表示面临两大挑战。第一是跨脑叶异质性：不同脑叶对特定情绪状态的贡献并不均等。例如，额叶和枕叶在情绪认知中起主导作用[2],[28],[58]，且特定脑叶的表征能力在不同情绪之间存在差异[31]。第二是语义鸿沟：由于局部脑叶特征编码局部功能特化，而全脑特征反映大尺度整合，二者融合能够实现更全面的情绪识别空间特征刻画，但两者之间存在显著的语义差异[27]。直接融合往往无法充分利用二者的互补性来表征情绪状态。

鉴于不同尺度时间特征的纠缠是妨碍充分挖掘其在情绪状态表征中的共性与互补性的障碍，本文设计了一种时序解耦策略。此外，为消除局部空间特征中不同脑叶间的异质性以及局部空间特征与全局特征之间语义鸿沟对多尺度空间特征有效融合的影响，本文还设计了跨脑叶异质性缩减策略与语义鸿沟缩减策略。

上述策略使得所提模型能够分别从时序特征解耦与空间表示对齐的角度应对时间模式与空间模式建模中的上述挑战。由此，所提框架为利用互补的多尺度时间信息、整合异质多区域空间信息以进行脑电情绪识别提供了更为有效的手段。具体而言，主要贡献如下：

（1）为更好地利用多尺度时间特征在情绪状态表征中的共性与互补性，提出了一种时序解耦策略。基于改进深度可分离卷积（MDWSC）[59]所提取的多尺度时间表示，该策略显式地将每一个表示分解为尺度共享分量与尺度特有分量，从而实现对情绪相关时间信息更全面地建模，并缓解噪声的影响。

（2）为提升层级化空间表征学习，开发了一个空间建模框架，以同时应对跨脑叶异质性与局部和全局空间表示之间的语义鸿沟。具体而言，采用跨注意力Transformer促进不同脑叶之间的信息交互以建模跨脑叶异质性。此外，引入区域语义鸿沟缩减策略（RSGRS），在统一的语义空间中对齐局部脑叶级表示与全脑表示，以更好地利用二者之间的互补信息，实现更精准的情绪表征。

（3）在四个公开脑电数据集（DEAP[25]、DREAMER[22]、PhyMER[42]与HBUED[37]）上开展了大量实验，以全面评估模型在受试者相关场景（SDS）和受试者无关场景（SIS）下的三类与四类情绪识别任务性能。实验结果表明，所提模型在所有评价指标上相较于最先进（SOTA）模型均取得了具有竞争力的性能，前述每个关键模块都对整体性能提升有实质性贡献，且所提模型对各类超参数不敏感。CTDSANet的源代码可于 https://github.com/JakeBrukeXu/CTDSANet 获取。

节选部分

脑电情绪识别的时间特征提取：考虑到时间特征包含丰富的与情绪相关的信息，已有多种方法被提出用于从脑电信号中提取时间表示。Tao等[49]采用长短期记忆网络结合自注意力机制捕捉全局时间依赖关系；Arjun等[4]引入视觉Transformer进行时间特征提取。更近期，Wang等[54]提出了EEG-DINO，一种基于Transformer的脑电基础模型，该模型……

方法：受人脑在情绪认知过程中的层级化与多尺度处理机制启发，所提CTDSANet旨在对时序特征进行解耦、对空间特征进行对齐，以实现情绪识别。如图2所示，所提模型由四个模块组成：脑区划分、多尺度时序编码与解耦、面向空间对齐的多区域异质性缓解与语义鸿沟缩减，以及情绪预测。

数据集：本文在四个公开数据集上验证所提模型性能，包括DEAP[25]、DREAMER[22]、PhyMER[42]与HBUED[37]。

DEAP：该数据集包含32名受试者的记录，每位受试者观看40段一分钟视频，视频设计用于诱发特定的情绪反应。观看视频过程中，使用按国际10–20系统放置的32个电极采集脑电信号。观看每段视频后，受试者在……方面对其情绪体验进行评分。

讨论：所提模型的贡献可能在于时序解耦（TDS）的优越性、跨注意力Transformer相较于（传统）注意力（CA）的优越性，以及RSGRS中每种相似度损失的有效性。因此，对其有效性进行了进一步讨论。此外，作为一种认知先验驱动的模型，本文还讨论了先验知识的有效性。

结论与局限：多尺度时间特征中包含时序尺度共享特征与时序尺度特有特征，不同脑区的脑叶区域空间特征之间存在跨脑叶异质性，且脑叶区域与优化后的全脑区域空间特征之间存在语义鸿沟，这些都将影响基于脑电的情绪识别性能。因此，本文对此进行研究，并基于该先验知识提出一种模型，以提升……

CRediT作者贡献声明：许张勇：撰写—初稿，软件，方法论。陈宁：撰写—审阅与编辑，监督。李光强：数据整理。田野：数据整理。朱洪青：撰写—审阅与编辑。

利益冲突声明：作者声明不存在已知的竞争财务利益或个人关系，这些关系可能被认为会影响本文所述工作。

致谢：本研究得到国家自然科学基金资助[项目编号61771196、61872243]。

许张勇于2001年出生于中国福建省泉州市，2023年获华东理工大学自动化专业工学学士学位。现为华东理工大学博士研究生候选人。研究方向包括多模态、情感计算、时序信号分析与生理信号分析。

许张勇｜陈宁｜李光强｜田野｜朱洪青