面向跨数据集脑电情感识别的掩码生成-对比表示学习

《Neurocomputing》：Masked Generative-Contrastive Representation Learning for Cross-Dataset EEG-Based Emotion Recognition

　　

# 摘要

自监督学习（SSL）通过改进表征学习和模型泛化能力，在跨数据集迁移方面展现出强大的潜力。然而，其在基于EEG的情绪识别领域的应用仍处于待探索状态。现有的SSL方法难以捕捉EEG信号在不同通道配置下的复杂时空依赖性，难以提取对噪声具有鲁棒性的细粒度表征，也难以获得能够跨被试良好泛化的全局特征。为应对这些挑战，我们提出了掩码生成对比表征学习（MGCRL），一种专为基于EEG的情绪识别而设计的新型SSL框架。MGCRL基于区域感知的时空编码器，整合了生成式学习和对比式学习，以获得互补的局部和全局判别性表征，从而实现跨数据集泛化。MGCRL引入了三个关键设计：1）一种时空编码器，该编码器纳入了基于区域的图卷积以捕捉局部空间和功能性关系，增强区域特定特征学习并缓解不同数据集间异构EEG通道布局的影响；2）一种基于联合嵌入预测架构（JEPA）的生成式学习机制，利用掩码特征提取抗噪声的细粒度特征，提高模型刻画细微情绪状态的能力；3）一种对比式学习策略，利用掩码特征和原始特征来学习相同刺激下时间稳定且跨被试不变的嵌入表示，从而提升情绪判别能力和跨被试泛化性。在这些精心设计下，MGCRL展现出从无标签数据中学习通用表征的卓越能力。大量实验涉及在大型FACED数据集上进行预训练并在多个SEED系列数据集上进行微调，结果表明MGCRL始终能提供稳定且优越的结果，在跨被试情绪识别任务中优于竞争性基线方法。

# 引言

情感脑机接口（aBCI）是一种新兴技术，它允许机器监测、解释和调节人类情绪状态，从而支持认知、交流和决策制定[1]、[2]。研究人员探索了多种神经记录方式来构建aBCI，包括立体脑电图（SEEG）、功能性磁共振成像（fMRI）、功能性近红外光谱（fNIRS）和脑电图（EEG）。在选项中，EEG因其无创性、高时间分辨率和实际易用性而日益受到关注[3]。这些优势加上情绪识别在aBCI中的核心作用，推动了越来越多的努力以开发可靠且准确的基于EEG的情绪识别模型[4]、[5]、[6]、[7]、[8]、[9]。

随着深度学习的进展，在从EEG信号中自动提取信息性特征方面取得了实质性进展，从而提高了情绪识别性能[10]、[11]。然而，大多数现有方法都建立在监督学习之上，需要进行有效的模型训练而需要大量的标注数据。此外，在特定数据集上训练的模型在应用于不同记录条件或通道配置时往往表现出有限的泛化能力。这些局限性凸显了跨数据集情绪识别方法的必要性，这种方法能够学习可迁移的表征，同时减少对标注数据的依赖。

基于EEG的跨数据集学习本身就充满挑战，原因是数据集中存在多种异质性来源，包括设备差异、标签不兼容和通道不匹配，如图1所示。这些差异导致提取的特征存在显著不一致，从而阻碍模型泛化[12]。最近，自监督学习（SSL）通过利用无标签数据的内在结构来学习对这些变化具有不变性的鲁棒且可迁移的表征，提供了一种有前景的解决方案[13]。尽管取得了这些进展，但现有应用于基于EEG的跨数据集情绪识别的SSL方法仍面临一些局限性：

1）**在不同通道配置下时空建模有限。** 大多数现有方法[14]、[15]主要关注时间动态性，由于跨数据集的通道变化，未能充分考虑空间依赖性，从而限制了捕捉对情绪表征至关重要的区域间相互作用。

2）**对噪声具有鲁棒性的细粒度表征不足。** 大多数生成式学习方法[16]、[17]、[18]重建信号级（例如原始信号或预计算的傅里叶频谱）表征，导致提取的表征可能对噪声敏感[19]，从而限制了提取能够保留与不同情绪状态相关的细微且具有区分性的神经模式的细粒度表征的能力。

3）**跨被试不变的全局表征不足。** 大多数方法[19]、[20]未能充分考虑情绪状态中的个体差异和跨被试相似性，这反过来限制了跨被试情绪识别中的泛化性和鲁棒性。

为应对这些挑战，我们提出了掩码生成对比表征学习（MGCRL），一种专为基于EEG的情绪识别而设计的新型SSL框架。具体而言，MGCRL设计了一种区域感知的时空编码器来捕捉局部空间和功能性关系，增强区域特定特征学习并缓解不同数据集间EEG通道配置变化的影响。此外，采用基于联合嵌入预测架构（JEPA）的生成式学习来促进抗噪声且细粒度的时空表征的学习。这里，"生成式"指的是潜在表征预测，这有望通过鼓励模型学习抽象的潜在模式而不是重建信号级细节来减少对信号级噪声的敏感性[19]。此外，引入掩码特征的对比式学习以提取相同刺激下时间稳定且跨被试不变的特征表征。通过这些精心设计的组件，MGCRL展现出从无标签EEG数据中学习通用表征的卓越能力。

据我们所知，这是首次尝试直接在原始信号上利用掩码生成式学习和对比式学习进行基于EEG的情绪识别。与简单地结合多个目标的传统多任务学习方案不同，MGCRL以相互互补的方式整合了对比式和生成式范式。具体而言，我们巧妙地复用了掩码机制，使其服务于双重角色：生成任务中的上下文重建和对比任务中的数据增强。这使得两个学习目标能够相互约束和共同优化，从而实现两种范式的结构统一。通过这种设计，MGCRL充分利用了两种学习范式的优势，同时有效地缓解了各自独立应用时的局限性。

本研究的主要贡献可以总结为以下四个方面：

1）我们提出了MGCRL，一种用于基于EEG的情绪识别的新型自监督学习框架，该框架利用共享的掩码机制使生成式学习和对比式学习相互约束和共同优化，从而捕捉细粒度和全局表征，并增强模型刻画细微和跨被试不变情绪状态的能力。

2）我们设计了一种基于图卷积的区域感知时空编码器，该编码器构建了自适应邻接矩阵以联合建模脑区内的空间结构和样本特定的功能性依赖关系，增强了在不同EEG通道配置下的特征学习。

3）我们提出了一种掩码动态对比式学习策略，该策略利用了时间稳定性和跨被试情绪相似性，并以掩码特征作为数据增强视图。这种设计能够实现对样本内和样本间结构关系的自适应建模和迭代优化，提升了判别能力和泛化性。

4）我们证明了MGCRL实现了鲁棒的跨被试表征学习，在多个基于EEG的情绪识别数据集中优于竞争性基线。值得注意的是，在SEED-IV、SEED-V和SEED-VII数据集上的实验是在相同的超参数配置下进行的，这进一步强调了MGCRL的稳定性和鲁棒性。

本文的结构安排如下：第二节简要回顾了相关工作。第三节详细介绍了所提出的方法。第四节对提出的模型进行了全面评估。最后，第五节对论文进行了总结。

## 相关片段

### 相关工作

本节回顾了若干相关研究，以突出所提出的MGCRL与现有基于EEG的情绪识别和自监督表征学习方法的区别。

### 问题定义

为形式化定义学习问题，每个EEG样本被表示为统一的空间-时间张量。具体而言，信号基于标准电极放置图[29]投影到9×9的空间图结构上，从而实现脑区分割并减少预训练和微调阶段之间EEG通道配置差异引起的特征不一致。缺失的电极位置使用零填充。这些填充值被用于...

### 实验

在本节中，我们介绍了所采用的数据集并提出了所提出方法的实现细节。然后，我们将MGCRL与几种最先进的自监督学习方法进行比较，并进行消融实验以评估关键组件的贡献。进一步分析了微调数据规模的影响，随后进行敏感性和计算复杂度分析。此外，还提供了脑区可视化以明确说明...的贡献。

### 结论

本文提出了一种整合生成式学习和对比式学习的预训练框架，以应对设备差异、标签不兼容和通道不匹配带来的挑战。我们设计了一种区域感知的时空编码器来捕捉局部空间和功能性依赖关系，并引入了掩码动态对比式学习以增强情绪类别间的判别能力和跨被试的泛化性。与最强的自监督基线相比...

## 资助

本工作部分由国家自然科学基金（资助号62201402）、广东省基础与应用基础研究基金（资助号2023A1515011978）以及广东省海外杰出教师项目（资助号MS202600204）资助。

## CRediT作者贡献声明

杜杰：验证，形式化分析。温益民：写作-审阅与编辑，验证。黄家阳：写作-初稿，可视化，软件，方法论，调查。翁虎钦：写作-初稿，可视化，软件，方法论，数据整理。陈传权：写作-审阅与编辑，监督，方法论，经费获取，概念化，写作-初稿。Chi-Man Vong：验证，写作-审阅与编辑。

## 利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：鉴于Chi-Man Vong担任副编辑的角色，他未参与本文章的同行评审，也未获取有关其同行评审的信息。本文章编辑过程的全部责任已委托给另一位期刊编辑。如果有其他作者，他们声明他们没有已知的竞争性财务利益或...

翁虎钦于2023年获得中国韶关大学计算机科学与技术学士学位。他目前正在中国江门五邑大学电子与信息工程学院攻读模式识别与智能系统硕士学位。他的研究领域包括机器学习与情感计算。

翁虎钦 | 黄家阳 | 温益民 | 杜杰 | Chi-Man Vong | 陈传权

中国 529020 江门 五邑大学电子与信息工程学院