基于自适应半监督图对比表示学习的鲁棒情绪识别方法，该方法利用脑电图（EEG）数据

《Knowledge-Based Systems》：Adaptive Semi-Supervised Graph Contrastive Representation Learning for Robust Emotion Recognition Using Electroencephalogram

EEG情绪识别研究提出自适应半监督图对比学习框架ASGCRL，通过动态构建多视图EEG图、自适应增强策略和一致性正则化有效利用少量标注数据，显著提升性能并验证在四个公共数据集上的优势。

　　

金大贤 | 崔英硕

韩国首尔nowon区Kwangwoon路20号，Kwangwoon大学电子与通信工程系，邮编01897

摘要

由于大脑活动的复杂性和变异性，使用脑电图（EEG）信号进行情感识别仍然具有挑战性。最近基于图的方法通过建模复杂的EEG关系显著提高了性能。然而，大多数现有方法依赖于静态图，这些静态图往往无法捕捉EEG的动态和非平稳特性，并且未能充分利用丰富的未标记数据，这限制了在EEG噪声较大和标记过程成本较高的情况下模型的鲁棒性。为了解决这些问题，我们提出了ASGCRL（自适应半监督图对比表示学习框架）。ASGCRL根据样本间关系的演变动态构建EEG图，通过一种新颖的自适应增强策略来减轻异常连接，并通过一致性正则化有效利用有限的标记数据和丰富的未标记数据。在四个公共数据集上的广泛实验表明，尽管使用的标记数据不到10%，ASGCRL的性能仍优于最先进的监督模型。进一步的分析证实了其在基于EEG的情感识别中的卓越标签效率和鲁棒性。

引言

情感是一种复杂的生理和认知状态，对人类互动至关重要。准确的情感识别通过使系统能够解释和响应用户的情感状态，从而增强了人机交互（HCI），支持心理健康监测、自适应学习和交互式娱乐等应用。

情感识别已在包括文本[1]、语音[44]、视觉线索[22]以及脑电图（EEG）[28]在内的多种模态中进行探索。生理信号特别有价值，因为它们反映了难以隐藏的非自愿反应[59]。多通道EEG提供了大脑各区域电活动的非侵入性记录，并通过不同的频率带提供了丰富的情感信息[42]。先前的研究建立了情感状态与频谱特征之间的强烈关联[19]、[45]、[63]，其中功率谱密度（PSD）和差分熵（DE）是最常用的EEG特征[8]、[24]。

深度神经网络（DNNs），包括深度信念网络（DBNs）[63]、循环神经网络（RNNs）[30]和卷积神经网络（CNNs）[60]，通过学习时空模式推进了基于EEG的情感识别。然而，这些架构假设数据具有网格结构，因此难以表示EEG电极的不规则空间排列和复杂拓扑。此外，空间邻近性并不总是对应于功能相关性[28]，这限制了它们模拟真实大脑连接的能力。

图神经网络（GNNs）通过处理图结构化数据来克服这些限制[53]。图卷积网络（GCNs）汇总连接节点间的信息以生成表达性嵌入[18]。在EEG分析中，Song等人[45]和Wang等人[51]使用GCNs建模电极间的空间和功能关系（样本间关系），而Li等人[25]在半监督框架下使用GCNs基于样本相似性（样本间关系）学习判别性节点嵌入。

尽管取得了这些进展，但仍存在两个主要挑战。首先，EEG注释成本高昂、耗时且容易出错。因此，利用丰富的未标记数据对于学习抗噪声和可泛化的EEG表示至关重要[40]。其次，大多数基于图的EEG模型依赖于静态的、预定义的图。由于EEG信号高度可变、非平稳且易受噪声影响，这样的固定结构无法充分捕捉大脑活动的动态特性，可能会导致GNN传播错误或不稳定的连接，从而降低嵌入质量。

为了克服这些限制，我们提出了自适应半监督图对比表示学习（ASGCRL）框架。ASGCRL构建动态的多视图EEG图以捕捉数据样本之间的多样化关系，应用一种新颖的自适应图增强策略，选择性地扰动信息较少的边和属性，同时保留关键结构，并采用半监督图对比目标来强制跨视图一致性。通过联合利用标记数据和未标记数据，ASGCRL学习了鲁棒且具有区分性的EEG嵌入，提高了性能和标签效率。

本研究的主要贡献如下：

•

我们提出了ASGCRL，这是一种半监督框架，能够有效利用有限的标记数据和丰富的未标记EEG数据进行鲁棒的情感识别。

•

我们引入了动态多视图图构建方法，能够从演变的嵌入中自适应地捕捉样本间关系。

•

我们设计了一种自适应图增强策略，结合了基于标签的结构修剪和Fisher判别比（FDR）引导的属性掩码，以保留关键信息的同时引入有意义的变异。

•

我们开发了一种半监督对比学习目标，强制图视图之间的一致性，从而在标记数据有限的情况下增强对异常扰动的鲁棒性。

•

在四个公共数据集（SEED、SEED-IV、DEAP和AMIGOS）上的广泛实验表明，ASGCRL取得了最先进的性能，并具有出色的标签效率。

章节片段

基于EEG的情感识别

早期的EEG情感识别研究集中在从复杂信号中识别具有区分性的频谱-时间模式。Zheng等人[63]使用DBNs建模频域特征，而Li等人[29]使用RNNs整合了双半球的时间动态。基于CNN的方法如EEGNet[21]捕获了局部样本间相关性，后续工作则结合了CNNs[60]和CRNNs[58]的空间电极拓扑。分层架构如HCNN[26]进一步

提出的方法

本节首先概述了图论基础知识，然后详细描述了图1中所示的ASGCRL框架。

材料和实验

本节总结了所使用的公共EEG数据集，详细介绍了实验设置，并展示了模型评估结果。评估主要关注受试者内部场景，与比较的最先进（SOTA）研究中使用的协议一致（除非另有说明，例如跨会话评估）。

利用有限标记数据的效率

EEG情感数据的采集和注释既耗时又昂贵，需要专业知识，因此标签效率对于实际应用至关重要。本节通过将其与完全监督的SOTA模型进行比较，评估了所提出的ASGCRL在利用有限标记数据方面的效率。

表3显示了与在SEED和SEED-IV上使用超过60%标记数据的SOTA监督模型的比较结果。ASGCRL即使在

结论

在这项研究中，我们提出了ASGCRL，一种用于基于EEG的情感识别的自适应半监督图对比学习框架。通过整合自适应深度节点嵌入、自适应图增强和一致性正则化，ASGCRL有效解决了标记数据有限和EEG图表示中关系结构不可靠的问题。该框架动态学习样本间关系，并通过一种新颖的自适应

CRediT作者贡献声明

金大贤：撰写——原始草稿、可视化、软件、方法论、概念化。崔英硕：撰写——审稿与编辑、监督、方法论、概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本研究部分得到了韩国政府（MSIT）资助的信息与通信技术规划与评估研究所（IITP）的资助（项目编号RS-2024-00422599，用于开发个性化即时渴望管理系统，用于物质使用障碍），以及2025年Kwangwoon大学的优秀研究人员支持项目的支持。