《Knowledge-Based Systems》:Fine-Grained Label Propagation via Density-Based Prototype Matching for Cross-Subject EEG Emotion Recognition
编辑推荐:
EEG情感识别中提出基于密度基原型匹配(DBPM)的框架,通过密度聚类捕捉个体内子域结构,结合伪标签传播策略实现跨域迁移,有效缓解个体差异和标签噪声问题。实验在SEED和SEED-IV数据集上验证,精度达94.86%,显著优于基线模型。
王强|杨丽英|张倩|杜景涛|叶玉萌
西安电子科技大学计算机科学与技术学院,中国西安,710071
摘要
基于脑电图(EEG)信号的情绪识别已成为情感计算领域的一个重要研究方向。然而,个体差异和标签噪声等挑战严重影响了模型的泛化能力和准确性。为了解决这些问题,本研究提出了一种基于密度基原型匹配(DBPM)的新型细粒度标签传播框架。该框架利用密度基聚类来捕捉细粒度的子域结构,从而实现鲁棒的原型匹配和跨域的可靠标签传播。此外,还采用了一种顺序多源训练策略,逐步整合多个源域,以确保稳定的逐一对应原型匹配并减少源域间的干扰。在两个公开可用的EEG情绪数据集(SEED和SEED-IV)上进行了大量实验,并采用了留一受试者交叉验证评估方法。实验结果表明,所提出的DBPM方法取得了先进的性能,为解决EEG情绪识别中的个体差异和标签噪声问题提供了有前景的解决方案。源代码可在以下链接获取:
https://github.com/qwangwl/DBPM章节摘录
引言
情绪是人类社会生活中不可或缺的生理和心理要素,在人际交流中起到反馈作用,并反映人类对外部环境的反应[1]。近年来,随着人机交互(HCI)技术的快速发展,传统的交互方式仍然主要停留在被动感知和机械反馈阶段。提高机器理解和感知人类情绪的能力
相关工作
为了介绍我们的工作,我们首先回顾了一些与我们的研究相关的方法,重点关注迁移学习和原型学习在基于EEG的情绪识别中的应用。
个体内差异
现有研究表明,心理和生理因素(如压力、焦虑和注意力需求)在执行相同任务时可能会显著影响个体的行为和神经生理反应,从而导致EEG信号的变化[18]、[19]、[20]。如图1所示,即使对于同一个受试者,在相同情绪状态下,EEG信号也常常表现出不同的聚类模式。这种个体内的变异性增加了情绪识别的复杂性
方法
在本节中,我们详细描述了所提出方法的整体框架,如图5所示。该方法首先学习每个域具有持久不变特征的子域信息,为后续的特征提取奠定基础。然后设计了一个无监督的域适应网络,以确保模型能够捕捉源域和目标域之间具有一致边际分布的特征
情绪数据库
实验使用了两个数据集:SEED [43]和SEED-IV [44]。SEED数据集包含来自15名受试者的EEG数据,每位受试者参加了三个不同时间的会话。在每个会话中,受试者观看了15个电影片段。每个片段之前有一个5秒的提示阶段,之后是一个45秒的自我评估阶段,片段之间有15秒的休息时间。所有会话使用相同的电影片段,引发了三种情绪状态:
消融研究
我们进行了全面的消融研究,以评估所提出模型中关键组件的贡献对其整体性能的影响。如表3所示,实验分为两部分:一部分关注DBPM模块,另一部分关注训练策略。结果表明,移除判别器会导致SEED和SEED-IV数据集的性能显著下降,准确率分别从94.86%降至83.83%,以及从78.90%降至70.92%。
结论
本文提出了一种基于密度基原型匹配的模型,该模型利用密度基聚类来捕捉个体内的子域结构,并使用原型来表示这些子域的细粒度特征。为了实现源域和目标域之间的细粒度条件分布对齐,设计了一种基于原型匹配的伪标签传播策略来提高跨域迁移性能。实验结果表明
作者声明
我们签署人声明本手稿是原创的,之前未发表过,也未被其他地方考虑发表。我们确认所有列出的作者都已阅读并批准了本手稿,且没有其他符合作者资格但未列出的人。我们进一步确认手稿中作者的顺序已得到所有人的同意。数据管理方面,我们理解通讯作者是
CRediT作者贡献声明
王强:撰写——初稿、可视化、验证、软件、方法论、概念化。杨丽英:撰写——审稿与编辑、监督、资源管理、项目协调、资金获取、概念化。张倩:撰写——审稿与编辑、可视化、监督、软件、调查、数据管理。杜景涛:监督、调查、形式分析。叶玉萌:监督、调查、形式分析。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。