BCF-CDAN:基于EEG-fNIRS的双向跨模态融合与条件域对抗网络用于多模态跨受试者情绪识别
《Information Fusion》:BCF-CDAN: Bidirectional Cross-Modal Fusion and Conditional Domain Adversarial Network for Multimodal Cross-Subject Emotion Recognition with EEG-fNIRS
【字体:
大
中
小
】
时间:2026年09月17日
来源:Information Fusion 17.4
编辑推荐:
•本研究探讨了基于 EEG-fNIRS 信号的细粒度多类跨被试情绪识别。
•提出了一种新颖的 EEG-fNIRS 情绪识别模型,其性能优于现有方法。
•提出了一种结合多流模块和单流模块的融合策略,用于跨模态集成。
•采用双重对齐机制来减少跨被试分布差异。
•可解释性显示出 E
•本研究探讨了基于 EEG-fNIRS 信号的细粒度多类跨被试情绪识别。
•提出了一种新颖的 EEG-fNIRS 情绪识别模型,其性能优于现有方法。
•提出了一种结合多流模块和单流模块的融合策略,用于跨模态集成。
•采用双重对齐机制来减少跨被试分布差异。
•可解释性显示出 EEG 时间特征和 fNIRS 空间特征之间的跨模态依赖性。
引言
情绪可以通过传达主观体验、社会信号和行为动机来影响人类交流和决策 [1]。认识到这一重要性,情绪识别已成为医疗、零售和情感计算等 diverse 领域中的关键环节。特别是,情感脑机接口(BCI)可以通过识别用户情绪提供更具智能和个性化的服务 [2]。然而,情感 BCI 中的情绪识别面临几个挑战。首先,情绪处理涉及时间动态和复杂的空间脑网络 [3],[4]。此外,情绪反应表现出显著的个体差异 [5]。这些因素使得跨被试识别特别困难。
鉴于脑信号可以直接反映神经活动,它们被广泛应用于情绪研究。其中,由于可穿戴、便携、成本低和高时间分辨率,EEG 尤为流行。然而,EEG 信号容易受到肌电和眼电活动等伪影的污染 [6]。相比之下,fNIRS 通过光学方法测量局部脑氧合变化。它具有高空间分辨率和强抗运动伪影能力 [7],也被应用于情绪识别 [8]。尽管如此,人类情绪涉及复杂的时间 - 空间脑网络,使得单一模态信号难以全面表征情绪过程 [9]。
通过集成不同模态的信息,多模态情绪识别系统表现出了提高的性能和鲁棒性 [10]。鉴于 EEG 高时间分辨率和 fNIRS 高空间分辨率的互补优势,许多研究试图结合这两种模态并应用于情绪识别。然而,现有的 EEG-fNIRS 情绪数据集,如 ENTER [11]、FEAD [12]、Emotion-VR [13] 和 REFED [14],主要是为四类或基于效价 - 唤醒度的情绪识别设计的。因此,大多数相关研究集中在有限类别的情绪识别任务上,而跨被试设置下的细粒度多类情绪识别在很大程度上仍未得到探索。此外,现有方法通常联合建模 EEG 和 fNIRS 的时空特征 [15],[16],而它们模态特定的时间和空间优势尚未得到充分利用。
此外,生理和心理上的个体差异导致情绪反应存在显著变异性 [5],这对跨被试情绪识别构成了主要挑战 [17]。现有方法采用域对抗神经网络(DANN)来减少个体差异 [18]。然而,DANN 无法完全捕捉分类问题中的固有模态分布 [19]。
此外,对模型泛化能力的适当评估很重要。目前,一些研究倾向于报告每次训练迭代在测试集上的最佳性能。然而,这种方法可能会高估模型性能。更严格的方法是使用在验证集上表现最好的模型来评估测试集 [20]。此外,可解释的情感 BCI 模型有助于理解决策过程,并促进其在实践中的采用 [21]。然而,现有研究往往专注于提高准确性,而忽视了模型的可解释性。
总之,基于 EEG-fNIRS 的多模态情绪识别面临以下挑战。首先,缺乏细粒度多类 EEG-fNIRS 情绪数据集限制了跨被试情绪识别的进一步探索。其次,现有方法很大程度上专注于联合建模 EEG 和 fNIRS 的完整时空信息,缺乏对 EEG 时间优势和 fNIRS 空间优势的明确区分和利用。第三,显著的个体差异限制了模型在跨被试场景中的泛化能力。第四,当前研究主要强调识别性能的提升,而对模型在实际应用中的泛化能力评估以及模型的可解释性关注不足。
为了解决上述问题,本研究采用了一种集成 EEG 和 fNIRS 的多模态情感 BCI 系统,如图 1(a) 所示。基于该系统,我们提出了一种新颖的可解释多模态跨被试情绪识别模型——双向跨模态融合和条件域对抗网络(BCF-CDAN)。如图 1(b) 所示,首先采用模态特定的卷积神经网络(CNN)提取浅层局部特征。在先验知识的指导下,EEG 特征提取器被设计为强调时间信息,而 fNIRS 特征提取器被设计为强调空间信息。其次,设计了一种包含两个跨模态融合模块的新策略,以捕获全局时空特征。多流模块使用双向跨注意力机制学习 EEG 时间特征和 fNIRS 空间特征之间的双向相互作用,这使得每种模态能够基于另一种模态的潜在关联增强其特征。此外,进行了模态内增强以细化模态特定表示。然后将细化后的特征输入到单流模块中,该模块采用自注意力机制学习全局判别性表示。最后,为了提高模型的跨被试泛化能力,使用了结合最大均值差异(MMD)的条件域对抗网络来对齐源域和目标域分布。此外,利用跨注意力机制的可解释性,我们分析了两种模态之间的双向依赖性。
总之,贡献如下:
•本研究首次探讨了 EEG-fNIRS 用于细粒度八类跨被试情绪识别的可行性。
•本文提出了一种新颖的多模态跨被试情绪识别网络 BCF-CDAN,充分利用了 EEG 和 fNIRS 的互补优势。
•本研究设计了一种新颖的双向跨模态融合策略,集成多流和单流模块。此外,纳入了带有 MMD 损失的 CDAN,以在条件分布和特征统计两个层面减轻跨被试变异性。
•该方法在两个自建数据集 TMVED3(3 类)和 TMVED8(细粒度八类)上进行了评估,使用了留一被试法(LOSO)和模拟在线留一被试法(SO-LOSO)协议。公共数据集上的额外实验进一步验证了其有效性和泛化性。
•可解释性揭示了 EEG 时间特征和 fNIRS 空间特征如何关注对方的信息特征。
章节片段
EEG-fNIRS 多模态情绪识别
EEG 提供高时间但有限的空间分辨率,而 fNIRS 提供更高空间但较低时间分辨率。利用其互补优势的多模态方法可以克服单模态局限性并增强情绪识别性能。
Sun 等人首次将 EEG 和 fNIRS 集成用于人类情绪分类 [22]。在他们的研究中,提取了 fNIRS 的统计特征和 EEG 的波段功率特征用于情绪识别,表明
基于 EEG-fNIRS 的多模态情绪相关数据集
在本研究中,开发了两个基于 EEG 和 fNIRS 的多模态情绪数据集,即天津大学 3 类情绪多模态视频情绪数据集(TMVED3)和天津大学 8 类情绪多模态视频情绪数据集(TMVED8)。本节详细介绍了这两个数据集。
方法
如图 4 所示,BCF-CDAN 主要由三个部分组成:(1) 用于分别捕获 EEG 时间特征和 fNIRS 空间特征的浅层特征提取器;(2) 用于跨模态融合的多流和单流模块;以及 (3) 用于减轻源域和目标域之间差异的条件域对抗网络(CDAN)。下一节描述了数据预处理和提出的模型架构。
实现细节
提出的 BCF-CDAN 模型的参数设置总结于表 1 中。模型使用 Adam 优化器训练 200 个 epoch,批量大小为 64,学习率为 0.0005。在训练过程中,损失权重被动态调整。模型使用 Python 3.8 和 PyTorch 1.11 实现,所有实验均在 GeForce RTX 3090 GPU 上进行。
评估
为了全面评估所提出模型的分类性能,多种评估指标是
评估协议的重要性
在情感 BCI 研究中,LOSO 已被广泛用于跨被试评估。然而,许多基于 LOSO 的现有研究隐含地将测试集用作验证集。这种做法可能导致性能估计过于乐观,并且无法准确反映模型在现实场景中的泛化能力。
为了解决这个问题,我们引入了 SO-LOSO 协议,其中训练集、验证集和测试集被严格分离。这确保了模型评估是被进行
结论
本研究提出了一种新颖的跨被试多模态情绪识别模型 BCF-CDAN,利用了 EEG 和 fNIRS 信号的互补时空优势。该模型采用多流和单流跨模态融合策略来交互捕获模态间的相关性。此外,它纳入了 CDAN 以增强对未见被试的泛化能力。实验结果表明,BCF-CDAN 在三类...
CRediT 作者贡献声明
Xiaopeng Si:撰写 – 审阅与编辑,监督,资源,项目主管,调查,资金获取,概念化,方法学。Jiayi Wang:撰写 – 原稿,可视化,方法学,调查。He Huang:撰写 – 原稿,可视化,方法学,调查。Zhuobin Yang:方法学,数据整理。Jiayue Yu:数据整理。Yumeng Han:数据整理。Shuai Zhang:数据整理。Ziwen Wang:数据整理。Dong Ming:资源,资金
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
Xiaopeng Si|Jiayi Wang|He Huang|Zhuobin Yang|Jiayue Yu|Yumeng Han|Shuai Zhang|Ziwen Wang|Dong Ming
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号