JDA-RSDB:一种多模态领域适应方法,用于基于脑电图(EEG)和眼动信号进行跨会话情感识别

《Cognitive Neurodynamics》:JDA-RSDB: a multimodal domain adaptation method for cross-session emotion recognition from EEG and eye movement signals

【字体: 大 中 小 】 时间:2026年04月10日 来源:Cognitive Neurodynamics 3.9

编辑推荐:

  本文提出基于联合分布对齐与可分离决策边界的跨会话多模态情感识别方法JDA-RSDB,通过优化模态级和域级特征统计分布,增强跨域样本的相似性,并在低密度区域构建可分离决策边界,结合主分类器和辅助分类器的预测一致性提升,有效解决了跨天会话数据分布差异导致的识别性能下降问题,在三个公开数据集上平均准确率达83.33%以上,优于现有方法。

  

摘要

多模态情感识别在情感计算领域引起了越来越多的关注,因为结合脑电图(EEG)和眼动(EM)信号能够捕捉到复杂的情感过程。然而,EEG和EM信号在不同日期和记录会话中存在联合分布差异,这降低了识别性能。目前,已经开发出领域适应技术来解决这种分布差异问题。不幸的是,现有的领域适应方法仍然无法获得最佳的分类结果,因为在分布匹配过程中仍然会学习到模糊且不具备区分性的决策边界。本文提出了一种名为“具有精细和可分离决策边界的联合分布对齐”(JDA-RSDB)的多模态领域适应方法,用于基于EEG和EM信号的跨会话情感识别。我们的方法认为,在联合分布匹配过程中必须确保在新会话中获得更具区分性的特征表示。为此,JDA-RSDB首先在模态和领域层面对齐特征统计信息,从而在两个领域之间产生相似的边缘分布和条件分布,进而使得来自不同领域的融合样本产生相同的类别预测。同时,通过在目标数据上学习一个可分离的特征空间来增强这种相似性,并将决策边界放置在低密度区域。更重要的是,通过主分类器和辅助分类器的预测结果达成一致来精炼决策边界。实验在三个公共数据集SEED-GER、SEED-IV和SEED-V上进行,结果显示该框架在三个会话中的平均准确率分别为83.33%、80.89%和75.17%,优于现有的最先进解决方案。

多模态情感识别在情感计算领域引起了越来越多的关注,因为结合脑电图(EEG)和眼动(EM)信号能够捕捉到复杂的情感过程。然而,EEG和EM信号在不同日期和记录会话中存在联合分布差异,这降低了识别性能。目前,已经开发出领域适应技术来解决这种分布差异问题。不幸的是,现有的领域适应方法仍然无法获得最佳的分类结果,因为在分布匹配过程中仍然会学习到模糊且不具备区分性的决策边界。本文提出了一种名为“具有精细和可分离决策边界的联合分布对齐”(JDA-RSDB)的多模态领域适应方法,用于基于EEG和EM信号的跨会话情感识别。我们的方法认为,在联合分布匹配过程中必须确保在新会话中获得更具区分性的特征表示。为此,JDA-RSDB首先在模态和领域层面对齐特征统计信息,从而在两个领域之间产生相似的边缘分布和条件分布,进而使得来自不同领域的融合样本产生相同的类别预测。同时,通过在目标数据上学习一个可分离的特征空间来增强这种相似性,并将决策边界放置在低密度区域。更重要的是,通过主分类器和辅助分类器的预测结果达成一致来精炼决策边界。实验在三个公共数据集SEED-GER、SEED-IV和SEED-V上进行,结果显示该框架在三个会话中的平均准确率分别为83.33%、80.89%和75.17%,优于现有的最先进解决方案。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号