基于时空语义对齐机制的区域到全局融合的多模态生理信号情感识别方法

《Information Fusion》:Emotion Recognition Using Multimodal Physiological Signals Through Regional to Global Fusion with a Spatial-Temporal Semantic Alignment Mechanism

【字体: 大 中 小 】 时间:2026年02月13日 来源:Information Fusion 17.4

编辑推荐:

  沈健|梁华建|马瑞瑞|徐一红|朱科欣|高浩然|侯科晨|张雅楠|张晓伟|胡斌中国北京100081,北京工业大学,教育部脑健康智能评估与干预重点实验室摘要随着多模态学习的不断发展,利用多模态生理信号进行情绪识别已成为研究热点。研究表明,将脑电图信号与眼动信息相结合,能够显著提升情绪识

  沈健|梁华建|马瑞瑞|徐一红|朱科欣|高浩然|侯科晨|张雅楠|张晓伟|胡斌中国北京100081,北京工业大学,教育部脑健康智能评估与干预重点实验室摘要随着多模态学习的不断发展,利用多模态生理信号进行情绪识别已成为研究热点。研究表明,将脑电图信号与眼动信息相结合,能够显著提升情绪识别的准确性。然而,当前研究仍面临以下挑战:(1)不同个体对不同情绪的反应时间和持续时间存在差异,导致数据具有多样性和变异性。(2)不同模态之间存在时空差异,在相同的时空条件下可能表现出不同的语义相关性和重要性。为解决这些问题,我们提出了一种具有时空语义对齐机制的区域到全局融合网络(R2GFANet)。首先,R2GFANet通过使用填充掩码与一维卷积神经网络结合,对长度不固定的脑电图信号和眼动信息中的时间语义信息进行编码,从而应对第一个挑战。随后,该网络利用多区域跨模态注意力机制实现各脑区内的时间语义对齐,并通过区域级空间注意力突出关键脑区的语义信息,有效解决了不同模态之间的时空差异问题。通过在SEED-IV和SEED-V两个公开数据集上与多种现有先进方法进行比较,我们证明了所提出的R2GFANet具有出色的性能和显著的统计意义。此外,我们还进行了消融实验和可视化分析,结果表明,将脑电图信号与眼动信息对齐不仅能够提升分类性能,还能为神经科学研究提供可解释性。引言情绪是一种与神经生理反应相关的心理状态,与思维、感受和行为紧密相连。它深刻影响着生活的方方面面,如学习、工作和决策过程[1]。情绪识别技术旨在通过分析包括生理信号、面部表情、声音信号和行为数据在内的多模态数据,准确检测个体的情绪状态。该技术整合了机器学习、人工智能和生物信号处理等领域的先进技术,在医学[2]、教育[3]以及人机交互领域有着重要应用。在心理健康领域,情绪识别有望成为诊断和治疗情感障碍的重要工具[4][5][6][7],在各种智能应用中具有巨大潜力。近年来,研究人员利用多模态学习方法显著提升了机器识别和模拟人类情绪的能力[8][9]。多模态情绪识别从多个角度捕捉情绪,能够生成更全面的特征以及跨模态的互补信息[10][11][12][13][14]。情绪识别通常依赖两类数据集:显性行为数据,如声音线索、身体姿势和面部表情;以及内部生理数据,包括脑电图、心电图、肌电图和眼动信号。然而,行为数据容易被隐藏或刻意控制,难以准确反映真实的情绪状态。相比之下,生理信号直接反映了神经生理活动,具有实时响应性、客观性且不易被操纵,因此在心理学、医学和情绪识别领域具有巨大应用潜力。脑电图信号能够直接反映大脑活动,有助于揭示个体的认知和情绪处理过程[15][16]。同时,眼动信息则为了解视觉注意力和情绪反应提供了额外视角[17]。结合这些模态信息,研究人员能够更全面地理解个体对不同情绪刺激的反应,从而提升情绪识别的准确性和可解释性。然而,多模态情绪识别在捕捉不同模态之间的反应延迟以及理解来自多样化且多变生理信号的不同脑区之间的语义关联方面仍面临挑战。具体而言,这些挑战可归纳为以下两个核心问题。1)个体反应时间和持续时间的差异:不同个体对不同情绪的反应时间和持续时间存在差异,导致数据具有多样性和变异性[18]。现有方法往往将信号分割成等长的片段并输入深度神经网络[19],但这种方法忽视了生理信号作为宝贵信息载体的固有特性,如脑电图信号的频率、相位完整性和时间波动性,可能导致信息丢失[20]。此外,情绪识别任务需要理解和解读整体情境[21],这种数据分割方式可能会破坏情境的连贯性,进一步影响识别的准确性和可靠性。因此,全面考虑多模态数据的特性可以提高情绪识别任务的泛化能力,增强情绪语义信息的连续性。2)不同模态之间的时空差异:不同模态之间也存在反应时间延迟,这意味着同一时刻的多模态信号可能传递完全不同的语义信息[22]。例如,在接收视觉刺激时,眼睛和大脑之间存在传输延迟[23]。现有研究往往忽视这一点,导致多模态模型缺乏鲁棒性和可解释性。此外,不同脑区负责不同的功能,各模态在不同脑区中的语义相关性和重要性也有所不同[24][25]。在情绪识别中,与情绪和视觉相关的脑区尤为重要。尽管有一些研究探讨了脑区的空间结构[26][27],但它们大多聚焦于脑电图信号。因此,分析与特定脑区相对应的不同模态的特征,有助于准确揭示其语义相关性,为神经科学研究提供可解释性。为解决这些问题,我们提出了具有时空语义对齐机制的区域到全局融合网络(R2GFANet),用于捕捉不同模态之间的时空相关性特征及多样性。首先,R2GFANet通过时间信息编码有效解决了多模态数据的多样性问题。具体而言,我们对脑电图信号按脑区进行分割并将其填充至最大长度,然后利用一维卷积神经网络学习深层表征,以捕捉中枢神经系统的状态。对于眼动信号,我们提取24维统计特征来反映情绪刺激期间视觉系统的活动情况。通过位置嵌入将时间信息编码到这些表征中,从而追踪每种模态的语义信息随时间的变化趋势。其次,为解决多模态神经反应与不同脑区激活状态之间的时空不匹配问题,我们提出了区域到全局的时空对齐机制。该机制包括优化每个局部脑区的脑电图信号和眼动信号的时间对齐,同时探索脑区与眼动信号之间的空间语义关系,重点关注与情绪相关的区域。这种对齐方式可以减少时间延迟和激活差异,更准确地反映神经系统的协同活动,提升神经科学研究的可解释性。最后,在全局融合过程中,我们计算多模态对齐表征之间的模态语义对齐损失,从而生成受不同模态固有协同特性约束的融合表征。这种方式充分利用了各模态之间的多样性和互补性,使得与情绪表达模式的对齐更为精准。实验结果表明,R2GFANet通过融合表征显著提升了情绪识别的性能。此外,我们还分析了与情绪刺激和眼动活动最相关的脑区,发现相同情绪任务下不同脑区的激活状态存在差异。这一发现强调了在多模态建模中解决时空不对齐问题的必要性,有助于准确捕捉不同模态之间的时空差异。本研究提出了一种用于多模态生理信号时空对齐和融合建模的新网络结构,为信号对齐研究提供了新视角。据我们所知,这是首次尝试解决多模态生理信号之间的时空不匹配问题,并建模分析不同情绪状态下中枢神经系统信号与视觉系统信号之间的协同关系。与现有的时间对齐多模态融合方法相比,R2GFANet通过引入区域到全局的时空语义对齐机制以及模态语义对齐损失,推动了该领域的发展,实现了对神经系统和视觉系统相互作用在局部和全局尺度上的更精确建模,从而提升了情绪识别的准确性和神经科学研究的可解释性。本文的主要贡献如下:•我们所提出的R2GFANet融合了神经科学的相关理论和方法,通过引入时空语义对齐机制,从不同模态中学习并进一步融合最相关的语义信息。这种方法提高了模型在识别典型情绪模式时的可解释性,也为神经科学研究提供了有价值的见解。•R2GFANet能够有效捕捉时间变异,充分利用脑电图信号和眼动信息中的时间语义信息,在情绪识别中展现出显著的应用价值。此外,所提出的模态语义对齐损失机制增强了融合后多模态表征的一致性。•该R2GFANet模型已在两个公开数据集上得到验证,证明了其有效性和稳定性。与现有最先进方法相比,R2GFANet表现出更优异的性能,进一步推动了情绪识别领域的创新发展。本文的其余部分结构如下:第2节介绍相关研究工作;第3节阐述我们提出的用于情绪识别的R2GFANet模型;第4节详细介绍实验设置;第5节展示并分析大量实验结果,以证明该模型的有效性;最后在第6节对全文进行总结。片段内容多模态对齐多模态对齐旨在识别和理解多种模态之间的联系与交互作用。梁等人[28]提出,可以对齐和表征工作同步进行。该方法能够同时捕捉跨模态的信息交互,从而实现更详细、更全面的数据表征。通过建立有向关联,跨模态对齐有助于更深入地理解不同模态之间的复杂关系。概述为了更准确地整合人类中枢神经系统和视觉系统在面对视觉情绪刺激时产生的与情绪相关的信息,我们基于R2GFANet开发了一个框架。该框架旨在减少个体在反应时间和持续时间上的差异,以及在使用脑电图信号和眼动数据进行情绪识别时出现的时空差异。R2GFANet的整体结构如图1所示,该框架由……数据集为评估我们所提出的MGANet在情绪识别方面的有效性并验证其泛化性能,我们在两个数据集上进行了实验:SEED-IV和SEED-V。SEED-IV数据集由郑[42]开发,共选取了72段中国电影片段作为刺激材料,用于引发受试者的快乐、悲伤、恐惧或中性等情绪状态。每段视频的长度大约为两分钟,但存在一定差异,这使其更接近现实生活场景。与主体无关的情绪识别为了全面评估R2GFANet在情绪识别任务中的性能,我们选择了15种具有代表性的方法进行对比实验,并在相同条件下开展测试。这些方法如下:•我们纳入了两种基准方法:线性支持向量机(SVM)和注意力长短期记忆网络(A-LSTM)[44],以便更全面地评估R2GFANet在情绪识别任务中的表现。•我们优先选择了领域自适应技术结论在本文中,我们提出了一种具有时空语义对齐机制的区域到全局多模态生理信号融合网络,用于实现高效的情绪识别。时间信息编码能够有效捕捉情绪刺激过程中中枢神经系统和视觉系统个体反应时间和持续时间的差异。此外,我们还引入了区域到全局的多模态时空语义对齐信息,并将其与对齐机制相结合。CRediT作者贡献声明沈健:撰写——初稿、方法论、概念设计。梁华建:数据整理、概念设计。马瑞瑞:撰写——初稿。徐一红:软件相关工作。朱科欣:软件相关工作。高浩然:形式分析。侯科晨:调研工作。张雅楠:可视化分析、资金筹集。张晓伟:监督工作、资金筹集。胡斌:项目管理、资金筹集。利益冲突声明作者们声明没有利益冲突。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号