Hypergraph Multi-Modal Learning for EEG-based Emotion Recognition in Conversation 基于脑电(EEG)的对话情绪识别的超图多模态学习

《Neural Networks》:Hypergraph Multi-Modal Learning for EEG-based Emotion Recognition in Conversation

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neural Networks 6.3

编辑推荐:

  对话情绪识别(Emotion Recognition in Conversation, ERC)对于自闭症和抑郁症等健康问题的诊断具有重要价值,同时也能够帮助理解难以表达自身感受的个体的情绪状态。当前的ERC方法主要依赖语义、音频和视频数据,但在整合脑电图(E

  
对话情绪识别(Emotion Recognition in Conversation, ERC)对于自闭症和抑郁症等健康问题的诊断具有重要价值,同时也能够帮助理解难以表达自身感受的个体的情绪状态。当前的ERC方法主要依赖语义、音频和视频数据,但在整合脑电图(EEG)等生理信号时面临巨大挑战,这些问题包括低信噪比、受试者间差异(inter-subject variability)以及时间对齐问题。本研究提出了一种名为超图多模态学习(Hyper-Modal Multi-Modal Learning, Hyper-MML)的新框架,用于识别对话中的情绪。Hyper-MML有效整合了EEG与音频及视频信息,以捕捉复杂的情感动态。首先,研究人员引入了带有互交叉注意力机制的自适应脑编码器(Adaptive Brain Encoder with Mutual-cross Attention, ABEMA)模块用于处理EEG信号,该模块通过分层互交叉注意力机制捕捉不同频段的情绪相关特征,并适应受试者特定的变化。其次,提出了自适应超图融合模块(Adaptive Hypergraph Fusion Module, AHFM),以主动建模ERC中多模态信号之间的高阶关系。在EAV和AFFEC数据集上的实验结果表明,Hyper-MML模型显著优于当前最先进的方法。所提出的Hyper-MML可作为医疗保健专业人员的有效沟通工具,使其能够更好地与难以表达情绪的患者进行互动。官方实现代码已在GitHub上公开。
该研究针对对话情绪识别(ERC)领域中现有方法过度依赖文本语义、难以应对碎片化对话且缺乏有效整合脑电(EEG)生理信号的难题,创新性地提出了超图多模态学习(Hyper-MML)框架。研究人员构建了包含自适应脑编码器(ABEMA)、改进型Transformer、分层互交叉注意力以及自适应超图融合模块(AHFM)的完整技术体系。实验选取了EAV和AFFEC两个公开的多模态数据集进行验证,结果显示Hyper-MML模型性能显著优于现有的最先进(SOTA)方法。这项研究成果表明,通过引入高阶关系建模和针对EEG特性的定制化预处理与编码策略,能够有效克服生理信号在对话场景下的噪声干扰和个体差异问题,为临床诊断提供了一种鲁棒性更强、客观性更高的辅助工具。
关键技术方法主要包括:首先,采用带阻滤波(0.5-50Hz)和独立成分分析(ICA)进行EEG伪迹去除;其次,设计受试者特定层(Subject-specific Layer)以矩阵变换方式校正个体脑电差异;再次,利用改进型Transformer(iTransformer)在通道维度提取空间特征;随后,构建分层互交叉注意力机制处理不同频段的特征融合;最后,利用自适应超图融合模块(AHFM)构建超图结构,同时建模片段内的多模态协同效应与跨时段的时间演化规律。
1. 引言
研究人员指出,ERC在评估自闭症和抑郁症方面潜力巨大,但现有基于文本的方法极易受对话碎片化和语义断裂的影响。虽然EEG能提供客观的神经活动指标,但其固有的低信噪比、肌电(EMG)伪迹污染以及受试者间变异性限制了其应用。此外,传统的图神经网络(GNN)在处理多模态交互时仅能建模成对关系,无法有效捕捉复杂的群体动态,因此引入超图理论成为必然选择。
2. 相关工作
在多模态情绪识别领域,从早期基于文本的方法发展到结合音视频的图卷积网络(GCN),仍存在模态鸿沟和缺失模态重建困难等问题。在脑电识别方面,虽然已有研究利用功率谱密度(PSD)和微分熵(DE)等特征,但多集中于被动刺激范式,缺乏对自然对话情境下时序演化的考量。在超图学习方面,相较于普通图结构,超图利用关联矩阵(incidence matrix)能够直接描述多个节点间的复杂高阶关系,这为多模态信号的深度融合提供了理论支撑。
3. 方法论
3.1 多模态ERC的问题定义
研究人员将对话中的每个话语切分为固定时间间隔Δt的片段,每个片段包含EEG信号Eij、音频特征Aij和视频特征Vij,目标是学习一个映射函数f:(Eij, Aij, Vij) → yi。
3.2 用于EEG嵌入的ABEMA
研究人员设计了ABEMA模块以处理EEG信号。首先在预处理阶段实施带通滤波和ICA去除肌电伪迹;其次引入受试者特定层,通过为每个受试者维护一个可学习的变换矩阵Ws来归一化个体电极放置和解剖差异;随后采用iTransformer块,沿通道维度而非时间维度应用自注意力,以捕捉脑区间的空间相关性;进一步通过分层互交叉注意力块,先在δ、θ、α、β、γ五个频段内进行特征提取(DE和PSD),再在频段间建立双向注意力机制,最后通过自适应频带融合重构特征。
3.3 单模态编码器
研究人员采用全连接网络处理音频和视频特征,而对经过ABEMA处理后的EEG特征则采用双向门控循环单元(BiGRU)以捕捉双向时间依赖性,从而将所有模态映射到统一的d维语义空间。
3.4 自适应超图融合模块(AHFM)
研究人员构建超图G=(V,E),其中节点集包含三种模态的片段,边集包含两类超边:一类是片段内超边(intra-segment hyperedges),连接同一时间段内的EEG、音频和视频节点,以模拟瞬时多模态协同效应;另一类是跨段超边(inter-segment hyperedges),连接同一模态在不同时间点的节点,以捕捉情绪状态的时序演化。通过引入自适应权重分配机制,动态调整不同模态在特定情境下的贡献度,最终通过超图卷积实现信息聚合。
4. 实验设置与结果
研究人员在EAV和AFFEC数据集上进行了广泛实验。结果显示,Hyper-MML在两个数据集上的加权F1分数均超越了现有的SOTA模型。消融实验证实了ABEMA和AHFM各组件的有效性,特别是受试者特定层和互交叉注意力机制对提升模型鲁棒性至关重要。
5. 讨论与结论
研究人员总结道,Hyper-MML通过引入超图结构成功解决了传统图结构无法建模高阶多模态关系的局限。ABEMA模块有效克服了EEG信号在对话场景下的噪声和个体差异问题。该研究不仅验证了生理信号在ERC任务中的核心价值,也为临床心理学提供了一种能够应对语言交流障碍的新型辅助诊断工具。论文最终强调,这一框架为理解复杂社交互动中的情感动态提供了新的计算视角。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号