Spike-Hammer:一种高效的基于脉冲驱动的混合架构,用于结合生理信号的多模态情感识别

《Neural Networks》:Spike-Hammer: An Efficient Spike-Driven Hybrid Architecture for Multi-Modal Emotion Recognition with Physiological Signals

【字体: 大 中 小 】 时间:2026年04月24日 来源:Neural Networks 6.3

编辑推荐:

  多模态情感识别中提出脉冲驱动混合架构Spike-Hammer,结合卷积模块提取EEG等时空特征与Transformer多模态融合机制,通过稀疏计算降低能耗16倍并提升情感识别准确率。

  
朱思雨|傅海生|邹宇晨|张国和|梁杰
西安交通大学,中国陕西省西安市710049

摘要

多模态情感识别因其卓越的性能而受到越来越多的关注。然而,基于人工神经网络(ANN)的多模态方法通常会带来较大的计算和能源成本,这限制了其在资源受限的边缘计算平台上的应用。虽然脉冲神经网络(SNN)具有节能潜力,但现有的SNN架构难以有效处理不同模态之间的异质性和交互性。为了解决这些问题,我们提出了一种新型的脉冲驱动混合架构Spike?Hammer,该架构结合了基于卷积(Conv)的模块用于时空特征提取,以及基于Transformer的模块以实现多模态融合。通过采用脉冲驱动机制,我们的方法利用了稀疏的加法运算,从而避免了高能耗的乘法操作。在基于卷积的模块中,我们开发了能够适应不同模态异质性的模块,包括用于复杂脑电图(EEG)信号的空间-时间融合补丁嵌入模块,以及其他模态的轻量级版本。这些异构模块有助于减少过拟合和数据同质化,从而提升多模态融合的效果。在基于Transformer的模块中,我们提出了一种令牌-通道融合自注意力机制,以捕获两个维度上的细粒度全局特征。然后通过能耗可忽略的交叉注意力机制,能够在不增加额外能源成本的情况下揭示模态间的交互性。在DEAP和MAHNOB-HCI数据集上的广泛实验表明,该架构在留一受试者交叉验证下的唤醒维度上表现出了领先水平,并且与基于ANN的方法相比,平均能耗降低了16倍。代码可在https://github.com/zhusiyu-rick/Spike-Hammer.git获取。

引言

情感识别是情感计算的基石,这一领域得益于多模态测量技术和先进深度学习技术的进步(Geetha等人,2024年)。这一技术在人机交互(Xue等人,2024年)、驾驶员监控(Qu等人,2023年)、教育以及医疗保健(Dadebayev等人,2022年)等应用中变得越来越重要。通过严格分析包括生理信号、面部表情、语音和行为线索在内的多种数据模态(Wang等人,2022a年),最先进的系统旨在准确解读人类情感,并增强人类认知与机器智能之间的协同作用(Dolan,2002年)。
生理信号在情感识别中特别可靠,因为它们提供的信息较为客观,不易受到主观偏见的影响(Anwar等人,2025年)。测量传感技术的进步使得通过可穿戴设备方便地获取多种生理信号成为可能(Ravì等人,2017年),这些信号包括脑电图(EEG)、心电图(ECG)、眼电图(EOG)、肌电图(EMG)、皮肤电活动(EDA)和呼吸(Resp)以及体温(Temp)。其中,EEG因其复杂的时空特性而脱颖而出,这些特性由大脑多个区域的活动和动态的时间模式驱动,因此引发了大量关于基于EEG的情感识别研究(Li等人,2025b;Liu, Lou, Zhang等人,2024b;Liu, Wu, Zhang等人,2023a;Lu等人,2024;Wang等人,2022b)。然而,依赖单一模态可能会限制模型的鲁棒性,无法完全捕捉人类情感的复杂性。
相比之下,多模态数据提供了更全面的情感状态表示,因为不同的生理信号提供了互补的信息。交互性反映了这些信号之间的动态关联和协同关系,而异质性指的是不同模态在数据格式、响应机制、时间尺度和语义表示方面的固有差异(Jia等人,2021年)。因此,多模态情感识别旨在揭示模态间的交互性以及每种模态内部的独特异质性,从而显著提升模型性能(Jiang等人,2023年)。
最近的深度学习模型,如卷积神经网络(CNNs)(Zhang等人,2022b)和长短期记忆网络(LSTMs)(Ma等人,2019),已被广泛用于多模态情感识别。最近,Transformer架构(Vaswani等人,2017)因其通过注意力机制实现的高效全局依赖性建模而受到关注,并已被应用于情感识别(Anwar等人,2025;Liu等人,2023a)。结合Transformer和CNN的混合架构也展现了良好的性能(Li等人,2024b;Tang等人,2024)。尽管取得了这些进展,基于人工神经网络(ANN)的模型往往需要大量资源,这限制了其在实时和边缘计算场景中的应用(Liu等人,2024b)。如图1所示,许多领先的多模态情感识别模型需要较高的计算复杂性和能耗。然而,大多数数据是通过可穿戴设备获取的,预计将在边缘设备上进行处理(Hua等人,2023;Ravì等人,2017),因此在保持性能的同时最小化计算和能耗是一个关键挑战。在这种情况下,脉冲神经网络(SNN)提供了一个有前景的替代方案。
作为第三代神经网络,受生物启发的SNN(Li等人,2024a)采用基于脉冲的事件驱动(脉冲驱动)机制进行操作。在SNN中,信息仅以脉冲的形式在层间传输,这自然导致了稀疏的激活(Zambrano等人,2019)。当部署在如TrueNorth(Merolla等人,2014)、Loihi Davies(2018)或Tianjic Pei(2019)等神经形态硬件上时,SNN可以显著降低运行时的能耗。尽管最近的进展将深度SNN架构扩展到了计算机视觉(Wang等人,2025;Yao, Hu, Hu等人,2024;Yao, Hu, Zhou等人,2023;Yao, Qiu, Hu等人,2025;Zhou等人,2023)、文本到语音(Wang等人,2024a)、时间序列预测(Lv等人,2024)、故障诊断(Li等人,2025a)和语言建模(Xing等人,2024)等领域,但SNN仍然缺乏有效的多模态架构,其在多模态情感识别方面的潜力尚未得到充分探索。
为了解决这些问题,我们提出了一种新型的脉冲驱动混合架构用于多模态情感识别(Spike-Hammer)。我们的混合设计结合了基于卷积的模块用于时空特征提取,以及基于Transformer的模块以实现多模态融合。具体来说,为了增强从EEG信号中提取时空特征的能力,我们构建了一个基于可分离卷积的时空融合脉冲补丁嵌入(STF-SPE)模块。该模块利用深度卷积捕获时间动态,点卷积提取空间特征,而残差连接则保持了时空信息的完整性。在基于Transformer的模块中,我们开发了一种称为令牌-通道融合脉冲驱动自注意力(TCF-SDSA)的脉冲驱动自注意力机制。TCF-SDSA同时在令牌和通道维度上捕获细粒度的全局信息,从而减少了潜在的信息损失。此外,我们提出了一种键值共享脉冲驱动交叉注意力(KVS-SDCA)机制,该机制重用了TCF-SDSA中的键值表示,从而减少了查询(Q)、键(K)和值(V)计算相关的计算开销。我们的贡献可以总结如下:•
我们提出了Spike-Hammer,一种用于多模态情感识别的新型脉冲驱动混合架构。通过将脉冲驱动的时空卷积与多模态融合模块相结合,Spike-Hammer实现了高效的生理信号嵌入和融合。
  • •
    我们提出了一种基于注意力的融合模块,该模块能够捕获令牌和通道维度上的细粒度全局依赖性。此外,我们在模块内提出了一种简单而有效的共享键值(KV)机制,大幅降低了计算开销,同时促进了跨模态的交互性。
  • •
    在DEAP和MAHNOB-HCI数据集上的广泛实验表明,与最先进的(SOTA)ANN模型相比,Spike-Hammer在唤醒维度上的平均准确率和F1分数分别提高了1.10%和2.95%,同时能耗平均降低了16倍,从而显著提高了效率。
  • 章节片段

    EEG中的时空特征

    人脑作为一个动态的时空系统,神经活动分布在各个区域,并在毫秒时间尺度上演变。因此,先前的方法强调了联合建模时空特征以提升情感识别的重要性。例如,Wang等人(2022b)提出了一种新的混合时空特征融合神经网络,用于融合时空表示。

    问题表述

    该架构旨在利用包括EEG和PPS在内的多模态生理信号来预测情感状态:
    Y=Spike-Hammer(Xe)。这里,Y表示情绪状态在情感价值或唤醒维度上的表现。Xe, Xp对表示EEG和PPS数据。Xe∈RXp∈RXp∈RCe和Cp分别表示EEG和PPS通道的数量,L表示时间序列长度。跨受试者情感识别采用留一受试者(LOSO)交叉验证策略。

    数据集

    DEAP Koelstra等人(2012)是一个数据集,包含了32名受试者在40次视频试验中收集的EEG信号(32个通道)和外围生理信号(8个通道)。每次试验持续63秒,包括3秒的基线和60秒的情感唤醒数据。3秒的试验前基线被去除,信号采样频率为128 Hz。
    MAHNOB-HCI Soleymani等人(2012)是一个包含EEG信号(32个通道)和外围生理信号的数据集

    结论

    在这项工作中,我们提出了Spike-Hammer,一种用于多模态情感识别的脉冲驱动混合架构。STF-SPE旨在有效捕获EEG中的时空特征。Spike-Hammer的核心是两种高效且有效的注意力机制:TCF-SDSA和KVS-SDCA,它们以最小的开销挖掘了不同模态之间的异质性和交互性。在数据集上的实验表明,该架构在唤醒维度上达到了最先进水平,并且与最新方法相比显著节省了能源。

    CRediT作者贡献声明

    朱思雨:撰写——原始草案、可视化、验证、方法论、形式分析。傅海生:撰写——原始草案、可视化、调查、数据管理。邹宇晨:验证、调查。张国和:监督、项目管理、资金获取。梁杰:撰写——审阅与编辑、监督、资金获取。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号