情感识别是情感计算的基石,这一领域得益于多模态测量技术和先进深度学习技术的进步(Geetha等人,2024年)。这一技术在人机交互(Xue等人,2024年)、驾驶员监控(Qu等人,2023年)、教育以及医疗保健(Dadebayev等人,2022年)等应用中变得越来越重要。通过严格分析包括生理信号、面部表情、语音和行为线索在内的多种数据模态(Wang等人,2022a年),最先进的系统旨在准确解读人类情感,并增强人类认知与机器智能之间的协同作用(Dolan,2002年)。
生理信号在情感识别中特别可靠,因为它们提供的信息较为客观,不易受到主观偏见的影响(Anwar等人,2025年)。测量传感技术的进步使得通过可穿戴设备方便地获取多种生理信号成为可能(Ravì等人,2017年),这些信号包括脑电图(EEG)、心电图(ECG)、眼电图(EOG)、肌电图(EMG)、皮肤电活动(EDA)和呼吸(Resp)以及体温(Temp)。其中,EEG因其复杂的时空特性而脱颖而出,这些特性由大脑多个区域的活动和动态的时间模式驱动,因此引发了大量关于基于EEG的情感识别研究(Li等人,2025b;Liu, Lou, Zhang等人,2024b;Liu, Wu, Zhang等人,2023a;Lu等人,2024;Wang等人,2022b)。然而,依赖单一模态可能会限制模型的鲁棒性,无法完全捕捉人类情感的复杂性。
相比之下,多模态数据提供了更全面的情感状态表示,因为不同的生理信号提供了互补的信息。交互性反映了这些信号之间的动态关联和协同关系,而异质性指的是不同模态在数据格式、响应机制、时间尺度和语义表示方面的固有差异(Jia等人,2021年)。因此,多模态情感识别旨在揭示模态间的交互性以及每种模态内部的独特异质性,从而显著提升模型性能(Jiang等人,2023年)。
最近的深度学习模型,如卷积神经网络(CNNs)(Zhang等人,2022b)和长短期记忆网络(LSTMs)(Ma等人,2019),已被广泛用于多模态情感识别。最近,Transformer架构(Vaswani等人,2017)因其通过注意力机制实现的高效全局依赖性建模而受到关注,并已被应用于情感识别(Anwar等人,2025;Liu等人,2023a)。结合Transformer和CNN的混合架构也展现了良好的性能(Li等人,2024b;Tang等人,2024)。尽管取得了这些进展,基于人工神经网络(ANN)的模型往往需要大量资源,这限制了其在实时和边缘计算场景中的应用(Liu等人,2024b)。如图1所示,许多领先的多模态情感识别模型需要较高的计算复杂性和能耗。然而,大多数数据是通过可穿戴设备获取的,预计将在边缘设备上进行处理(Hua等人,2023;Ravì等人,2017),因此在保持性能的同时最小化计算和能耗是一个关键挑战。在这种情况下,脉冲神经网络(SNN)提供了一个有前景的替代方案。
作为第三代神经网络,受生物启发的SNN(Li等人,2024a)采用基于脉冲的事件驱动(脉冲驱动)机制进行操作。在SNN中,信息仅以脉冲的形式在层间传输,这自然导致了稀疏的激活(Zambrano等人,2019)。当部署在如TrueNorth(Merolla等人,2014)、Loihi Davies(2018)或Tianjic Pei(2019)等神经形态硬件上时,SNN可以显著降低运行时的能耗。尽管最近的进展将深度SNN架构扩展到了计算机视觉(Wang等人,2025;Yao, Hu, Hu等人,2024;Yao, Hu, Zhou等人,2023;Yao, Qiu, Hu等人,2025;Zhou等人,2023)、文本到语音(Wang等人,2024a)、时间序列预测(Lv等人,2024)、故障诊断(Li等人,2025a)和语言建模(Xing等人,2024)等领域,但SNN仍然缺乏有效的多模态架构,其在多模态情感识别方面的潜力尚未得到充分探索。
为了解决这些问题,我们提出了一种新型的
脉冲驱动
混合架构
用于多
模态情感
识别(
Spike-Hammer)。我们的混合设计结合了基于卷积的模块用于时空特征提取,以及基于Transformer的模块以实现多模态融合。具体来说,为了增强从EEG信号中提取时空特征的能力,我们构建了一个基于可分离卷积的
时空融合脉冲补丁嵌入(STF-SPE)模块。该模块利用深度卷积捕获时间动态,点卷积提取空间特征,而残差连接则保持了时空信息的完整性。在基于Transformer的模块中,我们开发了一种称为
令牌-通道融合脉冲驱动自注意力(TCF-SDSA)的脉冲驱动自注意力机制。TCF-SDSA同时在令牌和通道维度上捕获细粒度的全局信息,从而减少了潜在的信息损失。此外,我们提出了一种
键值共享脉冲驱动交叉注意力(KVS-SDCA)机制,该机制重用了TCF-SDSA中的键值表示,从而减少了查询(Q)、键(K)和值(V)计算相关的计算开销。我们的贡献可以总结如下:
•我们提出了Spike-Hammer,一种用于多模态情感识别的新型脉冲驱动混合架构。通过将脉冲驱动的时空卷积与多模态融合模块相结合,Spike-Hammer实现了高效的生理信号嵌入和融合。
•我们提出了一种基于注意力的融合模块,该模块能够捕获令牌和通道维度上的细粒度全局依赖性。此外,我们在模块内提出了一种简单而有效的共享键值(KV)机制,大幅降低了计算开销,同时促进了跨模态的交互性。
•在DEAP和MAHNOB-HCI数据集上的广泛实验表明,与最先进的(SOTA)ANN模型相比,Spike-Hammer在唤醒维度上的平均准确率和F1分数分别提高了1.10%和2.95%,同时能耗平均降低了16倍,从而显著提高了效率。