UDC-SNN:一种基于脉冲神经网络的不确定性感知动态级联框架,用于在多模态情绪识别中平衡性能与能耗 阮贵豪、 李胜哲、 江志文、 张涵、 龙新远、 赖大坤

《Sensors》:UDC-SNN: An Uncertainty-Aware Dynamic Cascading Framework with Spiking Neural Network for Balancing Performance and Energy in Multimodal Emotion Recognition Guihao Ran, Shengzhe Li, Zhiwen Jiang, Han Zhang, Xinyuan Long and Dakun Lai

【字体: 大 中 小 】 时间:2026年05月06日 来源:Sensors 3.5

编辑推荐:

  摘要 本研究旨在提出一种基于脉冲神经网络(UDC-SNN)的不确定感动态级联框架,用于多模态情绪识别,特别适用于解决识别性能与能源效率之间的固有权衡问题。本文提出了一种非对称动态路由机制,以实现高功率脑电图(EEG)分支的按需激活,并结合低功率心电图(ECG)分支的初步推断以及通

  摘要
本研究旨在提出一种基于脉冲神经网络(UDC-SNN)的不确定感动态级联框架,用于多模态情绪识别,特别适用于解决识别性能与能源效率之间的固有权衡问题。本文提出了一种非对称动态路由机制,以实现高功率脑电图(EEG)分支的按需激活,并结合低功率心电图(ECG)分支的初步推断以及通过香农熵量化的不确定性量化。同时,开发了一种无参数的对数线性聚合策略,通过指数衰减函数将模态特定的熵转换为动态贝叶斯权重,有效减轻了由单模态噪声引起的负面转移效应。UDC-SNN在包含23名受试者(170,660个片段)的多模态情感数据集DREAMER上进行了评估。在价值、唤醒度和支配度三个维度上,平均识别准确率和功耗分别为90.75%和4.62焦耳。结果表明,所提出的框架能够在高情绪识别和低功耗之间实现良好的平衡,从而证明了其在资源受限场景下的实时监控应用潜力。

1. 引言
情绪状态是人类认知、行为决策和社会互动的核心组成部分,对心理健康和日常功能有着深远的影响[1,2,3,4]。准确的情绪识别在智能医疗保健、心理健康监测、教育辅助和脑机接口等领域具有巨大的潜力[5,6,7,8]。它还可以改善人机交互体验,并为精神障碍的辅助诊断提供定量指标[5,9]。基于可观察的行为线索(如面部表情和语音韵律)的传统方法在某些情况下可能是有效的;然而,它们容易受到有意伪装、文化差异和环境噪声的影响,从而限制了它们全面反映内在情绪状态的能力[10,11,12,13]。因此,使用生理信号进行情绪识别已成为情感计算和神经工程中的一个重要研究方向[9,10,14]。
在各种生理信号模式中,脑电图(EEG)和心电图(ECG)由于能够反映不同层次的情绪相关生理活动而受到了广泛关注[15]。EEG记录了皮层神经群体的集体活动,具有相对较高的时间分辨率,并且在一定程度上能够捕捉到情绪处理过程中中枢神经系统的动态变化,因此在情绪相关神经活动研究中具有重要意义[16]。相比之下,ECG主要反映自主神经系统的调节状态,其中心节律的变化可以从外周角度表征由情绪引发的生理反应[10,17]。此外,与单模态方法相比,EEG和ECG的多模态融合有望同时捕捉中枢神经系统与外周自主系统之间的动态交互。通过将大脑层面的神经活动与外周生理反应结合起来,可以获得更全面、更可靠的情绪相关生理过程表示,从而为智能情绪识别提供更丰富的支持[15]。
在情绪识别领域,通过方法创新,各种人工智能模型逐步提高了诊断性能和实际应用能力。从传统机器学习的角度来看,Sharma等人(2021年)[18]提出了一种基于滑动模式奇异谱分析(SM-SSA)的自动情绪识别模型,该方法将生理信号分解为重构成分(RCs)并提取信息潜力(IP)和中心相关系数(CEC)特征,在DREAMER数据集上获得了92.06%的唤醒度、92.38%的支配度和92.30%的价值分类准确率。2022年,Nalwaya等人[19]采用基于傅里叶-贝塞尔级数展开的经验小波变换(FBSE-EWT)将EEG和ECG信号分解为多个子带,然后计算频谱熵特征;使用K最近邻(KNN)分类器,他们在同一数据集上报告了97.84%的唤醒度、97.91%的价值和97.86%的支配度准确率。
关于传统的人工神经网络,研究人员专注于开发端到端的深度模型以实现自动特征提取。2022年,Siddharth等人[20]利用深度卷积神经网络(CNN)从EEG拓扑图和ECG频谱图中提取特征,在DREAMER数据集上的多模态识别中实现了79.95%的价值和唤醒度准确率。2023年,Khan等人[21]提出了一种基于注意力的双层门控循环单元模型(AT2GRU),结合了基于最大差异的异构缓解(MDHM)方法来减轻设备相关变异性,并报告了84.15%的价值、84.69%的唤醒度和85.81%的支配度准确率。最近在2025年,Wang等人[22]设计了一种混合Att-1DCNN-GRU网络,其中使用随机森林算法选择生理信号特征,在DREAMER数据集上分别实现了95.95%、94.93%和94.91%的价值、唤醒度和支配度准确率。
总之,尽管上述方法在情绪识别方面取得了显著进展,但仍存在一些局限性。传统机器学习方法具有概念简单性和可解释性的优势;然而,它们的性能高度依赖于手工设计的特征,可能表现出有限的泛化能力。传统的人工神经网络(ANNs)能够实现自动特征提取,但许多研究主要强调性能改进,而相对忽视了能源效率。因此,需要探索一种能够同时保持高性能和能源效率的端到端情绪识别框架。

受这些考虑的启发,本研究提出了一种基于脉冲神经网络(UDC-SNN)的不确定感动态级联框架用于情绪识别。具体来说,该方法引入了一种具有非对称计算成本的动态路由机制:优先使用低功率的ECG模式进行初步推断,同时实时通过香农熵量化决策不确定性。只有当样本被识别为高度不确定时,才会按需激活高功率的EEG模式。在多模态决策阶段,引入了一种无参数的对数线性池化策略,而不是传统的静态(全连接层)黑盒融合。实际上,通过指数衰减函数将模态特定的熵转换为动态贝叶斯权重,从而在数学层面原则性地减轻了由瞬态单模态噪声引起的负面转移。总体而言,这项工作有望为在资源受限环境中的实时情感计算提供一个有效的平衡性能和能源消耗的范例。

2. 材料与方法
2.1. 框架
图1展示了所提出的自动情绪识别框架。该框架基于SNN构建,结合了一个多阶段不确定感动态级联策略,用于执行情绪价值、唤醒度和支配度水平的二分类。整个流程包括三个核心阶段:信号预处理、基于SNN的特征提取模型训练以及自适应级联推断和决策制定。图中的蓝色箭头代表了系统的操作流程。
2.2. 数据集
本研究使用了由西苏格兰大学发布的DREAMER多模态情感数据集。该数据集包含了23名健康参与者在观看18个情绪诱发视频片段时的生理反应。观看每个片段后,参与者对价值、唤醒度和支配度进行了1到5分的自我评估。
在信号采集方面,EEG和ECG信号是同步记录的。EEG信号使用Emotiv EPOC无线设备以128 Hz的采样率记录,具有14个通道;而ECG信号使用SHIMMER传感器以256 Hz的采样率在双通道配置下采集。为了减轻受试者间变异性和环境噪声的影响,在每个刺激视频之前包含了一个基线记录阶段,随后用于信号校准和标准化。
为了确保信号质量和模型评估的可靠性,对DREAMER数据集应用了系统的预处理流程。首先,使用5阶巴特沃斯带通滤波器去除了EEG(4–45 Hz)和ECG(0.5–45 Hz)信号中的噪声。然后,ECG信号被下采样到128 Hz,以实现跨模态的时间对齐。接下来,提取了刺激前基线段的最后4秒时间,计算平均幅度,然后从相应的刺激诱发信号中减去该幅度以进行基线校正,从而减少受试者间的生理差异。
对于标签处理,连续的自我评估分数(范围从1到5)对于价值、唤醒度和支配度使用3.0的阈值进行二值化,其中大于3.0的值映射到高级别类别,小于或等于3.0的值映射到低级别类别[19,21]。为了在保持时间动态的同时增加数据集的规模,采用了滑动窗口方法,窗口长度为1秒(128个采样点),重叠率为50%,以分割连续信号。
在数据集划分过程中,根据结合三个情绪维度形成的联合标签进行了分层分割,确保了整体类别分布的一致性。数据集被严格划分为训练集、验证集和测试集,比例为8:1:1。随后,对分割后的数据应用了逐通道Z分数标准化。重要的是,标准化参数仅在训练集上计算,然后应用于整个数据集,有效消除了尺度差异,同时防止了潜在的数据泄露。
经过预处理后,共获得了170,660个多模态样本,如表1所示。根据二值化标签,被分类为“高”值的样本在价值、唤醒度和支配度维度上的比例分别为41.1%、47.9%和53.7%。这个相对大规模且分布平衡的数据集为深度学习模型的有效训练提供了坚实的基础。
2.3. 基于脉冲神经网络的不确定感动态级联框架
2.3.1. 不确定感动态级联策略
由于生理信号的计算机成本不对称——14通道的EEG计算密集,而2通道的ECG计算较轻——所提出的方法建立了一种不确定感动态级联策略。具体来说,采用了按需动态路由机制,并与贝叶斯决策融合相结合。
更具体地说,推理过程被构建为一个三阶段的级联架构。对于给定的输入,系统首先激活低成本的ECG脉冲网络来提取初步特征并生成未标准化的对数概率(即logits),记为,其中C表示情绪类别的数量。如果ECG模式的最大预测概率超过预定义的阈值,则触发早期退出机制。在物理层面上,这有效地阻止了输入进入EEG路径,从而确保EEG网络内的脉冲活动为零。
当ECG模式表现出高不确定性(即信心低)时,系统动态激活EEG网络以捕获神经特征,产生。同样,如果EEG模式的最大预测概率超过阈值,则执行早期退出。否则,当EEG模式仍然反映高不确定性时,系统进入最终的多模态融合阶段。
从概率的角度来看,多模态决策可以表述为一个最大后验(MAP)估计问题。假设在给定情绪状态Y的情况下,EEG和ECG模式之间条件独立,根据贝叶斯定理,联合后验可以表示为(1)。
为了简化计算,乘法公式通过对数变换转换为加法聚合。由于神经网络产生的logits可以解释为未标准化的对数后验概率,贝叶斯融合自然简化为元素级的加法:(2)
然而,天真的贝叶斯假设隐含地赋予两种模式相同的置信度,这在存在瞬态生理伪影的情况下可能是次优的。为了解决这个问题,使用香农熵来独立量化每个模式的认知不确定性:(3)
其中表示类别i的模式m的预测概率。较高的熵值对应于更平坦的概率分布,表明模型不确定性更大,对噪声的敏感性也更高。
为了动态校准每个模式的贡献,引入了一个受统计力学启发的指数衰减函数来建模可靠性权重:(4)
这种转换确保了高不确定性的模式被大幅度降低(),而更自信的模式对决策边界有主导影响。通过进行标准化后,最终通过対数线性融合获得最终决策:(5)
最终的情绪类别由决定。通过将模态特定特征投影到对数概率空间,该框架能够适应性地抑制模态特定的干扰,而无需引入额外的可训练参数,从而保持计算效率和建模的可解释性。
2.3.2. 脉冲卷积神经网络(SCNN)
在本研究中,开发了一种统一且轻量级的脉冲卷积神经网络(SCNN)架构,如图2所示。该模型包含三个逐步的特征提取阶段和一个两层分类器,共同捕获生理信号的时空特性。核心设计原则是采用分层特征提取策略:前两个阶段(阶段1和阶段2)使用非对称卷积核(尺寸分别为 和 )来实现显著的时间下采样,同时保持空间分辨率,而第三个阶段则使用标准的 卷积来促进更深层次的特征整合。图2展示了该模型的架构。每个阶段都遵循“卷积–归一化–产生脉冲–池化”的流程结构。在这个流程中,Leaky Integrate-and-Fire(LIF)神经元(具有膜时间常数 )作为非线性激活单元,模仿生物神经元的动态脉冲行为,实现非线性特征表示。为了促进高效训练,采用ArcTangent(ATan)函数作为反向传播的替代梯度。

考虑到EEG和ECG信号在空间维度(即电极数量)上的显著差异,在阶段2中引入了针对特定模态的适应性调整。对于EEG,应用全空间下采样以减少电极间的冗余;而对于ECG,则保持空间维度,以防止其双通道配置中的信息过早丢失。分类模块由两个全连接层组成,中间加入了Dropout机制()以减轻过拟合。此外,LIF神经元也被集成到分类器中以提供非线性转换。

最终模型的主要参数设置如表2所示。为了适应不同模态(ECG/EEG)的特点,主要对阶段2的池化步长和标签平滑系数进行了针对性调整。在模型的脉冲神经元模块中,研究采用了具有ATan替代梯度函数的Leaky Integrate-and-Fire Node(LIFNode)神经元。LIFNode的亚阈值神经动态可以表示为[23]:

其中 表示前一时间步的膜电位, 是膜时间常数, 表示输入信号, 是脉冲发射后膜电压恢复到的复位电位, 是当前时间步的膜电位。ATan替代梯度函数定义如下[23]:

其中x表示输入到神经元膜电位的值, 是控制替代梯度函数斜率和平滑度的缩放因子。

3. 实验
3.1. 实验设置
在当前的实验中,SNN的时间步长(T)设置为4,旨在实现计算成本和特征建模能力之间的平衡。模型使用AdamW优化器进行优化,初始学习率为0.01。采用余弦退火调度来动态调整学习率,这可能有助于更快地收敛,并降低陷入局部最小值的可能性。训练过程进行多达200个周期,如果连续30个周期验证损失没有改善,则应用提前停止策略,从而降低过拟合的风险。在本研究中,采用SpikingJelly(0.0.0.0.14)作为SNN的实现框架[23]。SpikingJelly基于PyTorch构建,为SNN模型的开发、训练和评估提供了集成平台。它支持多层脉冲架构的灵活构建,并提供神经形态数据处理、网络设计和基于替代梯度的优化等功能。

3.2. 评估指标
3.2.1. 分类性能指标
为了全面评估所提出系统的分类性能,使用了几个标准指标,包括准确率(Acc)、召回率(Rec)、特异性(Spe)、精确度(Pre)、F1分数(F1)和接收者操作特征曲线下面积(AUC)。这些指标提供了多维的分类性能评估。它们的公式如下:

其中TP、TN、FP和FN分别表示真正例、真负例、假正例和假负例的数量。

3.2.2. 能耗指标
由于该模型基于SNN,总操作数可以定义如下[24,25]:

其中总脉冲率是所有层和所有时间步中的脉冲总数除以神经元总数。总操作数指的是与SNN具有相同架构的ANN中的操作数。此外,与传统的ANN相比,SNN可能表现出更高的能源效率和更好的生物可解释性。传统ANN依赖于连续的乘法-累加(MAC)操作,而SNN通过离散的脉冲驱动机制运行,仅当神经元膜电位超过阈值时才发射脉冲。这种事件驱动的范式减少了冗余计算,因为每个操作通常只涉及加法(ADD)。因此,ANN和SNN模型的能耗可以表示为[24,25]:

4. 结果与讨论
4.1. 分类性能
4.1.1. 基本ECG/EEG模型的分析(分类性能)
在本研究中,首先分别评估了ECG和EEG模型在不同情感标签上的分类性能。对于每个标签类别,独立训练相应的单模态模型。实验结果(如表3所示)表明,基于EEG的模型在所有标签上的准确率均超过88%,显示出比基于ECG的模型更优越的性能。这一优势可能归因于多通道EEG信号中嵌入的更丰富的时空信息。在评估的维度中,EEG模型在主导性标签上的表现最好,准确率为89.10%。

4.1.2. UDC-SNN的分析(分类性能)
随后评估了所提出的UDC-SNN框架的总体性能。如表6所示,该框架在所有情感维度上的准确率均超过90%,其中主导性维度的准确率最高(91.07%)。比较分析显示,UDC-SNN在所有评估指标上始终优于原始的单模态ECG和EEG模型。图3进一步展示了UDC-SNN和基线模型在不同情感维度上的混淆矩阵。分析表明,尽管基于EEG的模型在某些类别上产生的真正例数量更多,但所提出的框架在所有类别上的分类准确性得到了进一步提升,表明UDC-SNN有效地整合了异构模态信息,从而减少了分类歧义,并在多维情感识别任务中表现出更好的预测一致性和鲁棒性。

4.2. 能耗
4.2.1. 基本ECG/EEG模型的能耗分析
本节首先评估了ECG和EEG模型在不同情感标签上的能耗特性。脉冲编码直接决定了网络中的后续脉冲率。相应结果如图4所示。具体来说,图4a展示了本研究中采用的端到端编码器架构,包括模型的前三层(即卷积、归一化和LIF神经元层)。该模块主要通过LIF神经元将连续的模拟信号转换为脉冲列。图4. 模型编码的示意图。(a) 编码器模块的架构;(b) EEG输入信号;(c) ECG输入信号;(d–f) ECG信号在最终时间步的32通道脉冲输出(三个情感维度:情绪、唤醒和主导性);(g–i) ECG信号在相同三个维度上的32通道脉冲输出(白点代表脉冲)。图4b,c分别显示了编码之前的原始EEG和ECG信号。图4d–i展示了EEG和ECG信号在三个情感维度上的编码脉冲分布。所有脉冲可视化对应于最终时间步的输出,其中白色像素表示神经元脉冲发射事件。

随后,通过为每个情感维度输入一个样本,定量评估了ECG和EEG模型的脉冲率。如图5所示,ECG模型的整体脉冲率在三个维度上相对较低,分别为0.14、0.14和0.16。相比之下,EEG模型表现出较高的脉冲率,分别为0.47、0.48和0.54。这些定量发现与图4中观察到的脉冲编码模式一致。由于ECG信号的电极通道数量有限,相应的特征信息密度相对受限,导致编码后的脉冲表示较为稀疏。尽管EEG模型显示出更频繁的脉冲活动,但其整体发射率仍处于合理范围内,适合高效的SNN计算。

总体而言,脉冲率是SNN中能源效率的关键指标,直接影响相对于传统ANN可以减少的计算开销程度。较低的脉冲率意味着事件驱动计算的显著优势,从而在推理过程中有效减少了操作次数,进而降低了能耗。为了进一步量化能源效率,本研究在45纳米CMOS技术下系统地比较了SNN和ANN的性能。如表8所示,在32位精度下,神经网络(ANN)中单次乘累加(MAC)操作的能耗约为4.6皮焦耳(pJ),而SNN中的基本加法(ADD)操作仅需要0.9皮焦耳,这意味着能耗相差约5.1倍[26]。尽管这些数值可能因制造工艺而异,但通常观察到在主流CMOS逻辑中,加法的能耗明显低于乘法。表8显示了45纳米CMOS(32位)中加法和乘法的能耗。根据方程(13)-(16)以及表8中列出的参数,对ECG和EEG模型在不同情感维度上进行了标准化能耗分析。如表9所总结的,当相应ANN模型的能耗标准化为1时,基于SNN的模型显示出显著的能源效率提升。特别是ECG-价值(valence)和ECG-唤醒(arousal)模型的能耗仅为其ANN对应模型的大约7%,这意味着能源效率提高了约15.08倍。即使对于以EEG为主导的任务,尽管其尖峰率相对较高,能耗仍约为ANN基准的16%,从而提高了约6.28倍。这些结果强调了SNN在低功耗计算方面的优势,主要归功于它们的事件驱动和稀疏感知特性。表9展示了在不同标签下ECG/EEG模型相对于同构ANN模型的能耗改进。此外,对不同模型和情感标签下的能耗进行了详细的定量评估,见表10。结果表明,所提出的模型保持了相对较低的参数数量、计算复杂性和能耗,从而展现了轻量级设计。具体而言,基于ECG的模型包含大约0.24百万个参数,而基于EEG的模型包含约0.5百万个参数。在计算成本方面,ECG-价值和ECG-唤醒模型仅需要大约0.52百万次浮点运算(FLOPs),并且能耗约为0.73焦耳。即使对于计算要求更高的EEG主导任务,FLOPs和能耗也分别控制在约766万次和9.07焦耳。

4.2.2 UDC-SNN(能耗)分析
本节提供了所提出的UCD-SNN框架能效的定量评估,实验结果总结在表11中。表格的最后两列报告了传统的ECG-EEG顺序融合方案的计算复杂度(FLOPs)和能耗,作为基准。结果表明,由于按需动态路由机制,超过50%的样本在第一阶段(即低功耗的基于ECG的初步模型)就可以被分类,从而实现了早期退出。在三个维度中,主导性任务实现了最高的早期退出率,达到56.50%。对于进入后续阶段(包括EEG处理和ECG-EEG融合)的样本,融合操作引入的计算开销可以忽略不计;因此,这些样本在后续的能耗分析中被一同考虑。表11显示了在不同标签下UDC-SNN的能耗。最终评估表明,在不同情感维度上,平均每个样本的计算复杂度分别降低到370万(价值)、372万(唤醒)和389万(主导)FLOPs,相应的能耗值分别为4.54焦耳、4.60焦耳和4.73焦耳。与所有样本都经过完全路径顺序融合的传统方法(“ECG + EEG”)相比,所提出的UDC-SNN框架在FLOPs和能耗上分别减少了大约50%。这些发现表明,自适应的、需求驱动的路由策略有效地抑制了计算冗余,从而在多维情感识别任务中实现了更好的低功耗特性。

4.3 自信度阈值分析
本节进一步研究了在不同置信度阈值下UDC-SNN框架的行为,重点关注分类准确性和仅由ECG模式处理的样本比例。相应的结果如图6所示。图6展示了在不同置信度阈值下UCD-SNN框架在多维情感识别中的识别性能以及ECG模式使用的比例。随着置信度阈值的变化,(a)价值维度、(b)唤醒维度和(c)主导维度展示了分类准确性和ECG模式使用比例之间的关系。结合表10中报告的ECG和EEG模型的能耗分析,可以观察到整个系统的能耗在很大程度上由仅使用低成本ECG路径完成推理的样本比例决定。这是由于ECG模型的计算复杂度低于EEG模型。实验结果揭示了置信度阈值、系统能效和分类性能之间的明显权衡。在所有三个情感维度上,随着置信度阈值的单调增加,分类准确性逐渐提高。然而,这种准确性的提高是以减少对低功耗ECG路径的利用为代价的,因为仅依赖ECG推理的样本比例大幅下降。这表明更高的准确性要求往往会限制早期退出率,从而增加了整体能耗。此外,图6还可以解释为一种连续的敏感性分析。通过在0.7-1.0范围内以0.05的增量扫描阈值,整体准确性和使用ECG模式推理的样本比例都表现出相对平滑的轨迹,没有任何突然或灾难性的波动。这种行为为所提出系统的整体稳定性提供了支持证据。进一步来说,选择0.85的阈值是基于边际收益递减的原则。尽管提高阈值(例如到0.9或0.95)可能会带来轻微的准确性提升,但这种提升往往伴随着更高的计算成本。特别是当阈值达到1.0时,仅由低功耗ECG模型分类的样本比例降为零,迫使所有样本也必须通过复杂的EEG模型,这导致能耗翻倍。因此,0.85的阈值作为一个实际的“拐点”出现:它在不同情感维度上保持了90%以上的准确性水平,同时避免了与边际性能提升相关的过度能耗。

4.4 与基线配置的比较
本节系统地评估了UDC-SNN框架与三种基线配置(即仅ECG、仅EEG和完整的ECG + EEG融合)在不同情感标签(价值、唤醒和主导性)下的能耗和准确性,结果总结在表12中。表12显示了UDC-SNN与基线在不同标签下的能耗和准确性对比。观察到,仅依赖ECG的方式往往施加了相对较小的计算负担,主要由于涉及的电极通道较少。因此,这种模式的能耗在三个维度上较低(分别为0.73焦耳、0.73焦耳和0.78焦耳)。然而,由于空间特征信息有限,其表示能力受到限制,基础准确率分别为81.41%、81.58%和83.14%。相比之下,使用仅EEG的方式能够捕获更丰富的电生理信息,从而将三个维度的准确率提高到88.06%、88.36%和89.10%。不过,扩展的通道维度不可避免地引入了更高的计算开销,使相应的能耗分别增加到8.22焦耳、8.43焦耳和9.07焦耳。此外,采用完整的ECG + EEG融合方案(即将置信度阈值设置为1)使模型能够充分利用多模态互补性,从而实现了91.81%、91.61%和92.20%的高准确率。然而,这种性能是以连续处理两种模式导致的能耗增加为代价的,使得能耗在这个上下文中达到了峰值(分别为8.95焦耳、9.16焦耳和9.85焦耳)。最终,通过对ECG和EEG模式采用动态级联控制,所提出的UDC-SNN框架在保持高精度的同时成功减轻了计算开销。准确率保持在90.58%、90.60%和91.07%,与ECG + EEG模式相比仅有轻微差异。因此,该框架的能耗有效降低到4.54焦耳、4.60焦耳和4.73焦耳,相比ECG + EEG基线减少了大约50%。除了能耗外,实时性能也是评估模型可行性的重要标准。为此,我们在NVIDIA RTX 3060 GPU上进一步进行了单样本推理延迟实验。每次测量重复100次,排除了热身开销。相应结果见表13。表13显示了UDC-SNN在不同标签下的延迟与基线的比较。实验结果表明,ECG模型和EEG模型的每次决策延迟大致相同,大约为2毫秒。这种行为可以归因于在高性能硬件(如RTX 3060)上处理单个样本时,整体延迟主要受CUDA内核启动开销、张量调度和SNN中的内存访问操作的限制,而不是计算复杂性本身。此外,完整的ECG + EEG融合模式的延迟大约为4毫秒。相比之下,UDC-SNN通过ECG分支直接分类了超过一半的样本,从而在更早的阶段完成了决策过程。因此,UDC-SNN的总体延迟介于ECG模型和完整的ECG + EEG融合方法之间。结果表明,UDC-SNN的推理时间显著低于1000毫秒的数据采集窗口。这些结果表明,UDC-SNN框架在保持低功耗的同时实现了高响应速度。

4.5 与相关研究的比较
为了客观评估所提出方法的贡献,本节与领域内几种最新的基于神经网络的方法进行了比较分析。值得注意的是,大多数现有的情感计算研究主要集中在分类性能指标上,如准确性,同时常常忽略了与大规模数据处理相关的能耗。因此,许多工作没有明确报告计算复杂性(例如FLOPs)。为了确保比较的清晰性和科学严谨性,本研究采用了基于文献中报告的网络架构和关键参数的保守下限估计方法。具体来说,只考虑了前向传播中涉及的最小理论操作数量,排除了非计算开销。这为比较提供了一个相对无偏且学术上有意义的基准。此外,为了增强评估的全面性,还包括了几项最新的SNN研究。最终结果总结在表14中。表14显示了相关研究中性能和能耗的比较。Siddharth等人(2022年)[20]的工作代表了一种利用预训练视觉模型进行生理信号分析的典型范例。输入信号被转换为三通道RGB图像,并使用在ImageNet上预训练的VGG-16网络进行特征提取。根据他们研究中描述的模型配置,输入图像大小是固定的。根据VGG-16的标准前向传播计算,处理单个图像的最低计算成本大约为15.3 GFLOPs。相比之下,所提出的方法平均识别准确率约为90.75%(优于该研究中报告的79.95%),同时仅需要大约3.77 MFLOPs,这大约是计算成本的。在能耗方面,所提出的方法(4.62焦耳)仅需要比较方法(35,190焦耳)的大约。Khan等人(2023年)[21]提出的AT2GRU模型专注于一维时间信号处理,并表现出相对有利的计算效率。模型复杂性定义为,其中g表示信号数量,t表示时间步数。在他们的DREAMER数据集配置中,隐藏单元的数量设置为5以减少过拟合。根据GRU单元的标准计算公式,处理以128 Hz采样的一系列1个序列的保守下限复杂性大约为2.76 MFLOPs。这使Khan模型的计算规模与所提出的方法(3.77 MFLOPs)相当。然而,尽管设计轻量级,Khan等人报告的分类准确率(84.88%)仍然明显低于本研究中的准确率(90.75%)。此外,由于脉冲神经网络(SNNs)的事件驱动特性,所提出的方法实现了更低的能量消耗(4.62焦耳),相比之下他们的方法为6.35焦耳。最近,Wang等人(2025年)[22] 提出了一种混合的Att-1DCNN-GRU模型,该模型通过高通道卷积层增强了特征提取能力。根据他们的架构描述,该模型使用了两个一维卷积层(1D-CNN),每个层具有256个滤波器和3的核大小。基于对66维特征向量(包含56个EEG特征和10个ECG特征)的处理,主要卷积层的最低计算成本约为25.95 MFLOPs。这使得模型的复杂度大约是目前提出方法的7倍(3.77 MFLOPs)。尽管Wang等人在DREAMER数据集上报告了相对较高的准确率,约为95.26%,但密集的滤波器配置引入了较大的计算开销。在能量消耗方面,所提出的方法(4.62焦耳)仅占他们方法能耗的约8%(59.69焦耳)。在SNN研究的背景下,Chen等人(2025年)[28]和Li等人(2024年、2025年)[27,29]分别研究了基于单模态EEG信号的情绪识别方法。为了确保比较的一致性和公平性,本研究采用了一个统一的转换和评估框架,该框架基于SNN的单次加法操作特性及其相关的ADD操作能量成本。比较结果表明,所提出的方法在分类准确率和能量消耗方面都优于Li等人的方法(2024年:76.81%,720焦耳;2025年:73.11%,51.21焦耳)。尽管分类准确率略低于Chen等人报告的92.47%,%,但所提出的方法在能源效率上提高了约8倍。总之,所提出的方法在分类性能和能源效率之间取得了相对有利的平衡。在保持竞争性准确率的同时,它显著降低了计算和能源成本,从而为资源受限环境中的情绪识别任务提供了更有效的解决方案。需要注意的是,虽然比较结果是基于模型结构和参数配置的理论参考,但本研究具体估计了计算复杂度的下限。由于即使这个下限仍然低于所提出的方法,我们在当前任务设置下的性能-效率优势仍然有效。

5. 结论

在这项工作中,我们提出了一种基于脉冲神经网络(UDC-SNN)的不确定性感知动态级联框架,用于情绪识别。通过引入具有不对称计算成本的动态路由机制和由决策不确定性引导的贝叶斯级联策略,所提出的方法在提高系统效率的同时,增强了ECG和EEG模式之间的动态协作表示。在多模态情感数据集DREAMER上的实验结果表明,UDC-SNN在识别性能和能源消耗方面表现良好。具体而言,本研究首先调查了UDC-SNN在准确率及相关指标方面的表现,然后对其计算开销进行了评估。此外,还进行了消融研究,以检验其相对于基线模型的改进效果,证明了所提出框架的有效性。随后,分析了UDC-SNN在不同置信度阈值下的权衡特性,以进一步理解其动态调节机制。最后,与现有方法的比较分析表明,UDC-SNN在性能和能源消耗之间取得了有意义的平衡,表明其在资源受限的情绪监测场景中的潜在适用性。尽管所提出的框架展示了有希望的结果,但仍需承认一个主要局限性。将原始的1-5自我评估尺度离散化为二进制标签,虽然有助于减轻主观报告中的噪声,但可能会不可避免地导致细粒度情感信息的丢失。在未来的工作中,我们计划探索更先进的建模策略以实现细粒度的情绪识别。此外,我们还将考虑在Intel Loihi等神经形态硬件平台上部署UDC-SNN框架。这可能涉及低位数量化和技术意识映射,并结合置信度阈值触发的动态功率门控机制,旨在进一步提高生理信号处理的效率。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号