ConvSNN：一种用于腕带式压力与情感状态识别的高能效混合卷积脉冲神经网络

《Scientific Reports》：ConvSNN: an energy-efficient hybrid convolutional-spiking neural network for wrist-worn stress and affective state recognition

　　

摘要

在可穿戴设备上连续监测压力对于实时情感计算、数字健康和个性化身心健康管理至关重要，但由于可穿戴设备必须在使用少量传感器、有限算力和严格能耗预算的条件下运行，这仍然是一项极具挑战性的任务。胸戴式系统可以利用高信噪比信号，如心电图（ECG）、肌电图（EMG）和呼吸信号，而腕戴设备仅能采集血容积脉搏、皮肤电活动、皮肤温度和加速度信号，这使得准确且高效地识别压力状态变得更加困难。本研究提出了ConvSNN——一种用于腕戴生理信号多模态情感识别的混合卷积-脉冲神经网络。ConvSNN将一个紧凑的四阶段一维卷积骨干网络与一个基于首脉冲时间（TTFS）的分类头相结合，通过读取聚合的速率编码和时序编码脉冲统计来保持预测的稳定性。此外，它引入了脉冲置信度门控机制以实现不确定性感知的窗口接受，并通过温度缩放步骤进行概率校准。我们在WESAD基准数据集上使用仅包含Empatica E4可穿戴设备的六个手腕通道（血容积脉搏、皮肤电活动、皮肤温度和三维加速度）对ConvSNN进行评估。在随机85/15分割评估下，经五个随机种子验证，其平均准确率达到98.07%，宏F1值为0.977。在严格的留一受试者交叉验证（LOSO）下，经五个随机种子验证，ConvSNN的平均准确率达到94.0%，宏F1值为0.932，这证实了强大的跨受试者泛化能力，相较于随机分割协议仅下降了4.1个百分点。温度缩放将预期校准误差从0.149降至0.017，且不影响准确率，而脉冲置信度门控在已接受窗口和已拒绝窗口之间打开了5.9个百分点的准确率差距，这支持了对低置信度输入的有原则的拒绝机制。基于操作数模拟，ConvSNN每次推理的估计能耗为48.31微焦（μJ），延迟为5.70毫秒，这表明一旦在嵌入式硬件上验证，即可实现在智能手表级别设备上的低功耗实时使用。综合来看，这些结果表明混合卷积-脉冲模型能够在识别性能、跨受试者鲁棒性、校准的置信度估计以及面向连续腕戴情感监测的能效部署之间取得有效的平衡。