基于频谱 - 时空表示的 EEG 视觉分类 NeuroStream-SST 框架研究

《Scientific Reports》：NeuroStream: spectral-spatio-temporal deep learning for visual stimulus classification from EEG

　　

摘要

基于脑电图（EEG）的视觉分类是一项具有挑战性的任务，原因在于其空间分辨率较低、时间动态复杂以及可能存在实验干扰。然而，随着EEG分类技术的最新进展，它提供了一种成本效益高、便携性强且时间分辨率达到毫秒级的替代方案，可用于大规模研究和实时应用，与功能性磁共振成像（fMRI）相媲美。我们提出了一种新颖的频谱-时空（SST）表示方法，该方法将原始EEG信号转换为结构化的、类似视频的格式。具体而言，我们对所有通道进行小波变换，将对数功率聚合成频率带，并将这些特征随时间映射到电极位置上，从而将信号的多维动态合成为一个统一的高保真序列。基于这种表示方法，我们开发了NeuroStream-SST框架，该框架采用了一种轻量级的深度学习架构，专为提取时空特征而优化。在EEGCVPR40数据集上的实验表明， nost方法在高伽马波段使用标准数据划分时达到了\(71.25 \pm 0.25\%\)的准确率，优于在相同协议下评估的现有方法，并展示了其有效捕捉复杂神经特征的能力。此外，我们实施了一套评估协议，用于分析和量化时间相关性对报告准确率的贡献。当类别标签与记录会话之间的关联减弱时，解码性能会逐渐下降；当完全移除被评估类别的会话数据后，解码性能会降至多数类别的基线水平。这些发现表明，我们的框架是基于EEG的视觉解码领域的一个有前景的方向，对脑机接口和认知神经科学具有重要意义。