《Frontiers in Computational Neuroscience》:A sliding window and Fourier decomposition method based 1D-CNN framework for motor imagery EEG classification
编辑推荐:
脑电图(Electroencephalography, EEG)信号分类是有效运动想象(Motor Imagery, MI)脑机接口(Brain-Computer Interface, BCI)应用的基本要求。然而,当前MI分类方法通常依赖手工设计的空间滤波或
脑电图(Electroencephalography, EEG)信号分类是有效运动想象(Motor Imagery, MI)脑机接口(Brain-Computer Interface, BCI)应用的基本要求。然而,当前MI分类方法通常依赖手工设计的空间滤波或复杂时频变换,增加了计算复杂度。为缓解这一局限,研究人员提出了一种统一架构,将滑动窗口(Sliding Window, SW)、Fourier分解方法(Fourier Decomposition Method, FDM)和一维卷积神经网络(One-Dimensional Convolutional Neural Network, 1D-CNN)集成用于MI-EEG分类。原始EEG数据采用SW方法进行分段以增广数据,并从每个试次中提取更多时间特征模式。包含时域特征的分段信号随后通过带通滤波器和FDM处理,以提取基于频率的特征。此处,FDM将信号分解为八个正交Fourier固有频带函数(Fourier Intrinsic Band Functions, FIBFs)。采用1D-CNN架构从分解后的EEG信号中学习表征。所提出的框架在BCI Competition III Dataset IVa(BCIC III IVa)和BCI Competition IV-2a(BCIC IV 2a)数据集上进行了评估。在被试依赖评估协议下,该方法在BCIC IV 2a和BCIC III IVa数据集上分别达到79.14%和93.67%的准确率。为评估跨被试泛化,所提出框架使用留一被试交叉验证(Leave-One-Subject-Out, LOSO)协议进行验证,在BCIC III Dataset IVa和BCIC IV 2a数据集上分别取得76.49%和55.50%的平均分类准确率。此外,在NVIDIA Jetson Nano上部署显示完整流水线延迟分别为58.119 ms/试次和85.055 ms/试次,对应BCIC III IVa和BCIC IV 2a数据集的吞吐量分别为17.21和11.76试次/s。结果表明,所开发的MI-EEG分类方法在辅助运动障碍被试方面具有强大潜力。
论文围绕运动想象(Motor Imagery, MI)脑电(Electroencephalography, EEG)分类在脑机接口(Brain-Computer Interface, BCI)中的应用展开。MI-EEG可用于运动障碍患者与外部设备通信,但EEG存在低信噪比、电子伪迹、眼眨与肌肉运动干扰、低信息传输率、高维度和被试依赖等问题。现有MI分类方法多依赖手工空间滤波、固定滤波器组或复杂时频变换,计算复杂度高;短时时间模式捕获不足;固定频带难以适应动态神经活动;高维特征易过拟合;且很多流程缺少时间分段与特征压缩的统一结构,影响实时处理。为此,研究人员提出统一框架,将滑动窗口(Sliding Window, SW)、Fourier分解方法(Fourier Decomposition Method, FDM)和轻量一维卷积神经网络(One-Dimensional Convolutional Neural Network, 1D-CNN)结合,用于BCIC III IVa和BCIC IV 2a数据集,考察被试依赖和跨被试泛化,并部署到NVIDIA Jetson Nano。研究结论显示,该方法在被试依赖二类/多类分类中取得较高准确率,在LOSO下具一定跨被试能力,并显示出低功耗嵌入式部署潜力,可为运动障碍辅助BCI提供参考。
关键技术方法:研究使用BCIC III IVa(5名被试,右手与脚,100 Hz,选取22通道)和BCIC IV 2a(9名被试,舌、左手、右手、脚,250 Hz)公共数据集。原始EEG先经SW重叠分段进行数据增广,每试次形成7个窗口;再经8–30 Hz带通滤波,使用FDM基于快速Fourier变换(Fast Fourier Transform, FFT)和逆快速Fourier变换(Inverse Fast Fourier Transform, IFFT)将频谱划分为8个子带并重建Fourier固有频带函数(Fourier Intrinsic Band Functions, FIBFs);各通道FIBFs作为特征图输入轻量1D-CNN,经卷积、批归一化、修正线性单元(ReLU)、自适应平均池化和全连接层分类。评估采用被试依赖及校准式留一被试交叉验证(Leave-One-Subject-Out, LOSO),并在Jetson Nano进行离线推理。
研究结果:
4.1 Multiclass and binary subject dependent evaluation(多类与二类被试依赖评估):在BCIC IV 2a四类被试依赖分类中,平均准确率79.14±12.82%,精确率80.33±10.92%,召回率79.09±12.25%,特异度92.98±4.19%,F
1-score 0.78±0.12;S1和S8较高,S6较低。混淆矩阵显示右手100%、左手92.86%、双脚85.71%、舌84.62%被正确分类。BCIC III IVa二类被试依赖平均准确率93.67±9.91%,精确率96.67±7.46%,召回率89.37±15.69%,F
1-score 0.92±0.12;aw和ay达到100%,av较低。混淆矩阵显示右手98.28%、脚89.29%正确分类。
4.2 Binary and multiclass subject-independent evaluation(二类与多类被试独立评估):采用校准式LOSO,留出被试20%试次校准、80%测试。BCIC III IVa二类平均LOSO准确率76.49±14.74%,al最高91.96%,ay最低60.71%。BCIC IV 2a四类平均55.50±19.01%,S3最高83.60%,S5最低33.70%,显示四类跨被试变异性更大。
4.3 Experimental validation(实验验证):在相同预处理、增广、FDM八FIBFs、LOSO和训练设置下重新实现EEGNet、FBCNet、TCANet、EEG Conformer、Min2Net、SST-DPN、SCLDGN和EEG-DG。BCIC III IVa上所提框架平均76.49±14.74%,高于比较模型;BCIC IV 2a上所提55.50±19.01%,也为最高均值。统计上,对BCIC IV 2a,多数比较在配对t检验和Wilcoxon检验中显著,与EEGNet和SST-DPN不显著;BCIC III IVa仅配对t检验对EEGNet显著。
4.4 Ablation study(消融研究)
4.4.1 Effect of FIBFs(FIBFs影响):测试6、8、10、12个FIBFs,8个FIBFs在BCIC IV 2a和BCIC III IVa均最高,分别为79.14±12.83%和93.67±9.91%;较少分解不足,较多造成频谱碎片化且未提升。
4.4.2 Comparison with conventional FFT-based filter bank(与传统FFT滤波器组比较):相同8–30 Hz、8频带、7窗口和1D-CNN下,FDM在BCIC III IVa和BCIC IV 2a分别达93.67±9.91%和79.14±12.82%,优于传统FFT滤波器组的89.75±12.56%和70.35±15.77%,平均提升3.92%和8.79%。
4.4.3 Architectural contribution analysis(架构贡献分析):BCIC IV 2a从原始EEG+1D-CNN的52.29±14.48%,加入SW升至70.19±14.41%,仅FDM为67.49±16.83%,完整SW+FDM+1D-CNN达79.14±12.83%,总提升26.85%。BCIC III IVa从81.71±14.14%升至93.67±9.91%,总提升11.96%。
4.5 Comparison with SOTA methods(与SOTA方法比较):在BCIC III IVa二类被试依赖中,所提方法平均93.67%,aw和ay为100%,优于多个分解、空间滤波、统计、Riemannian和深度学习方法。在BCIC IV 2a多类被试依赖中,所提方法79.14%,高于比较的CNN+FBCSP、CNN+LSTM、CNN+CSP、GRU、EEGNet、ConvNet、ShallowCNN、NFBCSP、CSP和Riemannian covariance等方法。
4.6 Comparative performance and model complexity analysis(比较性能与模型复杂度分析):所提模型约0.12M可学习参数;二类23.53M MACs(Multiply-Accumulate Operations)、46.50M FLOPs(Floating-Point Operations),多类83.83M MACs、167.05M FLOPs。与RGN、DFFN、EEGNet、ConvNet、Tensor-CSPNet等比较,参数大幅减少而保持竞争性准确率,适合资源受限BCI。
4.7 Embedded implementation and performance evaluation(嵌入式实现与性能评估):在NVIDIA Jetson Nano上离线部署。BCIC III IVa总延迟58.119 ms/试次,吞吐17.21试次/s;BCIC IV 2a总延迟85.055 ms/试次,吞吐11.76试次/s。窗口级完整延迟分别为8.182和12.242 ms/窗口,吞吐122.22和81.69窗口/s。与ATCNet、WST-CNN、DB-ATCNet、MAML-LNN比较,所提1D-CNN参数、MACs、峰值RAM较低,支持低功耗嵌入式部署;但使用预录数据,不代表完整实时在线BCI。
讨论与结论总结:讨论表明,SW提供局部时间信息与增广,FDM提升频谱可分性,轻量1D-CNN降低参数和计算量;被试依赖结果较好,但跨被试尤其四类仍受被试间变异性限制。统计比较支持多数方法上改进,但并非所有均显著。局限包括校准式LOSO非严格零样本、仅两个公共数据集、未做跨数据集泛化、Jetson评估为离线。
研究结论翻译:在本工作中,研究人员开发了一个集成滑动窗口、Fourier分解方法和1D-CNN的框架,用于解读右手、左手、双脚和舌等MI活动。通过大量实验评估,该方法在BCIC IV 2a和BCIC III IVa等公共数据集上取得了引人注目的结果。所提出模型在被试依赖多类和二类分类中分别达到最高分类准确率79.14±12.82%和93.67±9.91%。此外,在被试独立LOSO评估协议下,所提出框架在BCIC IV 2a数据集和BCIC III IVa数据集上分别取得55.50±19.01%和76.49±14.74%的平均分类准确率。尽管结果令人鼓舞,所提出框架的几个局限应被承认。第一,跨被试泛化仍具挑战性,LOSO评估中观察到较大的被试间变异性,尤其在四类BCIC IV-2a数据集上。此外,所采用的被试独立评估是基于校准的,因为使用留出目标被试20%的试次进行模型适应;因此,报告的性能不代表对完全未见被试的严格零样本泛化。第二,该框架仅在两个公共MI-EEG数据集上评估,未研究跨数据集泛化。最后,Jetson Nano评估使用预录EEG数据,因此不代表完整的实时在线BCI操作。未来工作将聚焦于更大且更多样的被试群体、严格零样本和跨数据集评估,以及使用连续EEG采集和决策的实时在线验证。在NVIDIA Jetson Nano上的部署进一步证明了所提出框架的计算效率。所提出1D-CNN在BCIC IV 2a和BCIC III IVa数据集上分别实现了7.155 ms/窗口和1.864 ms/窗口的纯推理延迟,而完整离线处理流水线实现延迟为58.119 ms/试次和85.055 ms/试次,对应吞吐量分别为17.21和11.76试次/s。这些结果突显了所开发框架在低功耗嵌入式EEG基BCI系统中的部署潜力。未来研究可涉及在不同实验设置下开发不同MI数据集以评估所开发模型,集成循环神经网络和Transformer等深度学习(DL)模型以提高准确率,并将模型部署到包括现场可编程门阵列在内的边缘平台,以进一步评估BCI应用的计算效率和硬件实现可行性。