《Computers in Biology and Medicine》：Transformer-based hybrid systems to combat BCI illiteracy
编辑推荐：
脑机接口（BCI）通过融合卷积神经网络（CNN）与Transformer模型，结合噪声聚焦模块提升多类分类性能，尤其对20%的BCI文盲用户效果显著。三阶段实验验证：实验A CNN+Transformer结构在二分类中达91.4%准确率；实验B加入噪声模块使多分类准确率提升至84.5%；实验C对106名用户测试显示Kappa>83%，标准差降低，验证模型泛化能力。研究提出STFNet架构，优化超参数配置可进一步突破性能瓶颈。
马克西米利安·阿希姆·普费弗（Maximilian Achim Pfeffer）| 郭伟旺（Johnny Kwok Wai Wong）| 赛何玲（Sai Ho Ling）
澳大利亚新南威尔士州悉尼科技大学工程与信息技术学院
摘要
本研究旨在改进脑机接口（BCI）的性能，重点解决信噪比较低以及“BCI文盲”问题，后者通常影响高达20%的用户。基于Transformer的模型显示出潜力，但尚未得到充分探索。共进行了三项实验。实验A评估了结合卷积层（Convolutional Blocks）和Transformer层的架构在二分类运动想象（Motor Imagery, MI）任务中的表现。实验B引入了一种混合系统，改进了两种类型的模块，并添加了一个噪声聚焦模块（Noise Focus Block）以引入随机噪声，从而增强了多类别分类的鲁棒性。实验C在106名受试者中评估了这些新兴架构的性能，重点考察了不同学习能力受试者的表现。实验A中，最佳模型的验证准确率为0.914，损失值为0.146（p=0.000967，F=12.675）。实验B中，所提出的架构将数据集II上的多类别MI分类准确率提高到了84.5%，显著改善了“BCI文盲”用户的体验。实验C显示Kappa值超过83%，标准差降低，所有受试者的最高验证准确率为88.69%。Transformer、CNN和基于噪声共振（Noise-Resonance）的层的混合集成显著提升了分类性能，尤其是对于学习能力较弱的BCI用户。建议进一步研究以优化混合系统架构和超参数设置，以克服当前BCI性能的限制。
缩写说明
缩写列表
- •AI：人工智能
- •BCI：脑机接口
- •BN：批量归一化（Batch Normalization）
- •CEL：交叉熵损失（Cross-Entropy Loss）
- •CNN：卷积神经网络（Convolutional Neural Network）
- •EEG：脑电图（Electroencephalography）
- •ELU：指数线性单元（Exponential Linear Unit）
- •EMG：肌电图（Electromyogram）
- •EOG：眼电图（Electrooculogram）
- •ERD：事件相关去同步（Event-Related Desynchronization）
- •ERP：事件相关电位（Event-Related Potentials）
- •ERS：事件相关同步（Event-Related Synchronization）
- •FBCSP：滤波器组共同空间模式（filter-bank common spatial patterns）
- •FD：频域（Frequency-Domain）
- •GFP：全局场功率（Global Field Power）
- •TC：时间卷积（Temporal Convolution）
- •HSD：Tukey诚实显著差异（Tukey’s Honestly Significant Difference）
- •ICA：独立成分分析（Independent Component Analysis）
脑机接口中的事件相关电位和事件相关去同步
图1（子图a、c）中展示的事件相关电位（ERPs）和事件相关去同步（ERD）是BCI应用中的基础概念[29]。ERPs是由特定的感官、认知或运动事件引发的时间锁定的脑电图反应，反映了大脑对这些刺激的处理过程。其中，P300成分是一个在刺激呈现后约300毫秒出现的正波形，因其鲁棒性而在BCI应用中被广泛使用。数据集
实验中使用了两个数据集：第一个数据集来自Physionet运动想象（MI）数据库[60]，在此称为数据集I。该数据集包含109名受试者的1500多份脑电图记录，每份记录均使用BCI2000平台通过64通道脑电图系统获取。实验协议包括每位受试者14次测试，包括两次基线测试（一次睁眼，一次闭眼）以及每种情况下的3次测试。
结果
如表1所示，实验A中CNN的最终验证准确率达到了±6.3%。相比之下，融合Transformer的模型实现了更高的最大验证准确率±2.5%，并且在所有验证指标上的标准差更低。
首先进行了一项单因素方差分析（one-way ANOVA），以比较不同T-block数量组之间的平均验证准确率。结果表明T-block的数量对验证准确率有显著影响。
讨论
本研究的结果为STFNet在提升基于EEG的BCI分类性能方面的有效性提供了关键见解，尤其是在之前被归类为“BCI文盲”的受试者中。
实验A中的ANOVA分析和随后的Tukey HSD测试表明，将Transformer模块纳入模型架构显著提高了验证准确率。然而，数据也显示，仅仅增加Transformer模块的数量并不能保证性能的提升。
结论
本研究全面评估了多种用于基于EEG的BCI系统的神经网络架构，强调了整合Transformer模块和增强噪声处理机制的重要性。通过对两个数据集（共115名受试者）的系统实验，所提出的混合系统和STFNet展示了更优的分类准确率和鲁棒性，尤其是显著改善了传统上表现较弱的受试者或“BCI文盲”受试者的性能。
作者贡献声明
马克西米利安·阿希姆·普费弗（Maximilian Achim Pfeffer）： 负责撰写初稿、可视化、验证、软件开发、方法论设计、数据分析及概念构思。
郭伟旺（Johnny Kwok Wai Wong）： 负责审稿与编辑、指导工作、数据调查。
赛何玲（Sai Ho Ling）： 负责审稿与编辑、项目管理、资金筹措及概念构思。
伦理审批与参与同意
所有数据记录的伦理审批和参与者的同意均按照相关研究人员的原始工作[60]、[61]获得。
伦理声明
本研究未涉及人类参与者、动物实验或需要正式伦理审批的敏感数据。
