《Behavioural Brain Research》：A Neural Network with Multi-Type Attention for Enhancing Motor Imagery EEG Decoding
编辑推荐：
•深度学习在脑机接口中的应用。•提出了一种具有多类型注意力的新型端到端神经网络，以增强运动想象脑电解码。•引入了脑电深度卷积注意力（EEGIA）模块，该模块包含脑电通道注意力和通道注意力结构。•开发了并行时间序列注意力（PTSA）模块，该模块结合了原始顺序切片注意力（SSA）
- •
深度学习在脑机接口中的应用。
- •
提出了一种具有多类型注意力的新型端到端神经网络，以增强运动想象脑电解码。
- •
引入了脑电深度卷积注意力（EEGIA）模块，该模块包含脑电通道注意力和通道注意力结构。
- •
开发了并行时间序列注意力（PTSA）模块，该模块结合了原始顺序切片注意力（SSA）块和多头时间卷积网络（MHTCN）块。
- •
该新模型不仅有助于推动脑机接口应用的发展，还能更深入地洞察运动想象期间大脑的神经生理活动。
引言
脑机接口（BCI）可以提供一条新的非肌肉通道，用于向外部世界发送消息和指令[1]。在该领域中，脑电图（EEG）成为非侵入式脑机接口系统的主要神经生理信号模态[2]。基于EEG的脑机接口主要使用P300诱发电位、感觉运动节律（SMR）或稳态视觉诱发电位来恢复重度残疾人士的通讯和控制能力[3]。许多基于SMR的脑机接口研究需要用户通过运动想象（MI）产生不同的心理状态，这类脑机接口根据对MI脑电的识别来发出不同的指令[3]。
基于MI的脑机接口仅依赖用户通过想象运动来调节其EEG的能力，无需额外的刺激装置。MI活动会在初级感觉运动区域触发事件相关去同步化（通常是事件相关同步化）[4]、[5]、[6]、[7]。这些神经生理变化有助于区分与各种肢体运动规划或想象相关的脑状态[8]、[9]。
传统的机器学习分类方法，如线性判别分析和支持向量机，依赖于领域特定知识和手工设计的特征提取器，如共同空间模式（CSP）[10]和滤波器组CSP（FBCSP）[11]，由于信噪比低和不同被试间的高变异性，这些传统方法的性能较差[12]。随着深度学习（DL）在图像、视频、语音和文本处理等各种具有挑战性的领域取得巨大成功，其在脑机接口领域的潜力引起了越来越多的关注[13]。最近，卷积神经网络在多类别基于MI的脑机接口解码中变得流行，减少了数据预处理步骤，并消除了手工特征提取的需要[14]。端到端训练的ShallowConvNet[15]、EEGNET[16]和EEGTCNet[17]利用传统卷积神经网络以及某些专门的卷积操作，如深度可分离卷积[18]、[19]，实现了与甚至超越传统机器学习算法的解码性能。
更近期，随着深度学习技术的进步，开发了更复杂的架构以从EEG信号中提取更多抽象和复杂的特征[20]。网络设计中的一个显著趋势是引入注意力机制，这一概念已在计算机视觉和自然语言处理中显示出显著的成功。研究[21]和[22]强调了通道注意力机制的实现，该机制对提取的特征图施加权重，旨在从EEG信号中自适应地提取更具判别性的频谱或时间特征。研究[23]引入了空间-频谱/时间注意力机制，以自适应地关注特定的频率带。研究[24]强调了使用注意力来识别和学习MI-EEG不同时间段内判别性特征之间的时间依赖关系。同时，Chen等人[25]研究了注意力在加权电极通道方面的应用，从而学习不同的空间特征。此外，Zhang等人[26]通过采用图嵌入来表示EEG空间信息，并结合循环注意力模块为各种时间线索分配权重，提出了一种新颖的方法。然而，上述研究的一个共同局限性在于，虽然它们试图探索多通道MI-EEG特征在时间、频率和空间域上的协同交互
，但它们未能充分区分这些特征的重要性。此外，每个域内信息的意义各不相同，这类似于人类对不同的外部刺激给予不同程度的关注。受到这一类比和EEGTCN结构的启发，我们提出了一种具有多类型注意力（MTANet）的神经网络，包含两个关键模块：脑电深度卷积注意力（EEGIA）和并行时间序列注意力（PTSA）。这些模块集成了多种注意力机制，增强了网络提取更具判别性特征表示的能力，从而显著提升分类性能。本文的主要贡献如下：
• 我们引入了EEGIA模块，能够捕获EEG信号的时间、频谱和空间特征，同时为最显著的特征分配适当的权重。该模块首先采用设计的EEG通道注意力（ECA）来更关注特定区域的EEG信号。随后，利用多尺度并行卷积从不同频率范围中提取信息，接着利用我们设计的通道注意力（CA）对不同频率范围的信息进行加权。
• 我们创新性地开发了PTSA模块，该模块结合了原始顺序切片注意力（SSA）块和多头时间卷积网络（MHTCN）块，以进一步增强前序模块所提取特征的独特性和稳定性。这一改进显著提升了网络的整体性能。
章节摘要
模型架构
受EEGTCN启发的MTANet由两个主要组件组成：EEGIA和PTSA模块，如图1所示。首先，EEGIA模块将原始EEG数据编码为一系列向量，这些向量封装了时间、空间和频率域的信息。该编码序列随后由多头局部自注意力（MHLSA）层处理，该层增强了网络对序列中显著特征的关注。随后，MHLSA层的输出
整体性能比较
表2和表3展示了所提出的MTANet模型与七个基线模型在数据集IIa上的分类准确率和kappa系数比较分析。七个基线模型分别为EEGNET[16]、EEGTCN[17]、EEGNEX[38]、DeepConvnet[15]、ATCNET[32]、EEG-SGENet[39]和CLTNet[40]。如表2所示，MTANet在平均准确率上显著优于基线模型，分别提升了6.68%（p<0.05）、7.74%（p<0.05）、13.02%（p<0.05）、11.29%（p<0.05），
EEGIA模块中并行卷积的影响
在我们的EEGIA模块中，我们采用了多尺度并行卷积来提取包含EEG信号各频率信息特征。为了研究卷积核尺寸组合如何影响分类准确率，我们进行了大量实验以确定最佳组合方法。图8展示了在不同并行卷积配置下数据集IIa上获得的平均准确率。我们设定了基线卷积核尺寸为(1,64)
未来工作
在本研究中，未在不同模块和数据集上进行广泛的超参数调优。例如，并行卷积中尺度组合的探索是有限的，这表明卷积的最佳尺度组合可能仍未被发现。未来的研究应全面评估各种超参数如何影响模型性能。此外，EEGIA和PTSA模块的超参数是根据数据集IIa定制的。
结论
在本研究中，我们提出了创新的MTANet模型，集成了新颖的EEGIA模块、PTSA模块以及多头局部自注意力机制。EEGIA模块旨在提取复杂的时间-频率-空间特征，而PTSA模块则进一步优化这些特征，增强了网络的整体效能。我们的结果表明，MTANet在三个数据集上的解码性能优于现有的最先进技术。消融
伦理声明
作者未从参与者或其法定代理人处获得知情同意。本研究是对公开可获取的、已去标识化的EEG基准数据集（BCI竞赛IV数据集2a和2b）的二次分析。作者未直接招募参与者。由于原始同意程序由格拉茨科技大学在数据收集和公开发布期间管理，因此本次二次分析未获得书面或口头知情同意。
利益冲突声明
作者声明，他们没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。
致谢
本工作得到了国家自然科学基金委基金项目（资助号51977020）的支持。
秦云峰|张立|刘宇|余军|李宇峰|袁宇星
