《Biomedical Signal Processing and Control》：FSTAM-net: A dual attention network for motor imagery decoding and visualization analysis
编辑推荐：
运动想象脑机接口中的时间-频率-空间注意力网络研究
傅硕|史斌|魏远|吴东瑞|尹帅|刘刚|张金华|朱爱斌|王静|周光辉
中国广东省佛山市顺德西安交通大学研究院，邮编528300
摘要
有效解码脑电图（EEG）的时频空间特征对于提高基于运动想象（MI）的脑机接口（BCI）的性能至关重要。现有的基于注意力和卷积神经网络（CNN）的方法无法充分捕捉联合的空间-频率依赖性，且经常无法将学习到的特征与已建立的运动想象先验对齐，从而导致分类准确性较低和可解释性有限。我们提出了一种名为FSTAM-net的双频空间时间注意力网络。在第一阶段，小波核网络提取可解释的时频特征以确保清晰的可解释性，而通道注意力机制则识别频率响应的空间依赖特征。在第二阶段，自注意力机制用于捕捉全局时间依赖性。结果显示，FSTAM-net在BCI Competition IV数据集2a、2b和Giga DB数据集（跨受试者）上的分类准确率分别达到了86.07%、89.61%和80.79%。实验表明，FSTAM-net能够自动关注与MI任务相关的频率和空间区域，同时自适应地过滤掉无关的时间和频率噪声。此外，它能够在任何所需的时间框架、频率范围或通道上显示去同步/同步（ERD/ERS）现象，甚至包括独特的“焦点ERD/周围ERS”模式，并通过增强ERD/ERS来改进特征提取。总体而言，结果表明FSTAM-net对噪声干扰具有鲁棒性，能够适应不同的数据集，并具有跨领域泛化能力，在MI意图解码和特征分析方面表现出强大的性能。该研究为分析与MI任务相关的神经反应提供了新的工具，可能在未来研究中揭示关于大脑功能的重大见解。
引言
脑机接口（BCI）通过使用脑信号控制外部设备，促进了人机交互[1]、[2]。它在运动神经康复和人机交互[3]、[4]、[5]中得到了广泛应用。脑电图（EEG）是一种非侵入性方法，以其经济性、用户友好性和高时间分辨率而闻名。运动想象（MI）是BCI中的关键研究范式，其中EEG信号是从头皮电极记录的，而受试者在没有物理运动的情况下在心理上模拟特定的运动动作[6]。解码这些MI-EEG信号可以解释用户的意图动作，从而实现设备控制[7]。然而，MI-EEG信号中的低信噪比和空间分辨率等挑战仍然存在，这推动当前的研究工作致力于从复杂的EEG数据中提取有用的时频空间特征以提高解码准确性。
连续小波变换（CWT）[8]、[9]和短时傅里叶变换（STFT）[10]已被广泛用于从EEG信号中提取时频特征。对于空间特征提取，常用的空间模式（CSP）算法及其变体（如滤波器组CSP（FBCSP）通过最大化两个运动想象类别之间的滤波后方差可分性来学习最优的空间滤波器，从而产生更具区分性的EEG表示[11]、[12]、[14]。
传统的EEG解码流程通常以解耦的方式调整特征提取和分类的超参数，这可能导致整体性能不佳[15]。相比之下，深度学习方法可以自动从原始EEG中学习并提取更可分离的时间、频谱和空间特征，显著提高分类准确性，从而为建模复杂和非平稳信号提供了强大的工具[3]。各种深度学习架构，包括卷积神经网络（CNNs）[16]、循环神经网络（RNNs）[17]和图神经网络（GNNs）[18]，已被应用于运动想象分类。EENet [19]采用了一种轻量级的特征提取器，结合了时间卷积和深度操作，在保持强大解码性能的同时实现了紧凑的参数化。AMFTCNet [20]通过使用多尺度时间卷积来自适应地学习原始MI-EEG数据中的序列模式来提高MI分类。Luo等人[17]利用基于RNN的方法将MI片段建模为序列，捕捉空间频率信息中的时间依赖性，从而改善了序列表示。
然而，传统的CNN在时空建模方面常常存在不足。为了解决这个问题，越来越多的注意力机制被集成到EEG分类模型中。RawConvNet [21]结合了注意力模块来突出与MI相关的特征，消除了预处理的需要并提高了表示质量。Zhang等人[22]使用注意力驱动的自适应融合来组合多尺度时空表示，克服了单尺度卷积的局限性。此外，CTNet [23]在卷积特征上应用了Transformer风格的注意力来建模全局依赖性，并强调了关键的MI-EEG信息。
然而，这些基于注意力的方法在提取时频空间特征方面存在局限性。首先，大多数研究没有整体考虑空间和频率的注意力计算，忽略了MI任务频率响应中的空间依赖性。（例如，感觉运动节律（SMR）的空间分布模式与特定运动相关，这被称为Penfield小人模型[24]）。其次，在现有的可解释网络架构中，用于分类的特征通常是与MI任务相关的先验知识一起训练的。虽然期望用于分类的特征表现出与现有物理常识或先验知识一致的规律性，但这一期望并不总是得到满足。
为了解决这些问题，我们从物理信息神经网络（PINN）[25]中的理论学习（例如，求解偏微分方程）中获得了灵感，在MI-EEG解码中将理论学习与分类特征学习分开。理论学习是指以数据驱动的方式学习与MI任务相关的空间和频率信息的重要性，关注特定的频率和空间范围。另一方面，分类特征学习涉及通过卷积方法学习用于区分不同MI任务类别的特征。具体来说，本研究开发了一个名为FSTAM-net的双频空间时间注意力网络框架。该框架包括以下四个组成部分：一个低级特征提取器，使用小波形状的卷积核提取时频特征；一个物理意义学习模块，使用来自前一模块的每个EEG通道的输出的时频图来学习全局空间频率滤波器，以考虑频率响应的空间依赖性；一个高级特征提取器，其核心是自注意力机制，用于捕捉空间频率过滤后的局部时间特征的全局依赖性；最后，通过两个全连接层获得分类结果。
在三个MI数据集上进行了对比实验，以验证所提出的FSTAM-net的效率和可解释性。
贡献总结如下：
- (1)。
提出并验证了可解释的FSTAM-net，它将理论学习与分类特征学习分开，以提高可解释性和准确性。与其他方法相比，它在三个公共数据集上实现了更优的分类准确性。
- (2)。
该模型获得的物理知识被可视化，并与已建立的实证知识进行了对比，揭示了学习到的物理特征与先验知识之间的对齐。
- (3)。
本研究可视化了MI任务相关的生理响应特征对分类特征的影响，包括自适应去噪及其对ERD/ERS的影响。可视化还揭示了多任务特征表示中的“焦点ERD/周围ERS”现象。
本文的结构如下：第2节描述相关工作；第3节描述提出的方法；第4节描述实验；第5节展示结果；第6节讨论结果；第7节给出结论。
章节片段
用于EEG解码的深度学习方法
在MI-EEG解码中，深度模型通常以端到端的方式学习时间、频谱和时空特征的联合表示。EEGNet [19]被广泛用作MI-EEG解码的基线。Park等人[26]提出了3D-EEGNet，它保留了EEG的空间信息，与传统的2D-EEGNet相比提高了分类准确性。为了进一步增强基于CNN的解码器对MI相关空间-频率特征的建模，Li等人[27]引入了
方法论
在本节中，详细介绍了所提出的FSTAM-net及其模块的架构，如图1所示。FSTAM-net包括四个模块：一个用于从每个通道提取时频特征图的低级特征提取器，一个用于捕捉空间频率交互依赖性的物理意义学习模块，一个用于捕捉局部时间特征全局依赖性的高级特征提取器，以及一个用于输出分类结果的分类器。
实验验证
在本节中，我们首先简要描述了选定的数据集，并详细介绍了数据预处理程序。然后，提供了本文中使用的评估指标。最后，展示了一些参数设置和实验细节。
基线比较
在相同的条件下，将提出的FSTAM-net与几种最先进的方法在三个公开可用的数据集上进行了比较。
数据集I是最常用的MI数据集。FSTAM-net与在这些数据集上表现优异的各种代表性方法进行了比较。比较的基线模型的简要描述如下：
讨论
EEG数据的分类性能显著影响BCI系统的实用性，探索深度网络的可解释性增强了我们对这些网络如何生成预测的理解。我们提出了一种名为FSTAM-net的双频空间时间注意力深度网络框架，用于EEG特征分析和意图解码。它结合了小波核网络、通道注意力机制和自注意力机制的优势，其中小波核网络是
结论
在本文中，我们提出了FSTAM-net，这是一个双注意力网络。该模型包括三个主要模块，通过消融实验验证了每个模块对提高解码性能的贡献。在三个公开可用的数据集上的评估表明，FSTAM-net实现了最高的分类准确率和κ系数，与其他代表性方法相比。实验结果突显了FSTAM-net自动关注相关频率和
写作过程中生成式AI和AI辅助技术的声明
在准备这项工作时，作者使用了GPT-4o来完善手稿的文本，以提高可读性和写作质量。使用该工具后，作者根据需要审查和编辑了内容，并对出版物的内容负全责。
CRediT作者贡献声明
傅硕：撰写——原始草稿，可视化，验证，软件，方法论，调查，形式分析，数据管理，概念化。史斌：撰写——审阅与编辑，验证，方法论，概念化。魏远：形式分析，调查，软件，验证，撰写——审阅与编辑。吴东瑞：撰写——审阅与编辑，方法论。尹帅：方法论。刘刚：撰写——审阅与编辑。张金华：撰写——审阅与编辑。朱爱斌：撰写
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了国家自然科学基金（62373295）；陕西省重点研发计划（2023GXLH-012）；陕西省自然科学基础研究计划（2024JC-YBQN-0781）；中国博士后科学基金（2024T170844，2023M733245）；河南省脑科学与脑机接口技术重点实验室（HNBBL230101）的支持。
