一种融合拓扑保持通道嵌入与Transformer的用于脑电（EEG）解码的时空注意力卷积网络

《Neural Networks》：A Spatio-Temporal Attention Convolutional Network with Topology-Preserving Channel Embedding and Transformer for EEG Decoding

　　

• 提出了一种新颖的基于注意力的网络（E-STACNet），用于脑电图（EEG）信号解码。• E-STACNet在运动想象和情绪识别任务中取得了优异的准确率。• 通道注意力机制有效地捕捉了EEG通道的空间重要性。• 通道权重的地形图展示了E-STACNet的可解释性。引言脑机接口（BCI）技术在过去几十年中备受关注，因为它有可能在人类大脑与外部设备之间提供直接的通信通道 Tang et al. (2023)，从而在运动康复、健康监测、情绪识别等方面展现出广阔的应用前景 Huang et al. (2024); Mane et al. (2020); Ngai et al. (2022)。在众多神经生理测量技术中，脑电图（EEG）凭借其非侵入性、高时间分辨率和相对较低的成本，成为BCI应用中最广泛使用的模态之一。EEG设备通过放置在头皮上的电极记录大脑的电活动，提供可用于各种认知和运动应用的实时数据，例如计算机、机器人和假肢 Choi and Liu (2025); He et al. (2019); Roy (2022)。EEG信号的解码准确率在BCI系统的性能中起着至关重要的作用，是实现与外部设备更有效通信的关键。然而，EEG信号通常受到肌肉活动、眼球运动和外部电磁干扰产生的伪影污染。此外，大脑的电活动高度动态且复杂，进一步增加了解码过程的难度。因此，从EEG信号中准确解码神经意图的鲁棒方法仍然是研究的重点。人们开发了多种模式识别技术用于EEG解码。时频分析技术如小波变换（WT） Ieracitano et al. (2020)和空间滤波方法如公共空间模式（CSP） Ang et al. (2012); Chen et al. (2024)已被广泛用于特征提取，随后输入支持向量机（SVM） Wu et al. (2022)或线性判别分析（LDA） Gaur et al. (2021)进行分类。Geng等人 Geng et al. (2025)提出了一种基于混合离散小波变换（DWT）和经验模态分解（EMD）的特征提取算法，并使用SVM进行分类。Das等人 Das and Pachori (2022)提出了一种结合多变量迭代滤波（MIF）和CSP的模型，用于自动选择最佳频带进行特征提取，并使用LDA进行分类。然而，大多数传统特征提取方法具有任务特定性，依赖先验知识针对不同的BCI范式进行设计，这限制了其通用性 Song et al. (2022)。此外，特征提取与分类过程的分离导致误差累积，并削弱了动态自适应优化能力。研究人员开发了多种基于卷积神经网络（CNN）和循环神经网络（RNN）的端到端模型用于EEG解码，这些模型能够直接从原始EEG数据中自动学习层次化特征。它们从数据中学习复杂表示的能力在EEG解码方面取得了重大进展，特别是在运动想象和情绪识别范式中的应用。Lawhern等人 Lawhern et al. (2018)设计了一种名为EEGNet的紧凑型CNN用于基于EEG的分类。由于其出色的通用性和高性能，它已成为EEG信号分类研究中常用的基准模型。Khademi等人 Khademi et al. (2022)提出了一种基于迁移学习的CNN和LSTM混合深度学习模型，用于分类运动想象EEG信号。Khare等人 Khare and Bajaj (2020)提出了一种基于时频表示和CNN的情绪识别模型。Li等人 Li et al. (2021)提出了一种基于强化学习（RL）的神经架构搜索（NAS）框架用于基于EEG的情绪识别。尽管这些方法具有前景，但它们也面临各自的挑战，导致EEG解码的分类性能有限。对于CNN而言，由于核尺寸有限，它们无法充分捕捉EEG信号所必需的长程依赖关系。此外，RNN在处理具有复杂关系的大规模数据时存在困难，因为隐藏状态编码的依赖影响往往在几个时间步内就会丢失。近年来，基于注意力的模型，尤其是Transformer，因其能够捕捉全局依赖关系的能力而在自然语言处理和计算机视觉领域得到广泛应用 Vaswani et al. (2017)。它在EEG分类方面也展现了潜力 Liu et al. (2025); Qin et al. (2024)。注意力机制使模型能够聚焦于EEG数据中最相关的部分，这在信号包含噪声或无关信息的任务中尤为有用。Liu等人设计了一种卷积网络，通过时间注意力和通道注意力进行基于EEG的运动想象分类，以聚焦任务相关通道和时间片段的信号 Liu et al. (2022)。Xie等人提出了一种基于Transformer的方法，结合时空信息和深度学习网络进行EEG分类 Xie et al. (2022)。一些研究人员将图卷积神经网络与Transformer架构相结合，开发了基于Transformer的EEG情绪识别模型，取得了令人满意的情绪识别性能 Ding et al. (2025); Sun et al. (2022)。它们有效地捕捉了EEG信号中的长期时间依赖关系，但对空间信息的利用仍然不足。Wang等人 Wang et al. (2022)提出了一种层次化空间学习Transformer（HSLT），利用功率谱密度（PSD）特征从电极级到脑区级进行判别性空间信息的层次化学习。他们利用Transformer编码器提取和融合电极级和脑区级的关键脑区信息，并采用Transformer编码器进行情绪识别。此外，这些方法通常将通道视为一维序列，无法捕捉相邻通道之间的复杂依赖关系。电极在头皮上的放置形成了特定的拓扑结构，这种空间排列在区分不同脑活动中往往起着关键作用。因此，信号处理过程中空间信息的丢失可能会阻碍基于EEG的解码器的有效性。为解决这一问题，Bashivan等人尝试基于真实EEG电极的位置信息将一维通道序列映射为二维布局 Bashivan et al. (2015)。在预处理阶段，他们采用了滤波、插值和频带特征提取等技术，将原始一维EEG记录转换为二维拓扑保持的多光谱图像。使用CNN和RNN的组合进行EEG分析。实验结果证明了通道映射方法和循环-卷积神经网络（RCNN）特征提取的有效性。然而，并非所有空间特征对解码都具有同等的信息量。某些通道信息在解码过程中可能是冗余的。为了解决上述问题，本文提出了一种名为E-STACNet的时空注意力卷积网络用于EEG解码。所提出的模型主要包括四个模块：通道注意力（CA）模块、卷积（CV）模块、多头自注意力（MSA）模块和分类器模块。在二维空间表示上设计了通道注意力机制。我们提出了一种称为拓扑保持通道嵌入的方法，可以在EEG信号的二维拓扑中自适应地突出最具信息量的通道。与以往需要在将EEG通道表示输入模型进行特征提取之前进行复杂预处理步骤的研究不同 Bashivan et al. (2015); Wang et al. (2022)，本研究提出了一种端到端模型，并进一步引入了空间感知注意力机制以增强模型捕捉电极空间分布的能力。该方法首先通过EEG拓扑表示提取更丰富的空间特征，然后利用空间注意力机制生成具有拓扑感知的通道权重。通过对原始EEG信号进行加权增强，该方法有效地提高了后续模块的特征提取能力。接着，采用时间和空间卷积来编码EEG信号的底层时间信息，并进一步提取空间特征。然后将EEG数据沿通道维度压缩至大小为1。之后，将时间序列数据输入多头自注意力模块以捕捉全局依赖关系并突出EEG信号最重要的时间信息。最后，通过两个全连接层获得输出。本研究旨在通过深入探索EEG信号的空间拓扑信息和时间动态特征来推进时空领域建模。它直接使用原始EEG信号，不依赖过多的先验知识来选择相关频带。本文的主要贡献如下：1) 我们提出了一种新颖的基于注意力的网络E-STACNet，推动了EEG在时空领域的解码。它将拓扑保持通道嵌入与Transformer相结合，聚焦于EEG信号在空间拓扑和时间动态方面的信息特征。2) E-STACNet通过在不同类型的EEG数据集上进行的实验得到了充分验证，包括运动想象和情绪识别。与其他最先进模型相比，它取得了卓越的分类准确率，展示了其强大的通用性和在EEG解码任务中更广泛应用的潜力。3) 我们通过可视化通道权重的地形图，直观地揭示了E-STACNet利用通道注意力机制捕捉不同位置通道重要性的能力。本文的其余部分组织如下：第2节描述所提出的E-STACNet模型。第3节介绍实验。第4节描述并讨论结果。最后，我们在第5节给出结论。章节摘要所提出的方法所提出的E-STACNet聚焦于EEG信号的空间和时间信息。它主要由四个模块组成：通道注意力（CA）模块、卷积（CV）模块、多头自注意力（MSA）模块和分类器模块，如图1所示。输入数据是预处理后的EEG试验，形状为（C，T），其中C是通道数，T是时间点数。输出代表每个EEG类别的概率。关于E-STACNet的更多细节实验我们首先介绍所选的EEG数据集，包括运动想象和情绪识别范式，以验证所提出的网络。然后提供了每个数据集的数据处理方法。接下来展示了实验设置，包括性能指标和参数设置。最后，我们呈现了最先进模型以验证所提出网络的优势，并进行了消融模型以评估模型中每个模块的重要性。与最先进模型的比较如图表1、表2和表3所示，在所有三个数据集上，所提出的网络与其他最先进模型相比表现出卓越的性能。在数据集I上，E-STACNet取得了88.00%的平均准确率和0.84的Kappa值。具体而言，所提出的网络在准确率方面相较于FBCSP有显著提高，提升了20.25%（p < 0.001）。基于CNN的EEGNet和C2CM的分类结果始终低于Conformer、ATCNet和E-STACNet。结论在本文中，我们提出了一种名为E-STACNet的时空注意力卷积网络。它将拓扑保持通道嵌入与Transformer相结合，更好地利用时空域信息进行EEG解码。所提出的模型主要由四个模块组成，消融实验证明了每个模块对提高模型解码性能的贡献。在三个公共EEG数据集上的评估结果包括运动想象CRediT作者贡献声明文奇·孙（Wenqi Sun）：撰写–原始稿件、可视化、验证、方法论、调查、概念化。朔·傅（Shuo Fu）：软件、方法论、概念化。金花·张（Jinhua Zhang）：监督、项目管理、方法论、形式分析。爱宾·朱（Aibin Zhu）：撰写–审阅与编辑、监督、资源、形式分析。静·王（Jing Wang）：撰写–审阅与编辑、监督、资源、项目管理、资金获取。帅·尹（Shuai Yin）：撰写–审阅与编辑、监督、方法论。利益冲突声明作者声明他们没有已知的竞争性经济利益或个人关系，这些关系可能会影响本文中报告的工作。致谢本研究得到国家自然科学基金（62373295）、陕西省重点研发计划（2023GXLH-012）、河南省脑科学与脑机接口技术重点实验室（HNBBL230101）、河南省重点研发和推广专项（242102311239）的支持。文奇·孙 | 朔·傅 | 金花·张 | 爱宾·朱 | 静·王 | 帅·尹 | 刚·刘