基于CNN-Transformer混合模型的运动想象脑电信号分类

《Biomedical Signal Processing and Control》:Classification of motor imagery EEG signals using CNN–Transformer hybrid models

【字体: 大 中 小 】 时间:2026年10月15日 来源:Biomedical Signal Processing and Control 5.7

编辑推荐:

   # 基于想象运动的脑-机接口解码 ## 摘要 基于想象运动的脑-机接口旨在将脑电活动转化为控制指令,无需受试者产生显性运动。然而,强烈的受试者间变异以及低密度电极阵列有限的空间分辨率,使得跨受试者解码尤为困难。本文提出了一种紧凑的混合卷积神经网络-Transformer架

  

# 基于想象运动的脑-机接口解码

## 摘要

基于想象运动的脑-机接口旨在将脑电活动转化为控制指令,无需受试者产生显性运动。然而,强烈的受试者间变异以及低密度电极阵列有限的空间分辨率,使得跨受试者解码尤为困难。本文提出了一种紧凑的混合卷积神经网络-Transformer架构,用于基于低密度八通道感觉运动电极阵列的稳定左右手想象运动二分类解码。该模型将卷积特征提取与参数高效的时序自注意力机制相结合,以捕捉脑电信号中的局部时空模式与长程时序依赖。在PhysioNet脑电运动/想象数据集上,采用严格的逐受试者五折交叉验证,所提出的卷积神经网络-Transformer模型达到了0.816的平均宏平均F1分数。此外,统计分析表明,与更大的架构变体相比,所提模型在性能上无显著差异(p>0.05),从而论证了选择该紧凑模型在计算效率与可扩展性方面的合理性。该卷积神经网络-Transformer模型仅含0.232百万参数,每次前向传播约需0.034十亿次浮点运算,构成了一个紧凑且资源高效的骨干网络,能够在低密度脑电条件下支持低延迟的跨受试者想象运动解码。

## 引言

脑-机接口(BCI)旨在将脑活动转化为数字指令,使受试者无需依赖周围神经或肌肉即可实现通信与控制[1]。其中,想象运动(MI)是最受关注的范式之一,受试者在此过程中想象肢体运动,如左手(L)或右手(R)运动。MI-BCI在神经康复、假肢控制和重度运动功能障碍患者的辅助交流方面具有巨大前景[2],[3]。想象运动期间记录的脑电信号在初级运动皮层(C3、Cz、C4)区域表现出μ(8–12 Hz)和β(13–30 Hz)频带的特征性波动[4]。然而,从头皮脑电信号中解码想象运动仍然具有挑战性。由于信噪比低,脑电记录中普遍存在生理和环境伪迹,加上显著的受试者内和受试者间变异,使问题更加复杂[5],[6],[7]。

尽管经过数十年发展,基于脑电的BCI在不同参与者之间仍然存在显著的性能差异,这突显了实际想象运动解码中一个持续存在的挑战。皮层激活模式、电极放置和噪声特征方面的差异往往削弱模型的泛化能力,而这一局限在低密度电极阵列下尤为突出,因为空间覆盖范围缩减限制了类别可分性[8],[9]。此外,许多想象运动数据集中每个受试者可用的试验数量相对有限,进一步限制了深度神经网络的有效训练[10]。因此,一个重要的开放问题仍然是设计能够同时保持以下三方面性能的MI解码框架:在紧凑电极配置下维持有竞争力的性能、跨未见受试者泛化、以及足够轻量级以支持转化应用部署。现有方法通常只提升其中一到两个维度,但往往以牺牲其他维度为代价。

例如,现有的MI-脑电解码器面临重要的局限性。许多深度模型依赖密集电极阵列(32–64通道)才能达到精确结果,但在八通道运动区域等紧凑配置下,其准确率出现下降[11]。此外,跨受试者泛化仍然极具挑战性,当模型在未见个体上进行评估时,性能会大幅下降。而且,多种架构的计算成本高昂,限制了其在实时或可穿戴BCI系统中的应用[12]。这一尚未解决的权衡关系强烈推动了统一架构的发展需求,该架构需要同时满足:在低密度电极阵列下保持稳定(空间稀疏性)、跨受试者良好泛化(受试者间变异)以及维持低计算复杂度(效率约束),从而推动基于想象运动的BCI系统走向可靠的实际部署。

因此,我们提出了一种紧凑且计算高效的CNN-Transformer混合架构,用于在PhysioNet脑电数据集上进行跨受试者左右手想象运动解码,专门针对低密度八通道感觉运动电极阵列设计,以应对空间稀疏性、受试者间变异和面向部署的效率等联合挑战。本工作的新颖性在于联合设计与评估一种紧凑的CNN-Transformer解码器,用于仅使用八通道感觉运动脑电信号进行免校准、跨受试者的左右手MI分类。与主要追求密集电极阵列下准确率或受试者特定适应的研究不同,所提出的框架明确地将稀疏通道操作、参与者级验证、受控基线复现、可解释性分析和计算性能剖析整合到单一的低温密度MI-脑电流水线中。围绕目标的主要贡献包括:

- **面向低密度MI-脑电解码的紧凑混合CNN-Transformer架构**:我们引入了一种轻量级CNN-Transformer骨干网络,将深度可分离卷积模块与时序自注意力编码器相结合,以联合建模八通道MI-脑电信号中的局部感觉运动模式和长程时序依赖。该设计明确针对空间稀疏电极配置下的跨受试者左右手解码进行优化。

- **面向低密度脑电的跨受试者训练与模型选择框架**:我们在严格的逐受试者五折交叉验证协议下制定并评估了所提解码器,结合受控的架构探索和基于统计的模型选择。该框架旨在识别在未见受试者上保持稳定的架构,同时避免不必要的模型复杂度。

- **适用于转化BCI场景的效率导向MI解码流水线**:我们开发了一条端到端的低密度解码流水线,集成了最小预处理、轻量级增强、紧凑特征提取和单层Transformer编码器,形成了一个适合实时和可穿戴MI-BCI场景的资源受限设计。

本文其余部分组织如下:第1.1节综述相关文献。第2节介绍材料与方法,包括PhysioNet数据集和所提架构。第3节报告实验结果,第4节总结结论。

## 1.1 相关文献

过去十年间,文献中报道了众多用于MI事件分类的方法,从传统机器学习逐步演进到深度神经网络,具体如下:

早期的MI解码器主要依赖空间滤波和浅层学习技术。例如,Ang等人提出了滤波Bank共同空间模式(FBCSP)算法,该算法利用多个频带将脑电投影到判别性空间成分上[13]。该方法在BCI竞赛IV数据集(2a和2b)上验证,在受试者依赖设置下达到了约90%的交叉验证准确率。最近,Xiong等人提出了一种改进的FBCSP变体,采用粒子群优化(PSO)自适应选择空间滤波器[14]。在BCI竞赛IV 2a和2b数据集上评估时,该方法在四类MI任务中分别达到了74.61%和81.19%的分类准确率。此外,Barachant等人将黎曼几何应用于在切空间上直接分类协方差矩阵[15]。他们的方法在BCI竞赛IV 2a数据集上验证,优于基于共同空间模式(CSP)和线性判别分析(LDA)的标准流程,将平均分类准确率从65.1%提升至70.2%。

除经典的FBCSP公式[13]外,后续扩展如多类FBCSP[16]、黎曼几何分类器[15]和自适应空间滤波器优化[14]仍是MI解码的重要参考,因为它们提供了具有可解释协方差或空间滤波器特征的强浅层学习基线。然而,这些方法通常依赖于手工特征提取、精心选择的空间滤波器或受试者特定校准,其在稀疏电极阵列和严格跨受试者验证下的性能仍然有限。

深度学习方法通过自动化特征提取取得了有竞争力的性能。例如,Lawhern等人提出了EEGNet,一种面向通用脑电解码的紧凑卷积神经网络[17]。虽然效率很高,但其性能随电极阵列密度变化。在卷积架构基础上,Ding等人提出了TSception,将多尺度时序卷积扩展到捕捉不同频带[18]。他们在18名受试者的VR情感脑电数据集上报道了86.03%的准确率。类似地,Zhang等人开发了EEG-Inception,一种具有并行inception模块的深度CNN[19]。在BCI竞赛IV 2b数据集上,它达到了77.5%的整体准确率,在受试者特定微调后提升至88.6%。在多类设置中,Rao等人优化了一个EEGNet变体用于解码四类手指屈曲,在自有数据集上报道了72.91%的分类准确率[20]。

为缓解数据稀缺问题,先进的训练策略已被探索。Banville等人证明,在大型无标注睡眠脑电数据集上的自监督预训练可以在下游病理检测任务中带来一致的性能提升[21]。在情感识别领域,Hu等人将对比自监督学习应用于上海交通大学情感脑电数据集(SEED)及其四情感扩展集(SEED-IV),在标签有限的情况下实现了显著的准确率提升[22]。对于想象运动,Han等人提出了一种半监督对比学习框架,并在BCI竞赛IV 2a数据集上进行评估[23]。他们的方法达到了50.8%的跨受试者准确率,在数据量有限的情况下优于多个监督CNN基线。

最近的基于CNN的脑电解码器,包括EEGNet[17]等紧凑架构、DeepConvNet/ShallowConvNet风格模型[24]、EEG-Inception[19]和优化后的EEGNet变体[20],都改进了MI-脑电的自动化特征提取。然而,许多报道的增益是在数据集特定、受试者依赖或微调设置下获得的,因此在评估跨受试者泛化时,有必要区分受控复现与文献情境比较。

最近,基于Transformer的架构被用于建模CNN可能遗漏的长程全局依赖。例如,Zhang等人提出了一种局部-全局卷积Transformer,捕捉时序动态和半球间空间差异[25]。他们的方法在公开的韩国MI数据集上达到了优于标准CNN的解码准确率。此外,Zhao等人引入了改进的多尺度卷积与Transformer网络(IMCTNet),集成了通道注意力与Transformer编码器[26]。该架构在BCI竞赛IV 2a数据集上达到了81.83%的优越分类准确率,在2b数据集上达到了86.47%。类似地,Wu等人开发了AMEEGNet,一种基于注意力的多尺度EEGNet[27]。该模型在BCI-2a上报道了81.17%的先进准确率,在BCI-2b上报道了89.83%,证明了结合注意力机制与多尺度特征提取的有效性。

现代Transformer和基于注意力的架构也被引入用于脑电和更广泛的生物医学AI任务。在MI-脑电中,局部-全局卷积Transformer[25]、多尺度卷积Transformer网络[26]和基于注意力的多尺度EEGNet模型[27]都展示了结合卷积特征提取与注意力机制的价值。更广泛地说,基于AI的有临床意义的门脉高血压非侵入性诊断[28]以及用于阿尔茨海默病MRI诊断的具有自适应标记融合的规范化Transformer模型[29],都说明了紧凑且规范的注意力机制在生物医学数据分析中的相关性。然而,当前的MI-脑电问题有所不同,因为它需要从稀疏八通道电极阵列中解码微弱、非平稳的感觉运动节律,同时保持低计算成本和跨受试者操作。

尽管传统方法、深度学习和基于Transformer的混合方法取得了显著进展,但仍存在几个关键局限。许多已发表的方法在受试者依赖设置下评估,依赖密集电极阵列,或需要受试者特定校准、微调或在线适应才能达到最佳性能。此外,虽然最近的混合架构展示了注意力机制对脑电解码的价值,但这些模型通常没有明确针对稀疏通道操作或在严格计算约束下部署进行优化。在此背景下,本工作的贡献不仅仅是使用CNN-Transformer组合,而是证明了一种紧凑的混合架构仅使用八个通道就能维持有竞争力的跨受试者性能,无需测试时适应,同时保持低计算足迹。这种面向部署的框架使所提模型区别于以往优先追求准确率而未同时解决电极阵列稀疏性、跨受试者泛化和效率的工作。

## 2 材料与方法

### 数据库

我们使用了PhysioNet上公开的脑电运动运动/想象(EEGMMI)数据集[5],该数据集采用BCI2000采集系统记录[3]。该数据库包含109名健康志愿者的脑电记录,使用64通道10-10电极阵列以160 Hz采样率采集。每位参与者完成了14组试验:2组静息态基线和12组运动相关试验,包括涉及单侧和双侧手及足运动的运动执行(ME)和想象运动(MI)任务。由于试验组织为连续块状运行,结果和讨论部分将在严格的逐受试者五折交叉验证协议下评估所提CNN-Transformer在跨受试者MI解码中的表现。

### 结果与讨论

本节在所采用的逐受试者五折交叉验证协议下评估所提CNN-Transformer在跨受试者MI解码中的表现。首先呈现定量结果,随后对显著性和自注意力模式进行定性分析,以解释学习到的表示。为清晰起见,模型记为nbX_hY,其中X为CNN前端的深度卷积块数量,Y为Transformer编码器的注意力头数。

## 结论

本工作证明了紧凑的CNN-Transformer架构可以在MI-BCI中在低密度脑电解码性能、跨受试者泛化和计算效率之间提供有利的权衡。在PhysioNet EEGMMI数据库上,采用严格的逐受试者五折交叉验证协议,优化模型达到了0.816 ± 0.025的平均整体准确率和0.816 ± 0.025的平均宏平均F1分数,尽管存在受试者间变异,仍展现了稳定的跨受试者泛化能力。

## CRediT作者贡献声明

Joel Cuascota:撰写——初稿、可视化、验证、软件、调查、正式分析、数据整理。

诺埃尔·佩雷斯-佩雷斯(Noel Pérez-Pérez):撰写——审阅与编辑、验证、监督、项目管理、方法论、调查、资金获取、正式分析、概念化。

胡尔赫·奥利维拉(Jorge Oliveira):撰写——审阅与编辑、正式分析。

玛丽亚·巴尔迪翁-卡利斯托(Maria Baldeon-Calisto):撰写——审阅与编辑、正式分析。

纳塔利·奥罗斯科·加松(Nathaly Orozco Garzón):撰写——审阅与编辑、正式分析。

**伦理声明**

本研究使用了来自 PhysioNet 的公开可用脑电运动运动/想象数据集。该数据已进行去标识化处理,且独立于本研究进行收集。未收集新的人体受试者数据,因此该次级分析无需额外的机构伦理批准。

**资金支持**

本研究由基多圣方济各大学(Universidad San Francisco de Quito,USFQ)通过 Poli-Grants 计划资助,项目编号为 33609 和 41993。

**利益冲突声明**

作者声明不存在已知的可能影响本论文所报告工作的竞争性经济利益或个人关系。

**致谢**

作者感谢基多圣方济各大学(USFQ)应用信号处理与机器学习(ASP&ML)研究组为所开发的源代码的实现与运行提供了计算基础设施。

乔尔·库阿斯科塔 | 诺埃尔·佩雷斯-佩雷斯 | 胡尔赫·奥利维拉 | 玛丽亚·巴尔迪翁-卡利斯托 | 纳塔利·奥罗斯科·加松 | 亨利·卡尔瓦哈尔·莫拉 | 何塞·贝加-桑切斯 | 埃德加·A·马科斯
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号