《Knowledge-Based Systems》:MIRepNet: A pipeline and pre-trained model for EEG-based motor imagery classification
编辑推荐:
本文提出MIRepNet,首个专为运动想象(MI)设计的EEG预训练模型。通过神经生理学启发的通道模板和自适应预处理,结合自监督掩码重建与监督分类的预训练策略,有效学习可泛化时空特征,显著提升MI任务解码精度,仅需少于30次/类的校准数据。
刘丁坤|陈竹|罗静伟|连世杰|陈宇恒|侯少杰|朱晓莲|吴东瑞
中国华中科技大学人工智能与自动化学院,脑启发式智能系统湖北省重点实验室,武汉430074
摘要
脑-计算机接口(BCI)实现了大脑与外部设备之间的直接通信。最近的EEG基础模型旨在学习跨不同BCI范式的通用表示。然而,这些方法忽略了范式特定的神经生理学差异,限制了它们的泛化能力。重要的是,在实际的BCI应用中,具体的范式(如用于中风康复或辅助机器人的运动想象(MI)通常在数据采集之前就已经确定。本文提出了MIRepNet(Rep = 表示),这是第一个专为MI范式设计的预训练EEG模型。MIRepNet包括一个高质量的EEG预处理流程,该流程结合了基于神经生理学的通道模板,可以适应具有任意电极配置的EEG头盔。此外,我们引入了一种有效的预训练策略,该策略结合了自我监督的掩码令牌重建和监督下的MI分类,从而在少于30次试验的情况下,能够快速适应新的下游MI任务并实现准确的解码。在五个公共MI数据集上的广泛评估表明,MIRepNet始终表现出最先进的性能,显著优于专门化和通用化的EEG模型。我们的代码可在GitHub上获取
2。
引言
脑-计算机接口(BCI)建立了大脑与外部设备之间的直接通信路径[1]。BCI已广泛应用于多种场景,包括脑疾病诊断、神经康复和辅助设备控制[2]、[3]。在各种神经记录方法中,脑电图(EEG)由于其成本效益、易用性和安全性[4]、[5],成为最常用的非侵入性BCI方法之一。然而,基于EEG的BCI的实际应用面临重大挑战,包括个体差异显著、高质量训练数据有限以及不同EEG头盔之间的电极配置差异[6]、[7]。因此,传统方法通常需要从每个用户那里收集大量的校准数据,这对实际应用构成了重大障碍。
最近,通用化的EEG基础模型[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]作为解决校准挑战的有希望的方案出现,这些模型通过从大规模数据集中学习通用的EEG表示来实现有效的适应。然而,现有的通用EEG模型存在几个固有的局限性:
- 1.
现有模型通常在预训练阶段合并来自不同范式的EEG信号,例如运动想象(MI)、稳态视觉诱发电位(SSVEP)和事件相关电位(ERP)。然而,不同的BCI范式本质上涉及根本不同的神经生理机制,表现为特定于范式的活跃皮层区域和频率带[16]。将多个范式合并到一个预训练阶段违背了EEG信号的内在神经生理组织,导致表示效果不佳和下游泛化性能有限。
- 2.
在实际应用中,与下游任务相关的范式通常在数据采集之前就已经确定。例如,需要外骨骼辅助康复的中风患者自然适合使用基于MI的系统[17],而癫痫监测则需要专门的癫痫特定范式和相应的模型[18]。因此,当用户概况(包括患者群体和预期任务)已知时,选择特定于范式的预训练模型进行直接适应是可行且更优的选择。
- 3.
更关键的是,当前的通用模型需要使用整个下游数据集(通常包含8-12名受试者)的其他受试者的数据进行大量后训练,才能有效适应新受试者。与只需要30%的新受试者数据即可进行微调的情况相比,后训练的数据量大幅增加(至少增加了20倍)。这种大量的后训练甚至可能在相同数据上的表现不如传统的特定于受试者的训练(见图2(a))。理想情况下,基础模型应能够直接适应任何新受试者或新任务,而无需额外的大规模后训练[19]。
这些见解促使我们开发了特定于范式的预训练模型,这些模型能够利用新用户的有限数据进行高效适应。这样的模型有望显著提高解码准确性并大幅减少校准需求。在现有的BCI范式中,运动想象(MI)特别值得关注,因为它经过了广泛的研究,并具有广泛的临床应用,包括中风康复和辅助技术,如智能轮椅[20]。
本文提出了MIRepNet,这是一个专门为MI设计的预训练EEG模型(其流程如图1所示)。MIRepNet利用MI范式的神经生理学知识构建了一个定制的预处理和表示学习流程,显著提高了EEG解码的泛化能力和效率。
本研究的主要贡献包括:
- 1.
我们提出了MIRepNet,这是第一个专为MI任务设计的预训练模型。通过捕获MI特有的神经生理特征,MIRepNet有效地学习了适用于MI解码的通用表示。
- 2.
我们提出了一种高质量的EEG预处理流程,包括受试者筛选、基于统一通道模板的空间对齐、频率过滤、时间重采样和分布对齐。这种方法解决了由于EEG头盔配置多样性导致的数据不一致性问题,确保了不同数据集之间的一致性。
- 3.
我们开发了一种结合掩码令牌重建和监督下MI分类的高效预训练方法。这种策略使模型能够获得稳健、通用的时域-空间EEG表示。
在五个公共MI数据集上的广泛实验表明,MIRepNet实现了最先进的解码准确性(见图2(b))。此外,MIRepNet所需的校准试验次数显著减少(每个类别少于30次),并且能在几个周期内快速收敛,突显了其实用性和有效性。
本文的其余部分组织如下:第2节回顾相关工作。第3节介绍MIRepNet。第4节展示实验结果。第5节进行讨论。最后,第6节得出结论。
相关文献
相关工作
本节介绍了传统MI解码算法和EEG通用模型的相关工作。
方法
本节介绍了我们提出的MIRepNet,这是一个专门为MI范式开发的预训练模型。MIRepNet旨在学习稳健且通用的时域-空间EEG表示,以便快速准确地适应新的MI下游任务。为此,我们构建了一个高质量的MI专用EEG数据流程(如图3所示),引入了一个基于空间信息的通道模板,并提出了一种结合自我监督掩码的
结论
在本文中,我们介绍了MIRepNet,这是第一个专为MI范式设计的预训练EEG模型。我们开发了一个高质量的EEG数据流程,该流程采用了基于神经生理学的通道模板,将异构的EEG电极布局对齐到一个统一的空间框架中。此外,我们提出了一种结合自我监督掩码令牌重建和监督下MI分类的高效预训练策略,使得模型能够快速适应新受试者:
CRediT作者贡献声明
刘丁坤:撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、软件、方法论、研究。陈竹:撰写 – 审稿与编辑、验证、方法论、研究。罗静伟:撰写 – 审稿与编辑、方法论、研究。连世杰:撰写 – 审稿与编辑、可视化、研究。陈宇恒:撰写 – 审稿与编辑、方法论。侯少杰:撰写 – 审稿与编辑、数据整理。朱晓莲:撰写 – 审稿与
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
本研究得到了国家自然科学基金(62525305)、河北省石家庄市高校产学研合作重大科技项目(2511303107A)和中关村研究院(20240301)的支持。