通过语言对齐的半监督学习,构建统一的异构脑电图(EEG)信号建模基础模型

《Neural Networks》:A Unified Foundation Model for Heterogeneous EEG Signal Modeling via Language-Aligned Semi-Supervised Learning

【字体: 大 中 小 】 时间:2026年08月24日 来源:Neural Networks 7.2

编辑推荐:

  •一种用于异构脑电图(EEG)建模的统一半监督框架。•EEG表示与基于语言的标签语义对齐。•动态Tanh变压器提高了EEG建模的性能。•在多种EEG范式和数据集中表现出竞争力。引言脑电图(EEG)作为一种有前景的非侵入式脑机接口(BCI)工具出现了,包括情感识别(ER)(Pill

  
  • •
    一种用于异构脑电图(EEG)建模的统一半监督框架。
  • •
    EEG表示与基于语言的标签语义对齐。
  • •
    动态Tanh变压器提高了EEG建模的性能。
  • •
    在多种EEG范式和数据集中表现出竞争力。

引言

脑电图(EEG)作为一种有前景的非侵入式脑机接口(BCI)工具出现了,包括情感识别(ER)(Pillalamarri, Shanmugam, 2025, Tian, Wang, Gong, Xu, Chen, Wei, Wu, 2025, Zhu, Deng, Zhao, Liu, Chen, 2023)、运动想象(MI)(Chu, Shen, Xiao, 2026, Wu, Tang, Wang, Li, Yang, 2026)和稳态视觉诱发电位(SSVEP)(Zhang, An, Liu, Chen, Wei, Sun, 2024, Zhang, Han, Yi, Duan, Kang, Sun, Solé-Casals, Caiafa, 2023)。这些应用在推进人机交互、医疗保健和神经反馈系统方面具有巨大潜力(Wang, Qiu, Ma, He, 2021, Zhang, Wang, An, Zheng, Wu, 2025a)。例如,在情感识别中,EEG能够实时监测情绪状态,这应用于心理健康诊断、个性化治疗和用户体验提升(Rivera, Teruel, Maté, Trujillo, 2022, Wang, Zhang, Ye, Yang, Xiong, Liu, Chen, Song, 2026)。在运动想象和SSVEP中,EEG使个体能够用思想控制设备,为残疾人提供了辅助技术的机会(Chen, Zhang, Pan, Xu, Guan, 2023, Wang, Liesaputra, Liu, Wang, Huang, 2024b)。然而,EEG数据本身的异质性很大,它在不同个体、记录配置和任务范式之间存在显著差异,这对模型开发提出了重大挑战。
最近在自监督预训练方面的进展表明,可以利用大规模未标记数据来学习可 transfer 的表示,许多基础模型都是建立在掩蔽建模(Devlin, Chang, Lee, Toutanova, 2019, He, Chen, Xie, Li, Dollár, Girshick, 2022)、自回归建模(Brown et al., 2020)和对比学习(Chen, Kornblith, Norouzi, Hinton, 2020, He, Fan, Wu, Xie, Girshick, 2020)的基础上。基于这些范式,基础模型的出现为EEG建模提供了新的视角(Vaswani et al., 2017)。最近的研究探索了用于EEG表示学习的大规模预训练模型,旨在利用跨数据集和任务的共享结构(Ouahidi et al., 2025)。代表性的工作包括基于变压器的生物信号架构(Yang et al., 2023)、EEG的掩蔽和对比预训练(Wang et al., 2024a)、大规模跨数据集模型(Jiang, Zhao, & Lu, Wang, Zhao, Luo, Zhou, Jiang, Li, Li, & Pan),以及扩展到更广泛的神经和生理模态(Jiang, Fu, Ding, & Guan, Jiang, Wang, Lu, & Li)。这些早期工作表明,基础风格的训练为提高EEG模型的可扩展性和可转移性提供了一个有前途的方向。
尽管取得了显著进展,现有的EEG建模方法仍然面临几个实际挑战,特别是在将基础风格模型适应EEG的独特特性和异构实验设置时。大多数当前方法采用预训练后进行微调的范式,这种方法已被证明是有效的,但在应用于具有异构采集设置和标签定义的数据集时往往需要反复调整(Hwang et al., 2024)。在实践中,有限的标记数据上的微调可能会导致学习到的表示发生变化,并增加对注释质量的敏感性,因此需要仔细的优化和超参数选择以保持稳定的性能(Kumar, Raghunathan, Jones, Ma, Liang, 2021, Mukhoti, Gal, Torr, Dokania, 2024, Zhai, Tong, Li, Cai, Qu, Lee, & Ma)。对特定于任务的分类头的依赖进一步限制了可扩展性,因为每个数据集都需要自己的分类器,这使得整合具有不同标签定义的多样化数据集变得复杂(Jiang, Wang, Lu, & Li, Yang, Westover, Sun, 2023)。此外,当前的EEG模型将标签视为离散标识符,这阻碍了具有不同标签粒度的数据集的有意义整合,并限制了弱标记或噪声数据的利用(Jiang et al., 2025b)。标准的归一化技术,如层归一化(LayerNorm)或批量归一化(BatchNorm),在EEG建模中很常见,但无法解决EEG信号的独特特性,包括稀疏性、非稳定性和显著的个体间差异。这些方法可能会减弱与幅度相关的关键特征,或者在训练异构数据集时导致优化不稳定(Zhu et al., 2025)。
为了解决上述问题,我们提出了USEA,这是一种在半监督学习设置下的统一基础模型,用于EEG和语言的对齐。USEA将EEG建模表述为一个语义引导的自回归表示学习问题,允许单个骨干在统一的训练阶段同时利用标记和未标记的数据,同时支持直接推理和针对下游评估的特定目标微调。当有监督时,通过语言对齐的语义嵌入引入监督,而不是特定于任务的分类头,使模型能够以统一的方式适应异构标签定义和弱标记的数据集。此外,我们采用了动态Tanh(DyT)变压器骨干,它用一个有界的、无需归一化的替代方案取代了标准归一化层,以提高优化稳定性,同时保留了对EEG信号至关重要的微妙幅度动态。这些设计选择共同使得在不同的EEG范式和数据集中实现了健壮且通用的表示学习。
我们的主要贡献总结如下:
  • •
    我们提出了一个用于异构EEG建模的统一基础模型,该模型无缝集成完全标记的、少量标记的和未标记的数据集,在统一的半监督训练流程中学习一个共享的骨干,并支持直接推理和针对基准评估的特定目标微调。
  • •
    我们通过利用基于LLM的文本编码器来捕获标签语义,并将EEG嵌入与这些语义表示对齐,从而引入了语言对齐的EEG表示监督。
  • •
    我们将DyT变压器架构引入EEG建模。与传统架构不同,这种无需归一化的骨干保留了通过层归一化会丢失的关键幅度信息,同时在不同数据集上保持训练稳定性。
  • •
    我们在涵盖多种范式(MI、ER、SSVEP)的九个公开数据集上进行了全面评估,与最先进的基线相比,展示了竞争力和在异构数据集上的鲁棒性。
本文的其余部分组织如下。第2节回顾了相关工作。第3节详细描述了所提出的方法。第4节介绍了实验设置和结果,包括消融研究和可视化分析。最后,第5节总结了本文。

章节片段

通用EEG基础模型

自监督预训练已成为从大规模未标记数据中学习可 transfer 表示的核心范式。在自然语言处理中,像BERT(Devlin et al., 2019)和GPT系列(Brown et al., 2020)这样的模型表明,大规模预训练产生的表示可以应用于多种下游任务。类似的趋势也出现在计算机视觉中,其中对比学习和掩蔽建模方法,包括SimCLR(Chen et al., 2020)、MoCo(He et al.,

方法

本节介绍了USEA,它用于从具有不同通道配置和标签可用性的大规模异构数据集中学习通用的EEG表示。USEA将EEG建模表述为一个语义引导的自回归表示学习问题,在这个过程中,时间结构通过序列回归来捕捉,而当有监督时,通过语言对齐的语义嵌入而不是特定于任务的分类器来引入监督。如图1所示,

数据集和预处理

我们在涵盖三大BCI范式(运动想象(MI)、情感识别(ER)和稳态视觉诱发电位(SSVEP)的九个公开可用的EEG数据集上评估了我们的方法。这些数据集在表1中进行了总结,提供了不同受试者群体、电极配置和实验协议的多样化评估场景。
对于MI,我们包括了四个基准测试:BCIC-IV-2a(Tangermann et al., 2012)、OpenBMI-MI(Lee et al., 2019)、Cho2017(Cho et al., 2017)和

结论

本文提出了一种统一的半监督基础模型,用于EEG表示学习,旨在在单一训练流程中适应不同的监督机制。通过将监督表述为语言对齐的表示匹配,所提出的框架使标记数据集、弱标记数据集和未标记数据集能够共同贡献于表示学习,而无需在统一训练阶段使用特定于任务的分类头,同时仍然允许

CRediT作者贡献声明

Ziman Ye:撰写 - 审稿与编辑、撰写 - 原稿、可视化、方法论、调查。Muyun Jiang:撰写 - 审稿与编辑、可视化、验证。Jiaqi Zhu:撰写 - 审稿与编辑、概念化。Hao Zheng:撰写 - 审稿与编辑、调查。Mengchi Rong:撰写 - 审稿与编辑。Fang Deng:撰写 - 审稿与编辑、监督、资源获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了中国国家杰出青年科学基金(Grant 62025301)的支持,部分得到了中国教育部基础与跨学科学科突破计划(grant JYB2025XDXM206)的支持,以及中国国家自然科学基金青年科学家项目(Ph.D.)(grant 624B2027)的支持。
Ziman Ye|Muyun Jiang|Jiaqi Zhu|Hao Zheng|Mengchi Rong|Fang Deng
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号