引言
脑电图(EEG)作为一种有前景的非侵入式脑机接口(BCI)工具出现了,包括情感识别(ER)(Pillalamarri, Shanmugam, 2025, Tian, Wang, Gong, Xu, Chen, Wei, Wu, 2025, Zhu, Deng, Zhao, Liu, Chen, 2023)、运动想象(MI)(Chu, Shen, Xiao, 2026, Wu, Tang, Wang, Li, Yang, 2026)和稳态视觉诱发电位(SSVEP)(Zhang, An, Liu, Chen, Wei, Sun, 2024, Zhang, Han, Yi, Duan, Kang, Sun, Solé-Casals, Caiafa, 2023)。这些应用在推进人机交互、医疗保健和神经反馈系统方面具有巨大潜力(Wang, Qiu, Ma, He, 2021, Zhang, Wang, An, Zheng, Wu, 2025a)。例如,在情感识别中,EEG能够实时监测情绪状态,这应用于心理健康诊断、个性化治疗和用户体验提升(Rivera, Teruel, Maté, Trujillo, 2022, Wang, Zhang, Ye, Yang, Xiong, Liu, Chen, Song, 2026)。在运动想象和SSVEP中,EEG使个体能够用思想控制设备,为残疾人提供了辅助技术的机会(Chen, Zhang, Pan, Xu, Guan, 2023, Wang, Liesaputra, Liu, Wang, Huang, 2024b)。然而,EEG数据本身的异质性很大,它在不同个体、记录配置和任务范式之间存在显著差异,这对模型开发提出了重大挑战。
最近在自监督预训练方面的进展表明,可以利用大规模未标记数据来学习可 transfer 的表示,许多基础模型都是建立在掩蔽建模(Devlin, Chang, Lee, Toutanova, 2019, He, Chen, Xie, Li, Dollár, Girshick, 2022)、自回归建模(Brown et al., 2020)和对比学习(Chen, Kornblith, Norouzi, Hinton, 2020, He, Fan, Wu, Xie, Girshick, 2020)的基础上。基于这些范式,基础模型的出现为EEG建模提供了新的视角(Vaswani et al., 2017)。最近的研究探索了用于EEG表示学习的大规模预训练模型,旨在利用跨数据集和任务的共享结构(Ouahidi et al., 2025)。代表性的工作包括基于变压器的生物信号架构(Yang et al., 2023)、EEG的掩蔽和对比预训练(Wang et al., 2024a)、大规模跨数据集模型(Jiang, Zhao, & Lu, Wang, Zhao, Luo, Zhou, Jiang, Li, Li, & Pan),以及扩展到更广泛的神经和生理模态(Jiang, Fu, Ding, & Guan, Jiang, Wang, Lu, & Li)。这些早期工作表明,基础风格的训练为提高EEG模型的可扩展性和可转移性提供了一个有前途的方向。
尽管取得了显著进展,现有的EEG建模方法仍然面临几个实际挑战,特别是在将基础风格模型适应EEG的独特特性和异构实验设置时。大多数当前方法采用预训练后进行微调的范式,这种方法已被证明是有效的,但在应用于具有异构采集设置和标签定义的数据集时往往需要反复调整(Hwang et al., 2024)。在实践中,有限的标记数据上的微调可能会导致学习到的表示发生变化,并增加对注释质量的敏感性,因此需要仔细的优化和超参数选择以保持稳定的性能(Kumar, Raghunathan, Jones, Ma, Liang, 2021, Mukhoti, Gal, Torr, Dokania, 2024, Zhai, Tong, Li, Cai, Qu, Lee, & Ma)。对特定于任务的分类头的依赖进一步限制了可扩展性,因为每个数据集都需要自己的分类器,这使得整合具有不同标签定义的多样化数据集变得复杂(Jiang, Wang, Lu, & Li, Yang, Westover, Sun, 2023)。此外,当前的EEG模型将标签视为离散标识符,这阻碍了具有不同标签粒度的数据集的有意义整合,并限制了弱标记或噪声数据的利用(Jiang et al., 2025b)。标准的归一化技术,如层归一化(LayerNorm)或批量归一化(BatchNorm),在EEG建模中很常见,但无法解决EEG信号的独特特性,包括稀疏性、非稳定性和显著的个体间差异。这些方法可能会减弱与幅度相关的关键特征,或者在训练异构数据集时导致优化不稳定(Zhu et al., 2025)。
为了解决上述问题,我们提出了USEA,这是一种在半监督学习设置下的统一基础模型,用于EEG和语言的对齐。USEA将EEG建模表述为一个语义引导的自回归表示学习问题,允许单个骨干在统一的训练阶段同时利用标记和未标记的数据,同时支持直接推理和针对下游评估的特定目标微调。当有监督时,通过语言对齐的语义嵌入引入监督,而不是特定于任务的分类头,使模型能够以统一的方式适应异构标签定义和弱标记的数据集。此外,我们采用了动态Tanh(DyT)变压器骨干,它用一个有界的、无需归一化的替代方案取代了标准归一化层,以提高优化稳定性,同时保留了对EEG信号至关重要的微妙幅度动态。这些设计选择共同使得在不同的EEG范式和数据集中实现了健壮且通用的表示学习。
我们的主要贡献总结如下:
- •
我们提出了一个用于异构EEG建模的统一基础模型,该模型无缝集成完全标记的、少量标记的和未标记的数据集,在统一的半监督训练流程中学习一个共享的骨干,并支持直接推理和针对基准评估的特定目标微调。
- •
我们通过利用基于LLM的文本编码器来捕获标签语义,并将EEG嵌入与这些语义表示对齐,从而引入了语言对齐的EEG表示监督。
- •
我们将DyT变压器架构引入EEG建模。与传统架构不同,这种无需归一化的骨干保留了通过层归一化会丢失的关键幅度信息,同时在不同数据集上保持训练稳定性。
- •
我们在涵盖多种范式(MI、ER、SSVEP)的九个公开数据集上进行了全面评估,与最先进的基线相比,展示了竞争力和在异构数据集上的鲁棒性。
本文的其余部分组织如下。第2节回顾了相关工作。第3节详细描述了所提出的方法。第4节介绍了实验设置和结果,包括消融研究和可视化分析。最后,第5节总结了本文。