面向脑电运动想象脑机接口的传统特征与深度特征融合神经网络

《Engineering Applications of Artificial Intelligence》：Neural network combining traditional features and deep features for electroencephalograph motor imagery brain-computer interfaces

　　

摘要特征提取和分类是基于运动想象（MI）脑电图（EEG）的脑机接口（BCI）的关键任务，在运动功能补偿和康复方面有应用。然而，现有的深度学习方法存在神经生理先验（事件相关去同步/同步）利用不足、多领域（频谱、空间、时间）信息处理不充分等问题。为解决这些问题，本研究提出了一种结合传统特征工程和深度学习的并行混合网络，与串行级联和纯数据驱动范式不同：它集成了用于提取空间 - 频谱特征的一对多滤波银行共空间模式（OVR-FBCSP）、用于学习非线性时空特征的残差卷积神经网络（RCNN）、用于分析特征关系的动态图卷积网络（DGCN）以及用于捕获长期时间模式的门控循环单元（GRU）。此外，我们使用注意力机制动态融合特征，并使用复合损失函数增强特征聚类性能。我们的方法在三个公共数据集上进行了验证：BCI 竞赛 IV-2a（4 类，85.28 ± 10.43%）、IV-2b（2 类，89.75 ± 8.02%）以及 Kaya 等人 2018 年 Sci Data 的数据集（3 类，78.66 ± 8.31%；5 类，59.80 ± 8.69%；6 类，65.33 ± 8.04%）。结果表明，我们的方法显著优于近期方法和传统方法，并且准确度波动减小。消融实验展示了每个模块的贡献，移除任何单一组件后准确度下降 1.5%-2.5%。本研究证明了混合网络模型通过补充传统特征工程和深度学习，突破了单一技术路线的限制，为多类 MI-EEG 解码提供了一种具有准确性和鲁棒性的方法。

引言脑机接口（BCI）通过建立直接通信和控制通道，实现大脑与设备之间的信息交换（Chen 等，2025 年；Hu 等，2024 年；Nawaz 等，2026 年）。运动想象（MI）脑电图（EEG）是 BCI 控制外部设备的一个研究深入的范式（Wan 等，2021 年）。MI 通过想象运动生成命令，而不需要实际动作，但激活的大脑区域与实际运动涉及的大脑区域高度重叠（Zhang 等，2021 年；Edelman 等，2024 年；Sun 等，2024 年）。基于 MI 的 BCI 系统可以在没有外部刺激的情况下提取用户自主运动意图，在运动功能补偿和康复训练方面具有潜在应用（Baniqued 等，2021 年；Kansal 等，2023 年；Jia 等，2024 年；Lv 等，2025 年；Adham 等，2024 年）。

在 EEG BCI 研究中，从 EEG 信号中提取特征至关重要。MI 会引起 alpha（8-12Hz）、beta（13-30Hz）及其他频段 EEG 信号能量的上升或下降，这种现象称为事件相关同步或去同步（ERS/ERD）（Liao 等，2023 年；Li 等，2026 年）。在基于 MI 的 EEG BCI 中，不同的想象任务可以在不同的频段和大脑区域诱发 ERS/ERD，为特征提取奠定了神经电生理学基础（Angulo-Sherman 等，2025 年；Shahlaei 等，2023 年）。

特征提取和分类是 MI-EEG 解码的核心任务，手工特征工程长期以来一直是主导范式。Vimala 等人（2019 年）对 EEG 信号进行了基于小波的子带分解，从每个频段提取能量、熵和方差特征，并比较了支持向量机（SVM）、K 近邻（KNN）和人工神经网络（ANN）的分类性能。然而，这种完全人工的特征流程严重依赖经验参数调整，可能无法捕获 EEG 信号中深层的时空模式。Salazar-Varas 等人（Salazar-Varas 和 Vazquez，2019 年）通过线性判别分析（LDA）比较了自回归系数与 Higuchi 和 Katz 分形维数特征用于 MI 分类，并验证了特定受试者的滤波器频段显著优于传统的固定 alpha/beta 频段。然而，这种方法依赖于穷举参数搜索，且仅利用单通道时间特征，忽略了特征间关系。Gaur 等人（2021 年）提出了两种滑动窗口增强的共空间模式（CSP）方法，即 SW-LCR 和 SW-Mode，以减轻 MI 信号中的时间非平稳性，提高了健康受试者和中风患者数据集上的鲁棒性。尽管如此，这种手工设计空间特征的方法严重依赖领域知识进行参数设计，可能会忽略 EEG 信号中的判别信息（无法自动学习非线性空间、时间、频谱和交互特征）。

近年来，深度学习在自然语言处理、语音分析和图像识别领域取得了显著成果，特别是在自动学习特征方面，为从原始数据中学习特征提供了新方法（Su 等，2024a 年；Xian 等，2026 年；Saibene 等，2024 年；Zhang 等，2024 年）。Rammy 等人（2021 年）提出使用快速傅里叶变换（FFT）能量图和 CSP 从 EEG 信号中预提取空间和频谱 - 时间特征，随后输入到由卷积神经网络（CNN）和长短期记忆（LSTM）网络组成的深度学习模型中以学习特征。然而，这种方法仍然首先手动选择频段。Wang 等人（2022 年）提出了一种结合欧氏空间数据对齐（EA）和 CSP 的无监督特征提取方法，以及用于分类的深度 CNN。他们的方法首先使用小波分析对 EEG 信号进行去噪和重构，然后使用欧氏空间数据对齐对齐源域和目标域，最后使用 CSP 从对齐数据中提取特征。尽管 Wang 等人（2022 年）提出的特征提取方法不完全依赖先验知识选择频段，但它没有充分利用深度神经网络自动学习特征的优势。Lawhern 等人（2018 年）提出了 EEGNet，这是一种用于基于 EEG 的 BCI 的紧凑卷积神经网络。他们使用了深度可分离卷积，并将网络应用于几个任务的 EEG 数据。尽管 EEGNet 具有良好的泛化性，但 CNN 结构在学习时间序列特征方面存在一些缺陷。Lian 等人（2021 年）提出了一种基于浅卷积神经网络（sCNN）和双向长短期记忆（BiLSTM）的模型，直接提取时间、频谱和空间特征以进行原始 EEG 信号的多类分类。然而，该模型忽略了串行网络结构中间层隐藏的信息，这些信息可以潜在地被利用以提高准确度。

为了解决现有多样 MI-EEG 解码方法的局限性，包括神经生理先验利用不足、多领域特征融合不充分以及串行架构固有的信息损失，并突破单一范式方法的性能上限，本研究提出了一种结合传统特征工程和深度学习的混合深度神经网络模型。不同于仅依赖手工特征设计或端到端深度学习的现有方法，我们的工作通过并行模块化设计实现了两种技术路线的互补优势。该模型集成了动态图卷积网络（DGCN）、门控循环单元（GRU）、残差卷积神经网络（RCNN）和一对多滤波银行共空间模式（OVR-FBCSP）。它通过注意力机制进行动态特征加权，并通过复合损失函数增强特征聚类性能。其核心结构是一个并行模块化框架，可以同时提取和融合多领域特征，克服了单模块或串行结构的局限性。本研究的主要贡献如下。

（1）并行模块化框架：采用并行网络模块并行提取频率 - 空间特征（OVR-FBCSP）和非线性时空特征（RCNN），并行处理特征间（空间）关系（DGCN）和长期时间模式（GRU）。并行结构避免了串行结构固有的信息损失和跨领域干扰，最大化了网络中间层信息的利用，并缓解了单模块特征提取的局限性。

（2）双范式互补特征提取：OVR-FBCSP 基于已知的神经生理机制提取频段内的 ERD/ERS 特征；RCNN 在不假设频段的情况下自动学习复杂的频率 - 空间特征。互补结构克服了传统方法可能错过潜在有用特征的局限性，同时通过纳入传统特征降低了深度学习的数据量需求。互补的并行 DGCN（用于跨特征模式）和 GRU（用于时间模式）进一步细化了空间和时间特征，而注意力机制动态加权多模态特征以抑制噪声和冗余。

（3）针对类别可分性的定向优化：提出的复合损失函数促进了特征间类别的可分性，并有助于缓解个体间差异。

使用三个公共数据集来验证提出的混合网络模型的泛化性。数据集 1 是 BCI 竞赛 IV-2a（4 类），数据集 2 是 BCI 竞赛 IV-2b（2 类），数据集 3 是 Kaya 等人（2018 年）提供的多类 MI 数据集（包括 3 类、5 类和 6 类）。

本文其余部分结构如下：第 2 节描述了混合网络的结构和模块细节；第 3 节描述了实验数据、模型构建和超参数设置；第 4 节展示了结果，包括不同模块的消融；第 5 节是讨论，第 6 节是结论。

章节摘要
方法我们提出了一种用于 EEG 运动想象特征学习和多类分类的混合网络。网络的整体结构如图 1 所示。网络结构的详细信息见 3.2。
数据特征在本研究中，使用了三个公共数据集来验证提出的混合网络模型，分别是 BCI 竞赛 IV-2a（4 类）、BCI 竞赛 IV-2b（2 类）和 Kaya 等人的数据集（3 类、5 类和 6 类）。数据集的详细描述如下：
数据集 1：BCI 竞赛 IV-2a 数据集由奥地利格拉茨理工大学提供（http://www.bbci.de/competition/iv/）。它包含 9 名健康参与者执行左侧 MI 任务时的 EEG 信号
结果我们使用 t 分布随机邻居嵌入（t-SNE）（Belkina 等，2019 年）对提出的混合网络模型中全连接分类层输入的特征向量进行特征可视化（图 6）。高维特征空间中的每个数据点被映射到三维空间中的特定位置，不同的颜色标记类别标签。此处，t-SNE 可视化仅用于对整体
讨论本研究提出了一种结合传统特征工程和深度学习的混合网络模型，并引入了复合损失函数以增强特征聚类性能。该模型具有平行的特征提取和处理模块，在特征表示上相互补充。具体来说，基于神经生理理解和传统特征工程，模型采用 OVR-FBCSP 提取 ERD/ERS 空间 - 频谱特征。这得到了
结论为了解解决现有 MI-EEG 解码方法的局限性，本研究提出了一种结合传统特征工程和深度学习的混合网络模型。不同于单一范式方法，我们的混合模型通过并行模块化设计利用了传统特征和深度学习的互补优势，并设计了损失函数以改善特征聚类。实验结果显示，我们的模型在公共
CRediT 作者贡献声明
Shidong Lian：写作 - 审查与编辑，写作 - 原始初稿，可视化，验证，软件，方法论。Zheng Li：写作 - 审查与编辑，监督，资金获取。
竞争利益声明
通讯作者受雇于北京师范大学珠海分校，该校拥有与本手稿中描述的方法相关的专利（ZL，2023 1 1153558.9）。作者声明他们没有其他可能被认为会影响本论文报告的财务利益或个人关系。同时，作者未参与本文的编辑审查或发表决定。
致谢
本工作由中国国家重点研发计划（2025YFE0213800）支持。
Shidong Lian | Zheng Li
中国北京北京师范大学系统科学学院