基于级联投射的电机想象脑电图（EEG）解码技术在脑机接口中的应用

《Neurocomputing》：Cascaded projection-based motor imagery EEG decoding for brain-computer interfaces

　　摘要
运动想象作为一种关键的脑机接口范式，已在脑机接口场景中得到广泛应用。然而，由于脑电图（EEG）的非平稳性和低信噪比，精确的EEG解码仍然是一个重大挑战。这些因素削弱了脑机接口系统的可靠性和效率。为了解决这个问题，我们提出了一种运动想象EEG解码方法，该方法包括三个关键步骤：EEG信号重建、多尺度特征提取和降维。特别是，我们提出了一种新颖的特征提取方法AFSCRTS，该方法结合了创新的自适应滤波器组选择模块和基于时频域的特征提取框架来提取多尺度特征。此外，还采用了自适应加权空间判别投影（AWSDP）来减少维度冗余，同时保持优异的分类性能。当应用AWSDP时，该模型成功缓解了高维度的挑战，同时保持了相同的高准确度。所提出的AFSCRTS在三个典型数据集上的二分类任务中得到了验证，平均准确率分别为90.39%、92.04%和74.35%。另外，在四分类任务中评估AFSCRTS时，我们的方法也取得了优异的分类结果，这验证了AFSCRTS在EEG解码方面的出色表现。我们的工作相比大多数基线方法具有明显的优势，有助于脑机接口的进一步发展。

引言
脑机接口（BCI）为身体受损（如中风幸存者和瘫痪患者）提供了有效的驱动外部设备以辅助日常生活活动（ADLs）的方法[1]。EEG能够提前预测运动意图，因此比依赖于骨骼肌激活和实际肢体运动的表面肌电图（sEMG）具有明显优势[2]。通过从EEG信号中解码运动意图，BCI系统可以将用户意图转化为可执行的控制命令，支持包括中风后的辅助移动控制和假肢操作在内的广泛应用[3]、[4]。脑电图（EEG）是一种被广泛研究的脑信号，因为它具有高便携性、低功耗和精细的定时分辨率。运动想象（MI）作为关键的EEG范式，允许用户在无需实际身体运动的情况下想象身体动作，从而减少体力消耗并提供精确控制[5]。然而，由于EEG的非平稳性和噪声，MI的解码准确度仍然不尽如人意，提高解码性能是一个主要挑战[6]。在运动想象（MI）EEG解码中，采用了两种主流方法来识别受试者的运动意图，即基于深度学习的方法和机器学习方法[7]、[8]。基于深度学习的方法使用神经网络架构从MI EEG信号中提取特征并执行分类任务。FBMSNet采用混合深度卷积和中心损失，实现了分类准确度的显著提升[9]。此外，EEG-ARNN联合实现了自适应EEG通道选择和MI分类，展现了出色的性能并降低了计算复杂性[10]。然而，这些深度学习方法的可解释性较低，甚至在小型非线性数据样本上的分类性能也有限。这使得将这些模型学习的表示与运动想象背后的实际神经生理基础联系起来变得困难。
机器学习方法特别适用于高维数据和小样本量，具有强大的泛化能力和更灵活的决策能力[11]、[12]。典型的机器学习方法包括从MI EEG信号中提取特征，然后使用经典分类器进行分类任务[13]、[14]。常见空间模式（CSP）[15]、黎曼几何[16]和傅里叶变换[17]被广泛用于MI EEG的特征提取。尽管CSP适用于从多变量EEG信号中提取特征，但它在训练数据上容易过拟合。为了解决这个问题，人们将多种特征增强策略与CSP结合使用。滤波器组CSP（FBCSP）通过引入滤波器组来提取EEG信号的频率特征，取得了有前途的性能[18]。另一种结合图论与CSP的方法称为方差特征保持CSP（VPCSP），提取多层次的有效特征[19]。尽管各种CSP变体提供了一定的改进，但它们的特征提取能力仍然不足，从而限制了分类准确度的进一步提高。
与传统的CSP方法相比，黎曼几何作为一种无监督方法，本质上更能够抵抗过拟合。它通过捕捉协方差矩阵的几何结构来有效分析EEG信号的变化性[20]、[21]。Jin等人提出了RSODSF来提取黎曼切空间特征，展示了利用黎曼几何进行特征提取的优势[22]。Barachant等人采用了最小距离到均值（MDM）在黎曼流形中完成多类MI BCI分类，显示出高准确度[23]。Wang等人利用多个频率带和相空间信息进行EEG二分类任务[24]。这些方法扩展了MI EEG解码的能力。然而，基于黎曼几何的特征通常是高维的，导致分类时间增加。考虑到基于CSP和基于黎曼几何的方法的优点和局限性，混合方法可能为提高EEG解码的准确度提供一个有前景的方向。

先前的研究提出了多种已被证明对解码MI EEG信号有效的特征提取方法。其中，结合滤波器组的方法倾向于捕捉更全面的信息。例如，Fang等人[25]将多个频率带与黎曼切空间映射相结合，取得了有希望的结果。同样，Xiong等人[26]引入了DFB方法，该方法将目标频率范围划分为多尺度重叠的带窗口，展示了优异的准确度。然而，在所有受试者中均匀应用固定频率带可能会引入冗余或不相关的信息。因此，优化频率带选择以提高分类性能并降低计算复杂性仍然是一个有价值的研究方向。
最近的基于黎曼几何的方法集成了降维技术，以提高特征的判别能力，同时减少分类负担。例如，Cai等人提出了一种基于流形的降维策略，用欧几里得均值代替黎曼均值从黎曼切空间获取特征，从而降低了计算成本[27]。Gao等人提出了一种基于对称正定矩阵流形迭代优化的降维算法[28]。这些发现表明，降低特征维度对于提高分类效率具有显著的潜力。
受先前研究的启发，本文旨在提出一种新颖的EEG解码方法，充分利用多尺度信息。具体来说，该框架整合了CSP和黎曼几何的优势，从时频域提取多视图特征。该框架的另一个亮点是它能够为每个受试者提供个性化的频率带选择。随后，在降维阶段采用了自适应加权空间判别投影，避开了维数的灾难。这种方法对于结合多个频率带提取特征的基于黎曼几何的方法（如[21]）具有指导意义。AFSCRTS在三个数据集上进行了评估，其性能明显优于大多数最先进（SOTA）方法。本文的主要贡献如下：
1. 为了捕捉隐藏的动态特征信息，采用多变量相空间重建（MPSR）从多个时间窗口和频率带重建EEG信号。
2. 为了获得多域特征，我们设计了一个基于时频域的特征提取框架（TFCRTS）。为了提高特征提取效率，我们提出了一种自适应滤波器组选择（AFS）策略来抑制信息量低的频率带。然后提出了一种结合AFS和TFCRTS的新特征提取方法AFSCRTS，以提高特征提取能力。
3. 采用考虑空间距离和角度信息的自适应加权空间判别投影（AWSDP）来减少冗余特征。这一过程减轻了后续分类的负担。
本文的组织结构如下：第2节介绍了一些相关工作。第3节介绍了我们提出的方法。第4节讨论了实验，第5节和第6节分别展示了实验结果和分析。最后，第7节得出了本文的结论。

**方法**
为了有效解码EEG信号，本文结合了EEG信号重建、多尺度特征提取和降维。图2展示了整体框架。

**数据集描述**
为了评估所提出的MI EEG分类框架，我们在以下三个数据集上进行了评估：
1) 数据集1：BCI竞赛IV 2a [32] 从9名不同的受试者那里收集的数据，记录了22个EEG通道在执行四种不同的MI任务时的数据，包括右手、左手、双脚和舌头。MI信号采集的采样率为250 Hz。每个受试者完成了两个会话，每个会话包括288次试验，每次MI试验为72次。表2展示了数据集1上多种算法的二分类结果（左手与右手）。AFSCRTS在左手与右手分类任务中的平均准确率为90.39%，优于其他SOTA方法。与基于CSP的TW-TRCSP相比，AFSCRTS通过其多层结构实现了更全面的特征提取。RSODSF利用黎曼切空间映射，实现了平均分类准确率。

**讨论**
本研究提出了一种由三个关键组件组成的新颖EEG解码方法：MPSR、AFS和AWSDP。为了进一步分析MPSR、AFS和AWSDP的效果，我们进行了比较分析（见表6）。此外，我们讨论了AFSCRTS在多类分类任务中的有效性，这拓宽了其实际应用范围。最后，我们提供了深入的可解释性分析，解释了为什么AFSCRTS优于许多SOTA方法。

**结论**
本文介绍了一种新颖的EEG解码框架AFSCRTS。首先使用多变量相空间重建（MPSR）来重建EEG信号。为了捕捉更多的空间特征，我们设计了一个新的特征提取框架，以充分利用内在的空间信息。此外，我们提出了一种自适应滤波器组选择策略来与该特征提取框架结合使用，可以识别更关键的频率带特征。同时，我们开发了一种空间判别方法。

**作者贡献声明**
Xueyan Lyu：撰写——原始草案。
Xiaohui Li：撰写——审阅与编辑。
Hao Zhou：撰写——审阅与编辑。
Wenzhuo Wang：数据管理。
Dezhi Yu：数据管理。
Jing Wen Pan：项目管理。
Lin Wang：监督。

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：
Lin Wang报告得到了中国国家重点研发计划的支持。
Lin Wang报告得到了国家自然科学基金的支持。
Lin Wang报告得到了深圳市战略性新兴产业扶持计划的支持。
Lin Wang报告得到了深圳市可持续发展科技项目的支持。
Xueyan Lyu于2022年在中国北京化工大学获得了控制科学与工程专业的硕士学位。她目前正在中国科学院深圳先进技术研究院攻读模式识别与智能系统的博士学位。她的研究兴趣包括脑信号处理、模式识别和脑机接口。