MCFANet:一种用于运动想象脑电图(EEG)分类的多类融合注意力网络

《Frontiers in Human Neuroscience》:MCFANet: a multi-class fusion attention network for motor imagery EEG classification

【字体: 大 中 小 】 时间:2026年04月09日 来源:Frontiers in Human Neuroscience 2.7

编辑推荐:

  摘要 引言:本文提出了一种多类融合注意力网络(MCFANet),该网络结合了FBCSP的多类空间滤波输出和卷积神经网络的时空特征提取能力,用于多类运动想象脑电图(EEG)分类。在多类运动想象解码中,传统的空间滤波方法可以提取有效的判别性空间特征,但将任务分解为独立的二元子问题,

  摘要

引言:本文提出了一种多类融合注意力网络(MCFANet),该网络结合了FBCSP的多类空间滤波输出和卷积神经网络的时空特征提取能力,用于多类运动想象脑电图(EEG)分类。在多类运动想象解码中,传统的空间滤波方法可以提取有效的判别性空间特征,但将任务分解为独立的二元子问题,并且通常只保留能量统计信息而丢弃时间动态。深度学习方法可以学习时空特征,但必须从头开始学习空间模式,这在训练样本有限的情况下难以完全捕捉已建立的神经生理先验。

方法:MCFANet沿通道维度连接所有类别和子带的空间滤波输出,构建一个包含所有类别判别性响应的虚拟通道表示。完整的时间序列被保留并输入到卷积模块中进行时空特征提取,通道注意力模块自适应地重新加权特征图,以关注最具判别性的表示。在两个公共数据集上进行了四类分类实验。

结果:在数据集2a上,MCFANet的准确率为67.94% ±13.70%,优于FBEEGNet(63.98%)和EEGNet(58.79%)。在高伽马数据集上,MCFANet的准确率为87.10% ±10.09%,比FBEEGNet提高了约2.5个百分点。配对t检验和效应量分析确认了相对于主要基线方法的改进在统计上是显著的。

讨论:结果表明,将多类空间判别性响应重新组织成一个保留时间动态的统一表示,为传统空间滤波和深度学习之间的桥梁提供了有效途径。

1 引言
脑机接口(BCIs)为大脑与外部设备(如计算机、机器人和车辆)提供了直接的通信链接(Wolpaw等人,2002年)。脑电图(EEG)是最常用的非侵入式BCI信号采集方法,因为它具有高时间分辨率和低成本(Wolpaw等人,2002年;Lotte等人,2018年)。运动想象(MI)要求受试者在不实际执行的情况下在心中模拟特定的肢体运动,作为一种无刺激的BCI范式(Pfurtscheller和Neuper,2001年)。然而,MI引发的EEG响应比实际运动产生的响应较弱且不一致(Pfurtscheller和Lopes da Silva,1999年;Neuper等人,2006年;Miller等人,2010年)。虽然二元MI解码(例如区分左手和右手想象)已经得到了广泛研究,但扩展到多类场景会带来额外的困难:不同肢体的皮层表示部分重叠,且受试者间的变异性进一步复杂化了多类区分(Brunner等人,2008年;Schirrmeister等人,2017a)。

传统的MI-EEG分类方法主要沿着两条路线发展。第一条是空间滤波,以共同空间模式(CSP)算法为代表(Ramoser等人,2000年;Koles等人,1990年;Blankertz等人,2008年),该算法设计空间滤波器以最大化类别间的方差差异,从而提取由MI任务引起的事件相关去同步/同步(ERD/ERS)特征。几种CSP变体——包括滤波器组CSP(FBCSP)(Ang等人,2008年)、规则化CSP(Lotte和Guan,2011年)和稀疏CSP(Arvaneh等人,2011年)——通过频谱带选择和规则化扩展了这一思想。第二条路线是时频分析,包括小波变换(Subasi,2007年)、经验模态分解(Park和Chung,2019年)和功率谱密度估计(Pfurtscheller和Lopes da Silva,1999年),这些方法旨在捕捉EEG信号的多尺度时间和频谱特征。此外,基于黎曼几何的方法将EEG协方差矩阵映射到对称正定(SPD)流形上进行分类,并显示出对噪声的显著鲁棒性(Barachant等人,2012年)。然而,这些方法依赖于传统的分类器,如支持向量机(SVM)和线性判别分析(LDA)(Lotte等人,2018年),其中特征提取和分类器训练是分开进行的,没有端到端的联合优化。此外,CSP及其变体对协方差矩阵估计的质量敏感:在小样本条件下,协方差估计变得不可靠,降低了结果空间滤波器的质量并限制了泛化能力(Schirrmeister等人,2017a)。

深度学习为克服这些瓶颈提供了一条途径。卷积神经网络(CNNs)可以端到端地自动从原始信号中学习层次化的时空特征(Lawhern等人,2018年)。早期的CNN方法,如DeepConvNet和ShallowConvNet(Schirrmeister等人,2017a),取得了有希望的结果;后者通过时间和空间卷积层模仿了FBCSP的带通和空间滤波流程。然而,这些网络包含许多参数,并且倾向于在小规模EEG数据集上过拟合。Lawhern等人(2018年)提出的EEGNet使用深度可分离卷积大大减少了参数数量,由于其紧凑的设计和强大的泛化能力,已成为该领域最广泛采用的基线之一。尽管有这些进展,纯数据驱动的网络并没有利用MI背后的神经生理先验。运动想象在μ/β频带(8-30 Hz)中在对侧感觉运动皮层产生明显的ERD/ERS变化,头皮级别的空间能量分布在左手和右手想象等之间有显著差异——这正是CSP有效的神经生理基础(Pfurtscheller和Lopes da Silva,1999年)。端到端网络必须从零开始学习这些模式,当训练样本有限时这很困难。为了解决这个问题,研究人员开始将传统算法嵌入网络架构中:CSP-Net(Jiang等人,2024年)用CSP滤波器初始化空间卷积权重,使网络从有效的空间滤波开始;FBCNet(Mane等人,2021年)采用FBCSP的多子带分解策略,并通过滤波器组和方差层提取频谱空间特征;Graph-CSPNet(Ju和Guan,2023年)在时频域的SPD流形上构建图结构,并使用黎曼几何来捕捉EEG信号中的全局几何关系。

在深度学习框架中,通常使用注意力机制来允许网络对不同特征赋予不同的重要性。Hu等人(2018年)提出的挤压-激发(SE)模块最初是为图像分类设计的,它通过全局池化为每个通道分配权重。(Woo等人,2018年)在通道注意力的基础上增加了空间注意力维度。这种类型的框架已被用于基于EEG的运动想象分类。(Altuwaijri等人,2022年)将SE块嵌入到多分支EENet中,并在BCI Competition IV 2a数据集上证明了其有效性。(Altaheri等人,2022年)提出了ATCNet,它结合了多头自注意力和时间卷积网络来从MI-EEG信号中提取特征。同时,越来越多的研究探索了基于注意力的MI解码设计,包括针对EEG信号特性的多维注意力模块(Miao等人,2023年)以及使用通道注意力进行自动电极选择(Tong等人,2023年)、轻量级空间-频谱注意力进行联合电极建模(Han等人,2025年),以及MI解码中通道注意力机制的系统比较框架(Wimpff等人,2024年)。这些基于注意力的方法改进了特征提取,但它们的质量仍然受到下面讨论的两个问题的限制。首先,跨多个类别的判别信息缺乏统一的表示。CSP本质上是一种二元方法,其多类扩展依赖于一对一分解,其中每个子问题在独立的特征空间中训练自己的空间滤波器和分类器。由于不同子问题的判别响应没有共同的参考框架,因此难以利用类别特定响应之间的相对关系。混合方法如CSP-Net和FBCNet通过端到端训练改进了现有方法,但它们没有明确构建包含所有类别空间判别响应的表示。其次,标准的FBCSP流程在空间滤波后计算对数方差,将整个时间序列简化为一个数字。这仅保留了总能量,而忽略了能量随时间变化的所有信息。然而,不同MI类别引发的ERD/ERS在起始潜伏期、发展速率和持续时间上有所不同(Pfurtscheller和Lopes da Silva,1999年;Neuper等人,2006年);这些时间差异本身对分类是有信息的,但它们被对数方差计算完全抹去了。深度学习方法可以捕捉这种时间动态,但当直接应用于原始EEG时,网络必须同时从有限的数据中学习空间滤波和时间特征提取,而CSP已经提供了一个数学优化的判别性空间投影,却没有被利用。

为了解决这两个问题,本文提出了多类融合注意力网络(MCFANet)。本工作的主要贡献总结如下:

MCFANet是一种用于多类运动想象分类的融合注意力网络。该方法将所有类别的CSP滤波输出在输入端连接到一个虚拟通道中,使网络能够同时在共同的特征空间中处理所有类别的判别响应,而不是独立解决每个二元子问题。CSP投影后的完整时间序列被保留,而不是像标准FBCSP流程那样压缩成对数方差标量。这允许后续的卷积层直接从空间滤波信号中学习类别间的时间差异。引入了通道注意力模块来自适应地加权卷积主干产生的特征图。由于不同的特征图对分类的贡献不同,该模块学习重要性权重,引导网络关注最具判别性的表示。该方法在两个具有不同通道数量和样本大小的公共数据集上进行了评估。使用配对t检验和效应量分析来评估统计显著性,并提供了包括混淆矩阵和特征可视化在内的额外分析来详细检查该方法。

本文的其余部分组织如下。第2节描述了数据集、预处理和所提出方法的详细架构。第3节报告了分类结果和与基线方法的比较。第4节讨论了关键组件的作用。最后,第5节总结了本文。

2 方法论
2.1 数据集描述
在这项工作中,分类性能在两个公共数据集上进行了评估,每个数据集涉及四个运动想象任务。它们分别称为数据集2a和数据集HGD。在每个数据集中,所有比较的方法都在相同的预处理条件下进行了训练和评估。

第一个数据集是BCI Competition IV数据集2a(Tangermann等人,2012年),由格拉茨工业大学提供。该数据集包含9名受试者的EEG数据。四个运动想象任务分别是左手、右手、双脚和舌头。共记录了25个通道,其中22个是EEG通道,3个是EOG通道。每个受试者在不同的日子完成了两次会话,每次会话288次试验(每个类别72次试验)。在每次试验开始时,会显示一个注视十字和一声听觉警告音。2秒后,一个方向提示指示所需的运动想象任务。受试者执行想象,直到6秒后注视十字消失。EOG通道被排除在分类之外,没有应用额外的试验拒绝,因为该数据集在其原始形式中已在先前的研究中广泛使用(Brunner等人,2008年;Mane等人,2021年)。信号以250 Hz的采样率采样,并在0.5 Hz到100 Hz之间进行带通滤波。对于每次试验,从任务提示开始提取0-4秒的时间窗口。

高伽马数据集(HGD)(Schirrmeister等人,2017b)包含14名受试者的EEG数据。四个任务分别是左手、右手、双脚和休息。数据来自128个电极,采样率为500 Hz。同样,每次试验提取0-4秒的时间窗口。包含伪迹的试验根据幅度阈值被拒绝。只保留了覆盖FC、C和CP区域及其周围高密度电极的44个通道。然后将数据下采样到250 Hz。尽管该数据集提供了官方的训练集和测试集划分,但实验中仅使用官方的训练集,该训练集进一步使用固定的随机种子分为训练子集和测试子集。每个受试者大约有880次试验。

2.2 多类融合注意力网络
多类融合注意力网络(MCFANet)结合了FBCSP的多带空间滤波流程和EEGNet的时间特征提取能力,并通过多类滤波器融合和通道注意力进行了扩展。该方法包括四个步骤:(1)多带分解和空间滤波,(2)多类空间滤波器融合,(3)时空特征提取,(4)通道注意力和分类。整体框架如图1所示。网络的详细分层规范在表1中提供。图1展示了MCFANet的总体框架。原始脑电图(EEG)信号通过滤波器组分解为多个子带,在每个子带内计算CSP空间滤波器。从每对类别子带中选择顶部m个和底部m个CSP成分,然后将所有类别和子带的输出沿通道维度连接起来形成一个虚拟通道。这些虚拟通道被输入到修改后的EEGNet中,经过块1(时间卷积+深度空间卷积)、块2(可分离卷积)和通道注意力模块进行特征提取。最终的分类由全连接层完成,将信号分为不同的运动想象类别。

表1 层次 输出大小 参数 输入层
[B, 1, D, T] BatchNorm2d
[B, 1, D, T] ZeroPad2d
[B, 1, D, T+63] (32, 31, 0, 0)
Conv2d[B, 16, D, T] (1, 64) BatchNorm2d
[B, 16, D, T]
Conv2d[B, 32, 1, T] (D, 1), 分组 BatchNorm2d
[B, 32, 1, T] ELU[B, 32, 1, T]
AvgPool2d[B, 32, 1, T//4] (1, 4) Dropout[B, 32, 1, T//4]
0.5 ZeroPad2d[B, 32, 1, T//4+1] (7, 8, 0, 0)
Conv2d[B, 32, 1, T//4] (1, 16), 分组
Conv2d[B, 32, 1, T//4] (1, 1) BatchNorm2d[B, 32, 1, T//4]
ELU[B, 32, 1, T//4] AvgPool2d[B, 32, 1, T//32] (1, 8) Dropout[B, 32, 1, T//32]
0.5 Global AvgPool[B, 32] Global MaxPool[B, 32]
Concatenate[B, 64] FC → ReLU[B, 32]
FC → ReLU[B, 16] FC → Sigmoid[B, 32]
Channel-wise Multiply[B, 32, 1, T//32] Flatten[B, 32 × T//32]
FC → BN → ReLU → Dropout[B, 128] p = 0.5
FC[B, K]

MCFANet的模型结构。D = K×F×2m表示虚拟通道的数量。

2.2.1 多带分解和空间滤波
运动想象主要在μ(8–12 Hz)和β(12–30 Hz)频带诱导ERD/ERS模式,但这些频带的区分能力因受试者而异(Ang等人,2008年)。为了避免手动选择频带,原始EEG信号被分解为F = 6个子带,使用带宽为4 Hz的带通滤波器,覆盖8–12 Hz、12–16 Hz、…、28–32 Hz。对于每次试验Xn∈RC×T,子带f中的滤波信号表示为X(f)n∈RC×T,其中C是通道数,T是时间样本数。这种滤波器配置,带宽为4 Hz,覆盖8-32Hz,与先前的研究(Ang等人,2008年;Mane等人,2021年)一致,并针对ERD/ERS最明显的μ和β频带(Pfurtscheller和Lopes da Silva,1999年)。

在每个子带内,应用Common Spatial Pattern(CSP)算法来提取区分性空间特征。给定零均值信号和类别i与类别j的二分划分,CSP寻找一个空间滤波器w∈?C×1,以最大化方差比:J(w)=wTΣiwwTΣjw(1),其中Σi=1Ni∑Nin=1X(f)nX(f)TnΣi=1Ni∑n=1NiXn(f)T是从子带f中的Ni次试验计算出的平均空间协方差矩阵。这被解决为一个广义特征值问题:Σiw=λΣjw(2)。较大的λ意味着滤波器在类别i下产生高方差,在类别j下产生低方差;较小的λ则相反。对应于m个最大和m个最小特征值的特征向量被连接成投影矩阵W∈?C×2m。

由于CSP是为两个类别定义的,我们通过训练K个独立的二分类问题将其扩展到K类设置。对于每个类别k(k = 1, …, K),计算类别k的协方差矩阵和所有其他类别的合并协方差矩阵,并在每个子带中解决广义特征值问题。这样就为每对类别子带产生了一个投影矩阵W(f)k∈RC×2m。

2.2.2 多类空间滤波器融合
在2.2.1节中,每个类别-子带对都获得了一个单独的投影矩阵W(f)k。我们将所有K个投影应用于每次试验,并将结果连接成一个表示。对于子带f中的类别k,将W(f)kWk(f)应用于试验X(f)n,得到:Z(f)n,k=W(f)?kX(f)n∈R2m×T(3)。与FBCSP中计算对数方差不同,我们保留了完整的时间序列,以便后续网络可以学习信号能量随时间的变化。所有类别和子带的滤波信号沿通道维度连接起来:Vn=Concat(Z(1)n,1,…,Z(F)n,1,Z(1)n,2,…,Z(F)n,K)∈RD×T(4),其中D = K×F×2m是虚拟通道的总数。通道按类别-子带-成分的顺序排列:前2m个通道对应于子带1中的类别1,接下来的2m个通道对应于子带2中的类别1,依此类推。这种布局将具有相同类别和频率带的通道放在一起,有助于后续的深度卷积捕捉每个组内的局部模式。在输入网络之前,虚拟通道表示通过批量归一化层来标准化输入分布,减少受试者和频率带之间的幅度差异。

由于CSP是为两个类别定义的,当来自类别k的试验通过类别k的空间滤波器投影时,顶部m个成分倾向于产生高方差,而底部m个成分倾向于产生低方差;当同一试验通过其他类别的滤波器投影时,这种模式会发生变化。所有虚拟通道上的方差分布为多类分类提供了基础。

2.2.3 空间-时间特征提取
融合后的表示Vn∈RD×TVn∈?D×T被传递到一个基于EEGNet架构的特征提取网络(Lawhern等人,2018年)。主干网络包括两个卷积块;详细结构如图2所示。

图2 特征提取网络中块1和块2的详细架构。块1首先沿时间维度应用核长度为64样本的时间卷积,产生F1 = 16个时间特征图。经过批量归一化后,沿通道维度进行深度卷积,每个时间特征图独立学习D个虚拟通道之间的组合,特征图数量翻倍至2F1 = 32。接着是批量归一化、ELU激活、平均池化(步长4)和dropout。

块2应用可分离卷积进一步提取时间特征:首先沿时间维度进行深度卷积,然后点卷积将特征图数量调整为F2 = 32。接着是批量归一化、ELU激活、平均池化(步长8)和dropout。注意,原始EEGNet中的深度卷积是在物理电极上学习空间滤波器,而这里的深度卷积是在Vn的D个虚拟通道上进行的。因为相邻通道具有相同的类别和子带(2.2.2节),所以深度卷积捕捉了每个类别-子带组内的能量对比。

2.2.4 通道注意力和分类
块2产生F2个特征图,但输入的虚拟通道包含所有K类的CSP投影。对于属于类别k的试验,通过类别k的滤波器的投影预计会产生强烈的响应,而通过其他类别滤波器的投影可能携带较少的相关或冗余信息。因此,并非所有特征图都对分类有相同的贡献。为了解决这个问题,我们在块2之后添加了一个通道注意力模块,该模块受到CBAM(Woo等人,2018年)中通道注意力机制的启发,根据特征图对分类任务的相关性自适应地重新加权。其结构如图3所示。

图3 通道注意力模块和分类器的详细架构。该模块通过全局平均池化和全局最大池化压缩每个特征图的空间信息,并将两组统计信息连接起来。连接后的向量通过全连接网络,首先将两个池化统计信息融合回通道维度,然后通过瓶颈结构学习通道间的依赖性,最后通过Sigmoid函数输出门值,以逐通道重新缩放特征图。加权后的特征图被展平并输入到由全连接层、批量归一化和dropout组成的分类器中,将特征映射到K个类别。整个网络通过最小化交叉熵损失进行端到端训练:L=?1NN∑n=1K∑k=1yn,klog(?n,k)(5)。

3 结果分析
3.1 参数设置
本研究中的分类任务是一个多类问题,涉及每个数据集中的所有运动想象类别。使用五折交叉验证将数据分为训练集和测试集,分类准确率的均值和标准差作为评估指标。所有数据依赖的操作,包括带通滤波、CSP空间滤波器计算和网络训练,仅在每个折叠的训练数据上执行,以避免数据泄露。CSP滤波器使用一对一策略在每个折叠的训练数据上为每个运动想象类别计算,并将得到的空间滤波器应用于相应折叠的训练集和测试集。此外,使用配对样本t检验比较不同方法,并计算Cohen's d来衡量效应大小。

EEGNet、TTSNet、FBEEGNet和MCFANet使用相同的设置进行训练:学习率为0.001,批量大小为32,Adam优化器,以及交叉熵损失。所有超参数在受试者和折叠之间保持不变,以避免乐观偏差。

对于单个受试者,报告的±表示五个交叉验证折叠的标准差。对于受试者平均值,±表示受试者之间的标准差。

3.2 对比方法
除了CSP(Ramoser等人,2000年)、FBCSP(Ang等人,2008年)和EEGNet(Lawhern等人,2018年)这些成熟的基线方法外,我们还包括以下方法进行比较:
STRCA 标准的任务相关成分分析方法(Jia等人,2023年)应用TRCA空间滤波器从EEG信号中去除与任务无关的成分,并通过计算过滤信号与类别特定模板之间的相关系数来对试验进行分类。
TTSNet 两阶段训练的时间-频谱网络(Jia等人,2024年)在STRCA的基础上,用EEGNet替换基于相关性的时间解码,并连接多个滤波器的特征进行分类。
FBEEGNet 该方法使用与MCFANet相同的滤波器组分解和CSP空间滤波,但只应用一组CSP滤波器来投影所有试验,而不合并来自多个类别的CSP输出。过滤后的时间序列被输入到EEGNet进行分类。它作为一个消融基线,用于评估多类融合策略的贡献。

3.3 超参数调整
空间滤波器对的数量m是一个关键超参数,需要通过网格搜索在m∈{1, 2, 3, 4, 5}中确定。对于每个候选值m,执行整个流程,并选择产生最高平均交叉验证准确率的值。这个过程对每个数据集独立进行,以考虑通道数量和样本大小的差异。m的搜索范围受到数据空间维度的限制:由于CSP从C×C协方差矩阵中选择顶部m个和底部m个特征向量,m的上限是C/2,但特征值从两个极端迅速衰减,中间成分携带的信息较少。在先前的工作中(Ang等人,2008年),对于22通道的数据集使用m = 2,对于3通道的数据集使用m = 1,这证实了较小的m值通常是足够的。因此,我们搜索m∈{1, 2, 3, 4, 5},这涵盖了文献中报告的经验有效范围。

增加m有两个相互竞争的效果:额外的滤波器对可以捕捉互补的空间模式,但排名较低的特征向量携带的区分信息较弱,且更容易受到估计噪声的影响,特别是在训练样本相对于通道数量较少时。在数据集2a上,如图4所示,该数据集只有22个通道和每个类别72次试验,协方差估计不太可靠,空间维度有限,因此冗余成分的噪声很快抵消了任何好处。MCFANet在m = 1时达到最佳准确率67.94%,然后在m = 5时稳步下降到61.69%。FBCSP和FBEEGNet分别在m = 3时达到峰值(57.70%和63.98%),之后下降。

图4 FBCSP、FBEEGNet和MCFANet在BCI竞赛IV数据集2a上的平均分类准确率作为空间滤波器对数量(m)的函数。误差条表示受试者之间的标准差。

在HGD(图5)中,该数据集有44个通道和每个类别大约220次试验,更可靠的协方差估计和更丰富的空间信息允许额外的滤波器对贡献有用的模式,直到噪声开始占主导。FBCSP的准确率从m = 1的66.75%稳步上升到m = 5的77.01%,FBEEGNet在m = 4时达到84.64%的峰值,MCFANet在m = 3时达到87.10%的峰值,然后在m = 5时下降到82.80%。这些结果表明,最佳参数m取决于空间维度和样本大小之间的相互作用,应使用上述交叉验证程序为每个数据集确定。还值得注意的是,对于给定的m值,由于多类融合,MCFANet产生的虚拟通道数量是FBEEGNet的K倍,这解释了为什么MCFANNet在数据集2a上达到最佳准确率所需的m值比其他两种方法更小。图5显示了FBCSP、FBEEGNet和MCFANNet在高伽马数据集上的平均分类准确率与空间滤波器对数量(m)的关系。误差条表示受试者之间的标准差。

3.3.1 维度匹配比较
为了验证MCFANet的性能提升不仅仅是由于输入维度的增加,我们通过相应调整m值来匹配两种方法的虚拟通道大小D。如表2所示,MCFANNet在数据集2a的所有三个维度水平上都优于FBEEGNet,在HGD上,当D=96和D=144时也是如此。FBEEGNet在数据集2a上D=144时的条目不可用,因为所需的CSP组件(2m=24)超过了EEG通道的数量(C=22)。

表2
DFBEEGNet MCFANet
m 准确率(%) m 准确率(%)
BCI竞赛IV数据集2a 48 46 1.88 ± 15.60 167.94 ± 13.70
96 86 2.99 ± 16.01 126.73 ± 16.34
144 12 — 367.05 ± 11.87

高伽马数据集 48 48 4.64 ± 11.03 184.61 ± 11.06
96 88 4.06 ± 11.55 284.91 ± 9.86
144 12 83.96 ± 11.52 387.10 ± 10.09

FBEEGNet和MCFANet之间的维度匹配准确率比较。准确率以受试者平均值±标准差(%)报告。粗体值表示最佳性能。

3.4 分类性能
在以下比较中,每种方法都使用在第3.3节中通过网格搜索程序确定的在相应数据集上获得最高交叉验证准确率的m值。具体来说,在数据集2a上,MCFANet使用m=1,FBEEGNet和FBCSP使用m=3;在HGD上,MCFANet使用m=3,FBEEGNet使用m=4,FBCSP使用m=5。所有后续结果都采用相同的设置。

在本节中,将六种方法与提出的MCFANet方法进行比较,包括CSP、FBCSP、STRCA、TTSNet、EEGNet和FBEEGNet。图6显示了七种方法在BCI竞赛IV数据集2a上每个受试者的分类准确率,以及平均准确率和标准差。

图6
BCI竞赛IV数据集2a上MCFANet与其他方法的四类分类性能比较。最右边的组(Ave)表示所有九个受试者的平均准确率和标准差。误差条表示单个受试者的五个折叠的标准差,以及平均值的受试者标准差。

在这个数据集上,MCFANet的平均准确率为67.94%,标准差为13.70%,优于FBEEGNet(63.98% ± 14.43%)和EEGNet(58.79% ± 16.78%)。传统的机器学习方法的表现都比MCFANNet差,其中STRCA的准确率最低,仅为32.25% ± 4.04%。尽管TTSNet是一种深度学习方法,但在运动想象分类上的表现也很差(45.28% ± 11.04%),仅略优于STRCA。

根据受试者之间的性能变化,MCFANet显示出良好的泛化能力和稳定性。在9个受试者中,MCFAN在8个受试者(S01、S02、S03、S04、S05、S06、S08、S09)中取得了最高的准确率。对于三个表现最差的受试者(S04–S06),MCFANet的准确率仍比第二好的方法高出2-10个百分点。

表3总结了MCFANet在包含14个受试者的HGD数据集上的所有方法的分类性能。MCFANet以平均准确率87.10% ± 10.09排名第一,比FBEEGNet(84.64% ± 11.03)高出2.46个百分点。深度学习方法总体上表现优于传统方法,其中EEGNet表现良好(83.31%),而STRCA在这个数据集上几乎失败(33.41%)。在受试者层面,MCFAN在14个受试者中的13个上表现最佳。对于所有方法都表现良好的受试者(S03、S04、S12、S14),MCFANet进一步将准确率提高到96%-98%,其中S14的准确率最高,达到98.64%。对于表现较差的受试者(例如S09、S11),MCFANet仍然具有相对优势:在S09上,准确率为61.93%,高于EEGNet(60.91%)和FBEEGNet(58.18%);在S11上,准确率为72.73%,略高于EEGNet(71.93%)。FBEEGNet仅在S13上超过MCFANet(86.50% vs 85.12%),表明MCFAN在大多数受试者中保持了稳定的优势。

表3
受试者 CSP FBCSP STRCA EEGNet TTSNet FBEEGNet MCFANet
S01 66.46 ± 4.66 72.73 ± 3.17 26.96 ± 2.35 69.29 ± 2.78 66.45 ± 3.31 76.19 ± 5.12 80.26 ± 6.19
S02 61.03 ± 4.02 71.40 ± 2.61 39.09 ± 2.55 86.68 ± 2.62 75.95 ± 2.13 82.11 ± 3.17 88.04 ± 4.38
S03 74.09 ± 7.87 89.89 ± 2.01 33.86 ± 2.89 95.57 ± 0.98 93.52 ± 1.37 94.89 ± 1.87 97.39 ± 0.92
S04 76.65 ± 4.94 89.50 ± 0.96 34.86 ± 3.61 95.75 ± 1.15 92.96 ± 1.60 96.09 ± 1.00 96.98 ± 1.35
S05 59.24 ± 3.86 78.72 ± 3.04 31.58 ± 3.39 83.45 ± 3.54 73.71 ± 2.37 89.01 ± 2.92 90.54 ± 0.71
S06 58.72 ± 5.28 75.34 ± 1.18 29.25 ± 2.74 78.21 ± 4.17 73.63 ± 2.39 75.23 ± 2.52 80.40 ± 4.60
S07 60.48 ± 2.14 65.63 ± 2.29 31.50 ± 1.92 80.48 ± 1.76 71.86 ± 2.76 85.39 ± 3.31 86.83 ± 2.45
S08 75.99 ± 3.65 85.48 ± 2.19 37.31 ± 1.23 82.58 ± 4.77 73.09 ± 2.41 87.46 ± 3.43 91.44 ± 1.47
S09 46.59 ± 6.65 50.00 ± 4.71 29.77 ± 2.23 60.91 ± 4.29 49.09 ± 1.71 58.18 ± 5.87 61.93 ± 3.39

在这个数据集上,MCFANet的平均准确率为67.94%,标准差为13.70%,优于FBEEGNet(63.98% ± 14.43%)和EEGNet(58.79% ± 16.78%)。传统机器学习方法的表现都比MCFANNet差,其中STRCA的准确率最低,仅为32.25% ± 4.04%。尽管TTSNet是一种深度学习方法,但在运动想象分类上的表现也很差(45.28% ± 11.04%,仅略优于STRCA)。

根据受试者之间的性能变化,MCFANet显示出良好的泛化能力和稳定性。在9个受试者中,MCFAN在8个受试者(S01、S02、S03、S04、S05、S06、S08、S09)中取得了最高的准确率。对于三个表现最差的受试者(S04–S06),MCFANet的准确率仍比第二好的方法高出2–10个百分点。

表3总结了MCFANet在包含14个受试者的HGD数据集上的所有方法的分类性能。MCFANet以平均准确率87.10% ± 10.09排名第一,比FBEEGNet(84.64% ± 11.03)高出2.46个百分点。深度学习方法总体上表现优于传统方法,其中EEGNet表现良好(83.31%),而STRCA在这个数据集上几乎失败(33.41%)。在受试者层面,MCFAN在14个受试者中的13个上表现最佳。对于所有方法都表现良好的受试者(S03、S04、S12、S14),MCFANet进一步将准确率提高到96%-98%,其中S14的准确率最高,达到98.64%。对于表现较差的受试者(例如S09、S11),MCFAN仍具有相对优势:在S09上,准确率为61.93%,高于EEGNet(60.91%)和FBEEGNet(58.18%);在S11上,准确率为72.73%,略高于EEGNet(71.93%)。FBEEGNet仅在S13上超过MCFANet(86.50% vs 85.12%),表明MCFAN在大多数受试者中保持了稳定的优势。

表3
受试者 CSP FBCSP STRCA EEGNet TTSNet FBEEGNet MCFANet
S01 66.46 ± 4.66 72.73 ± 3.17 26.96 ± 2.35 69.29 ± 2.78 66.45 ± 3.31 76.19 ± 5.12 80.26 ± 6.19
S02 61.03 ± 4.02 71.40 ± 2.61 39.09 ± 2.55 86.68 ± 2.62 75.95 ± 2.13 82.11 ± 3.17 88.04 ± 4.38
S03 74.09 ± 7.87 89.89 ± 2.01 33.86 ± 2.89 95.57 ± 0.98 93.52 ± 1.37 94.89 ± 1.87 97.39 ± 0.92
S04 76.65 ± 4.94 89.50 ± 0.96 34.86 ± 3.61 95.75 ± 1.15 92.96 ± 1.60 96.09 ± 1.00 96.98 ± 1.35
S05 59.24 ± 3.86 78.72 ± 3.04 31.58 ± 3.39 83.45 ± 3.54 73.71 ± 2.37 89.01 ± 2.92 90.54 ± 0.71
S06 58.72 ± 5.28 75.34 ± 1.18 29.25 ± 2.74 78.21 ± 4.17 73.63 ± 2.39 75.23 ± 2.52 80.40 ± 4.60
S07 60.48 ± 2.14 65.63 ± 2.29 31.50 ± 1.92 80.48 ± 1.76 71.86 ± 2.76 85.39 ± 3.31 86.83 ± 2.45
S08 75.99 ± 3.65 85.48 ± 2.19 37.31 ± 1.23 82.58 ± 4.77 73.09 ± 2.41 87.46 ± 3.43 91.44 ± 1.47
S09 46.59 ± 6.65 50.00 ± 4.71 29.77 ± 2.23 60.91 ± 4.29 49.09 ± 1.71 58.18 ± 5.87 61.93 ± 3.39

在这个数据集上,MCFAN的平均准确率为67.94%,标准差为13.70%,优于FBEEGNet(63.98% ± 14.43%)和EEGNet(58.79% ± 16.78%)。传统机器学习方法的表现都比MCFAN差,其中STRCA的准确率最低,仅为32.25% ± 4.04%。尽管TTSNet是一种深度学习方法,但在运动想象分类上的表现也很差(45.28% ± 11.04%,仅略优于STRCA)。

根据受试者之间的性能变化,MCFAN显示出良好的泛化能力和稳定性。在9个受试者中,MCFAN在8个受试者(S01、S02、S03、S04、S05、S06、S08、S09)中取得了最高的准确率。对于三个表现最差的受试者(S04–S06),MCFAN的准确率仍比第二好的方法高出2–10个百分点。

表3总结了MCFANet在包含14个受试者的HGD数据集上的所有方法的分类性能。MCFAN以平均准确率87.10% ± 10.09排名第一,比FBEEGNet(84.64% ± 11.03)高出2.46个百分点。深度学习方法总体上表现优于传统方法,其中EEGNet表现良好(83.31%),而STRCA在这个数据集上几乎失败(33.41%)。在受试者层面,MCFAN在14个受试者中的13个上表现最佳。对于所有方法都表现良好的受试者(S03、S04、S12、S14),MCFAN将准确率进一步提高到96%-98%,其中S14的准确率最高,达到98.64%。对于表现较差的受试者(例如S09、S11),MCFAN仍具有相对优势:在S09上,准确率为61.93%,高于EEGNet(60.91%)和FBEEGNet(58.18%);在S11上,准确率为72.73%,略高于EEGNet(71.93%)。FBEEGNet仅在S13上超过MCFAN(86.50% vs 85.12%),表明MCFAN在大多数受试者中保持了稳定的优势。

表3
受试者 CSP FBCSP STRCA EEGNet TTSNet FBEEGNet MCFANet
S01 66.46 ± 4.66 72.73 ± 3.17 26.96 ± 2.35 69.29 ± 2.78 66.45 ± 3.31 76.19 ± 5.12 80.26 ± 6.19
S02 61.03 ± 4.02 71.40 ± 2.61 39.09 ± 2.55 86.68 ± 2.62 75.95 ± 2.13 82.11 ± 3.17 88.04 ± 4.38
S03 74.09 ± 7.87 89.89 ± 2.01 33.86 ± 2.89 95.57 ± 0.98 93.52 ± 1.37 94.89 ± 1.87 97.39 ± 0.92
S04 76.65 ± 4.94 89.50 ± 0.96 34.86 ± 3.61 95.75 ± 1.15 92.96 ± 1.60 96.09 ± 1.00 96.98 ± 1.35
S05 59.24 ± 3.86 78.72 ± 3.04 31.58 ± 3.39 83.45 ± 3.54 73.71 ± 2.37 89.01 ± 2.92 90.54 ± 0.71
S06 58.72 ± 5.28 75.34 ± 1.18 29.25 ± 2.74 78.21 ± 4.17 73.63 ± 2.39 75.23 ± 2.52 80.40 ± 4.60
S07 60.48 ± 2.14 65.63 ± 2.29 31.50 ± 1.92 80.48 ± 1.76 71.86 ± 2.76 85.39 ± 3.31 86.83 ± 2.45
S08 75.99 ± 3.65 85.48 ± 2.19 37.31 ± 1.23 82.58 ± 4.77 73.09 ± 2.41 87.46 ± 3.43 91.44 ± 1.47
S09 46.59 ± 6.65 50.00 ± 4.71 29.77 ± 2.23 60.91 ± 4.29 49.09 ± 1.71 58.18 ± 5.87 61.93 ± 3.39

在这个数据集上,MCFAN的平均准确率为67.94%,标准差为13.70%,优于FBEEGNet(63.98% ± 14.43%)和EEGNet(58.79% ± 16.78%)。传统机器学习方法的表现都比MCFAN差,其中STRCA的准确率最低,仅为32.25% ± 4.04%。尽管TTSNet是一种深度学习方法,但在运动想象分类上的表现也很差(45.28% ± 11.04%,仅略优于STRCA)。

根据受试者之间的性能变化,MCFAN显示出良好的泛化能力和稳定性。在9个受试者中,MCFAN在8个受试者(S01、S02、S03、S04、S05、S06、S08、S09)中取得了最高的准确率。对于三个表现最差的受试者(S04–S06),MCFAN的准确率仍比第二好的方法高出2–10个百分点。

表3总结了MCFAN在包含14个受试者的HGD数据集上的所有方法的分类性能。MCFAN以平均准确率87.10% ± 10.09排名第一,比FBEEGNet(84.64% ± 11.03)高出2.46个百分点。深度学习方法总体上表现优于传统方法,其中EEGNet表现良好(83.31%),而STRCA在这个数据集上几乎失败(33.41%)。在受试者层面,MCFAN在14个受试者中的13个上表现最佳。对于所有方法都表现良好的受试者(S03、S04、S12、S14),MCFAN将准确率进一步提高到96%-98%,其中S14的准确率最高,达到98.64%。对于表现较差的受试者(例如S09、S11),MCFAN仍具有相对优势:在S09上,准确率为61.93%,高于EEGNet(60.91%)和FBEEGNet(58.18%);在S11上,准确率为72.73%,略高于EEGNet(71.93%)。FBEEGNet仅在S13上超过MCFAN(86.50% vs 85.12%),表明MCFAN在大多数受试者中保持了稳定的优势。

表3
受试者 CSP FBCSP STRCA EEGNet TTSNet FBEEGNet MCFANet
S01 66.46 ± 4.66 72.73 ± 3.17 26.96 ± 2.35 69.29 ± 2.78 66.45 ± 3.31 76.19 ± 5.12 80.26 ± 6.19
S02 61.03 ± 4.02 71.40 ± 2.61 39.09 ± 2.55 86.68 ± 2.62 75.95 ± 2.13 82.11 ± 3.17 88.04 ± 4.38
S03 74.09 ± 7.87 89.89 ± 2.01 33.86 ± 2.89 95.57 ± 0.98 93.52 ± 1.37 94.89 ± 1.87 97.39 ± 0.92
S04 76.65 ± 4.94 89.50 ± 0.96 34.86 ± 3.61 95.75 ± 1.15 92.96 ± 1.60 96.09 ± 1.00 96.98 ± 1.35
S05 59.24 ± 3.86 78.72 ± 3.04 31.58 ± 3.39 83.45 ± 3.54 73.71 ± 2.37 89.01 ± 2.92 90.54 ± 0.71
S06 58.72 ± 5.28 75.34 ± 1.18 29.25 ± 2.74 78.21 ± 4.17 73.63 ± 2.39 75.23 ± 2.52 80.40 ± 4.60
S07 60.48 ± 2.14 65.63 ± 2.29 31.50 ± 1.92 80.48 ± 1.76 71.86 ± 2.76 85.39 ± 3.31 86.83 ± 2.45
S08 75.99 ± 3.65 85.48 ± 2.19 37.31 ± 1.23 82.58 ± 4.77 73.09 ± 2.41 87.46 ± 3.43 91.44 ± 1.47
S09 46.59 ± 6.65 50.00 ± 4.71 29.77 ± 2.23 60.91 ± 4.29 49.09 ± 1.71 58.18 ± 5.87 61.93 ± 3.39

在这个数据集上,MCFAN的平均准确率为67.94%,标准差为13.70%,优于FBEEGNet(63.98% ± 14.43%)和EEGNet(58.79% ± 16.78%)。传统机器学习方法的表现都比MCFAN差,其中STRCA的准确率最低,仅为32.25% ± 4.04%。尽管TTSNet是一种深度学习方法,但在运动想象分类上的表现也很差(45.28% ± 11.04%,仅略优于STRCA)。

为了进一步测试MCFAN相对于基线方法的性能提升是否具有统计学意义,我们使用了配对样本t检验来分析方法之间的准确率差异,并计算了Cohen's d来衡量差异的实际大小。如表4a所示,MCFAN与所有比较方法都有显著差异(p < 0.05),所有效应量都达到了较大水平(|d|≥0.8)。在数据集2a上,与FBEEGNet的比较效应量最小(d = 0.82),而在HGD上,所有比较的p值都小于0.001,较大的样本量提供了更大的统计功效。表4b展示了HGD数据集上的配对样本t检验和Cohen's d效应量结果。MCFAN与所有比较方法都有显著差异(p < 0.05),所有效应量都达到了较大效应水平(|d|≥0.8)。具体来说,与传统的空间滤波方法CSP和FBCSP相比,差异非常显著(p < 0.001),效应量分别为3.67和2.29,表明MCFAN在特征提取方面具有明显优势。与STRCA相比,MCFAN也显示出显著差异(p < 0.001,d = 5.19),这进一步证实了STRCA在运动想象分类上的局限性。

表4
比较 p值 Cohen's d
BCI竞赛IV数据集2a vs. CSP 0.0029 1.4069
vs. FBCSP 0.0163 1.0097
vs. EEGNet 0.0032 1.3808
vs. TTSNet < 0.001 3.9773
vs. FBEEGNet 0.0393 0.8199
vs. STRCA < 0.001 2.6168

B高伽马数据集 vs. CSP < 0.001 3.6652
vs. FBCSP < 0.001 2.2920
vs. EEGNet < 0.001 1.1623
vs. TTSNet < 0.001 1.6992
vs. FBEEGNet < 0.001 1.2106
vs. STRCA < 0.001 5.1873

MCFAN与其他方法的配对t检验p值和Cohen's d效应量。
*p < 0.05,**p < 0.01,***p < 0.001;效应量:|d| < 0.5(小),0.5 ≤ |d| < 0.8(中),|d|≥0.8(大)。

与深度学习方法EEGNet、TTSNet和FBEEGNet相比,MCFAN在所有情况下都达到了统计显著性。与EEGNet的比较p值小于0.001,效应量为1.16;与TTSNet和FBEEGNet的比较p值也小于0.001,效应量分别为1.70和1.21。由于样本量较大(n=14 vs n=9)和通道数更多,p值通常较低,效应量总体上也更大。

表5显示了所有比较方法在数据集2a上的每类F1分数和宏观F1分数。MCFAN获得了最高的宏观F1分数67.72% ± 13.84%,优于FBEEGNet(63.32% ± 14.63)和EEGNet(58.54% ± 16.82),这与图6中的准确率结果一致。在类别层面,MCFAN在右手(66.18%)、脚(68.18%)和舌头(68.23%)上获得了最佳的F1分数,而FBEEGNet在左手(70.20% vs 68.31%)上获得了略高的F1分数。

表5
BCI竞赛IV数据集2a上所有比较方法的每类F1分数和宏观F1分数。
对于平均行(Ave),±表示受试者之间的标准差。粗体值表示最佳性能。

表6显示了HGD数据集上的每类F1分数和宏观F1分数。MCFAN的宏观F1分数为87.16% ± 9.99,高于FBEEGNet(84.69% ± 10.90)和EEGNet(83.29% ± 10.33)。与数据集2a不同,MCFAN在所有四个类别上都获得了最佳的F1分数。休息和脚的F1分数高于两个手类别;左手和右手仍然是最难区分的,尽管如此,MCFAN在两者上仍然领先(82.33%和83.15%)。

表6
BCI竞赛IV数据集2a上所有比较方法的每类F1分数和宏观F1分数。
对于平均行(Ave),±表示受试者之间的标准差。粗体值表示最佳性能。

表6显示了HGD数据集上的每类F1分数和宏观F1分数。MCFAN的宏观F1分数为87.16% ± 9.99,高于FBEEGNet(84.69% ± 10.90)和EEGNet(83.29% ± 10.33)。与数据集2a不同,MCFAN在所有四个类别上都获得了最佳的F1分数。休息和脚的F1分数高于其他方法;左手和右手仍然是最难区分的,尽管如此,MCFAN在两者上仍然领先(82.33%和83.15%)。

表6
BCI竞赛IV数据集2a上所有比较方法的每类F1分数和宏观F1分数。
对于平均行(Ave),±表示受试者之间的标准差。粗体值表示最佳性能。

表7显示了HGD数据集上的每类F1分数和宏观F1分数。MCFAN的宏观F1分数为87.16% ± 9.99,高于FBEEGNet(84.69% ± 10.90)和EEGNet(83.29% ± 10.33)。与数据集2a不同,MCFAN在所有四个类别上都获得了最佳的F1分数。休息状态作为一种非运动状态,与三种运动任务有明显区别,并且准确率最高(93.00%),与其他类别的误分类率均低于4%。脚部的准确率为88.01%,其中大部分错误发生在休息状态(8.75%),这与t-SNE可视化中的重叠情况相符。左手和右手的准确率分别为83.35%和84.82%,它们之间的混淆(15.50%和14.24%)是该数据集的主要错误来源。然而,手部任务很少与脚部或休息状态混淆(均低于2%),表明MCFANet能够有效区分具有不同空间模式的任务。在两个数据集中,左手和右手之间的混淆是主要的错误来源,这反映了左手和右手运动想象之间的内在相似性。HGD数据集的整体准确率更高,错误主要集中在两个手部类别之间。这可能是因为HGD数据集的通道数量更多,为MCFANet提供了更多的空间信息来进行处理。

3.6 T-SNE特征可视化
图8和图9分别展示了MCFANet在BCI Competition IV-2a和HGD数据集上的t-SNE可视化结果,以评估模型在特征分离能力上的改进。对于每个受试者,t-SNE可视化基于分类准确率最接近所有五次折叠平均值的那个折叠。每个数据集选择了三个代表性受试者:准确率最高的、最低的以及最接近整体平均准确率的。

图8:BCI Competition IV数据集2a中三个代表性受试者(S06(最低准确率)、S03(最高准确率)和S07(最接近平均值)的原始特征(上排)和MCFANet学习到的嵌入(下排)的t-SNE可视化。

图9:High Gamma数据集三个代表性受试者(S09(最低准确率)、S14(最高准确率)和S07(最接近平均值)的原始特征(上排)和MCFANet学习到的嵌入(下排)的t-SNE可视化。
原始特征提取方法如下:将8-32 Hz频率范围划分为6个子带(8-12 Hz、12-16 Hz……28-32 Hz)。对于每次试验,使用Welch方法估计每个通道的功率谱密度,并通过数值积分计算每个子带的功率,得到一个C×6维的特征向量(其中C是通道数量)。深度嵌入来自分类器之前的层输出,维度为128。为了比较,将训练集和测试集的嵌入合并并通过t-SNE映射到二维平面上。在图中,训练样本显示为实心圆,测试样本显示为空心三角形,不同类别用不同颜色标记,清晰地展示了模型在训练数据和测试数据中区分特征的能力。

在两个数据集中,原始特征在类别之间有大量重叠,没有明确的边界。经过MCFANet处理后,训练样本形成了紧凑且分离的簇,表明网络学会了具有区分性的表示。测试样本的分离情况取决于分类准确率:对于高准确率的受试者(数据集2a中的S03,84%;HGD中的S14,98%),测试点落在相应的训练簇内;对于中等准确率的受试者(S07,71%;S14,87%),大多数类别仍然可区分,但存在一些重叠;对于低准确率的受试者(S06,44%;S09,62%),测试分布中可见类别间的混淆。

在两个数据集中,左手和右手之间的混淆是主要的错误来源,这反映了它们在皮层表征上的相似性,也与第3.5节中的混淆矩阵分析一致。HGD数据集的整体准确率更高,错误更集中在两个手部类别之间。

3.7 基于梯度的可解释性分析
为了检查网络是否学会了优先考虑特定的频率带或类别特定的空间响应,我们对训练好的MCFANet进行了基于梯度的可解释性分析。对于每次测试试验,我们计算了目标类别logit相对于输入虚拟通道的梯度。每个通道的绝对梯度值在时间维度上取平均值,作为网络分类决策对该通道依赖程度的度量。由于虚拟通道具有已知的结构——每个通道对应一个特定的CSP滤波器类别和频率子带——因此可以按频率子带(从8-12 Hz到28-32 Hz的六个带)和CSP滤波器类别(四个运动想象类别)聚合每个通道的重要性得分,以揭示网络最依赖哪些频谱和空间成分。这项分析是在数据集2a上进行的,使用的是分类准确率最接近每个受试者五次交叉验证平均值的那次折叠,重要性得分在每个受试者内部进行了归一化。

图10展示了基于频率子带和CSP滤波器类别的梯度重要性分析。左图显示,8-12 Hz子带对九个受试者中的七个具有最高重要性,这是预期之中的,因为运动想象信号主要由mu带活动携带。右图显示这种模式在所有四个类别中都存在,并且四个CSP滤波器类别的重要性大致相同,表明网络使用了所有类别的空间信息,而不是依赖于某个特定类别。

4 讨论
现有多类运动想象(MI)解码方法的一个根本限制是缺乏能够同时捕捉类别特定空间区分性响应的统一表示。传统的基于CSP的方法通过一对一与休息状态的分解将二进制CSP扩展到多类设置中,其中每个子问题在单独的特征空间中独立优化。因此,类别条件响应之间的相对关系没有明确建模,通常只在决策层进行整合。MCFANet框架通过构建一个共享的特征空间来解决这一限制,在该空间中,单个试验在所有类别特定空间滤波器下的响应共存,使网络能够联合处理所有类别的响应。这在多类MI场景中尤为重要,因为皮层激活在类别之间部分重叠,当类别独立处理时难以捕捉到微妙的空间对比。

MCFANet的一个关键设计特点是保留了CSP投影后的完整时间序列,而不是像标准FBCSP流程那样将空间过滤后的信号压缩为对数方差特征。尽管对数方差提供了信号能量的紧凑摘要,但它去除了在MI任务中被认为有信息量的时间信息。事件相关去同步和同步(ERD/ERS)模式在类别之间不仅在幅度上不同,而且在起始潜伏期、时间演变和持续时间上也不同。保留CSP投影的时间序列允许后续的卷积层在空间优化的子空间内建模这些动态,有效地将空间区分与时间特征学习解耦,并将特征压缩从固定的统计操作转变为数据驱动的阶段。

多类融合策略还结合了通道注意力机制,通过连接类别和子带特定的CSP输出来解决特征图贡献不均的问题。因为与非目标类别相关的投影可能仍然会对给定试验作出响应,所以并非所有虚拟通道都对分类有相同的贡献。注意力模块根据相关性对特征图进行自适应重新加权,作为一种软选择机制,而不是强制修剪。

STRCA在两个数据集上都达到了接近机会水平的准确率,这可以归因于其核心机制。STRCA应用TRCA空间滤波器来最大化试验间的信号再现性,并通过计算过滤信号与类别特定模板之间的相关系数来进行分类。因此,其有效性依赖于同一类别的试验中存在相位锁定的、时间一致的波形。然而,运动想象中的区分性信息主要存在于mu/beta带的非相位锁定功率调制(ERD/ERS)中,这些成分在试验之间没有相位锁定。因此,TRCA派生的空间滤波器无法从MI信号中提取区分性特征,基于模板的相关性变得无效。

TTSNet通过用EEGNet替代基于相关性的时间解码部分弥补了这一限制,从而提高了其在HGD上的准确率。尽管如此,其空间滤波阶段仍然依赖于TRCA,限制了整体性能。这种对比表明,有效的MI分类空间滤波应最大化类别间方差,而不是试验间再现性,而这正是CSP的优化目标。

FBEEGNet和MCFANet共享相同的滤波器组分解和CSP空间滤波;不同之处在于FBEEGNet仅通过一组CSP滤波器对所有试验进行投影,产生F×2m的虚拟通道维度,而MCFANet则连接了所有K类的CSP输出,将维度扩展到K×F×2m。这种差异分别在数据集2a和HGD上带来了大约4个和2.5个百分点的改进。多类融合的好处不仅仅是输入维度的增加,更重要的是网络可以同时观察同一试验在不同类别特定滤波器下的响应,这提供了单个滤波器组无法提供的类别间对比信息。

两个数据集得出的m的最优值不同:数据集2a的m = 1,HGD的m = 3。数据集2a只有22个通道,因此较低排名滤波器对捕捉的空间对比较弱,容易受到训练数据中噪声的影响,所以一个滤波器对就足够了。HGD有44个通道和每个类别更多的训练试验,提供了足够的空间维度和数据来支持多个编码互补对比的滤波器对,而不会过拟合。

还需要注意的是,两个数据集的第四个类别不同:数据集2a包括舌头想象,而HGD包括休息状态。因为休息状态不涉及感觉运动皮层中的运动相关ERD/ERS,因此更容易与其他三个活跃类别区分开来。这反映在混淆矩阵中,休息状态的类别间准确率最高,达到93.00%,而数据集2a中的舌头想象仅为63.73%。因此,直接比较两个数据集的绝对准确率时应谨慎解读。

有几个限制需要注意。虚拟通道维度D = K×F×2m随着类别数量、子带数量和滤波器对数量的增加而增加,当K = 4、F = 6、m = 3时达到144,这给网络增加了相当大的计算成本,并可能限制实时部署。此外,CSP空间滤波器是根据训练集的协方差矩阵估计的,因此如果EEG的统计特性在训练和测试之间发生变化(例如由于注意力状态、肌肉伪迹水平或会话间的电极接触条件变化),滤波器的区分能力会下降。未来的工作可以探索更紧凑的融合策略或自适应空间滤波机制来缓解这些限制。

总体而言,将类别特定的空间响应重新组织到一个共享的、时间表达力强的特征空间中,为传统的基于CSP的流程和现代深度学习方法之间提供了有效的桥梁。这一视角强调了表示结构的重要性,而不仅仅是网络深度本身,在推进多类MI解码方面。

5 结论
多类运动想象解码的一个关键挑战在于在统一表示中组织类别特定的空间区分性信息。为了解决这个问题,引入了一个多类融合框架,它将多个频率带上的类别特定CSP投影的时间序列响应整合到一个共享的特征空间中,使网络能够联合处理所有类别的响应,同时保留区分性的时间动态。

在两个公共数据集上的实验表明,这种表示策略比传统的基于CSP的流程和现有的深度学习基线取得了持续的改进。更广泛地说,结果表明,将基于神经生理学的空间特征重新组织成与端到端学习更对齐的形式,为多类EEG解码提供了一个有前景的方向。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号