脑机接口(BCI)系统旨在解码神经信号并促进大脑与外部设备之间的直接通信。在各种范式中,运动想象(MI),即不实际执行肢体运动的心理模拟,由于其应用于运动功能恢复、神经康复和辅助控制技术,引起了极大的关注 [1], [2], [3]。脑电图(EEG)仍然是基于 MI 的 BCI 系统中最广泛使用的模态,得益于其高时间分辨率、低成本和便携性 [4], [5]。然而,MI-EEG 的准确分类仍然是一个重大挑战。关键障碍包括 EEG 信号固有的低信噪比、低空间分辨率以及大的会话间和被试间变异性 [6]。
诸如公共空间模式(CSP)及其变体(例如,滤波器组 CSP,FBCSP)等传统方法通过最大化类间方差来提取空间特征 [7], [8]。虽然在某种程度上有效,但这些方法严重依赖手工设计特征,并且往往难以在非平稳条件下泛化。最近,深度学习模型通过从原始信号中自动学习判别性特征,在 EEG 解码方面展示了优越的性能 [9], [10]。诸如 DeepConvNet、ShallowConvNet 和 EEGNet 等卷积神经网络(CNNs)在捕捉时空依赖关系方面取得了成功 [11], [12]。像 FBCNet 这样的进步将滤波器组与 CNN 集成以捕捉特定频率模式 [13],而 TSFCNet 和 FBMSNet 采用多尺度时间滤波器以更有效地建模动态时间特征 [14], [15]。Conformer 和 ATCNet 等混合架构结合自注意力机制来建模局部和全局依赖关系 [16], [17]。
尽管取得了这些进展,大多数模型仍然未能充分利用脑区之间复杂且动态的交互作用。特别是,它们倾向于将通道关系建模为独立或线性相关,这限制了它们捕捉与任务相关的区域间依赖关系的能力,尤其是在跨会话或跨被试解码中。功能连接(FC)量化神经信号之间的统计依赖关系,已成为 EEG 解码的互补表示 [18], [19]。FC 提供了协调大脑活动的系统级视图,并已成功应用于各种 BCI 任务,包括情感识别、心理负荷估计和运动控制 [20], [21], [22]。与简单的空间滤波相比,FC 提供了更全局且神经生理学上可解释的大脑活动视图,并且可以捕捉超越简单独立性或线性的依赖关系。然而,传统 FC 通常在原始传感器空间中计算,并假设平稳连接,从而忽略了大脑动态的瞬态性质并受容积传导效应的影响。
为了克服这些局限性,动态功能连接(dFC)已被引入以捕捉区域间交互作用的时间波动 [23], [24], [25]。与静态 FC 不同,dFC 能够更精确地表征支撑认知和运动过程演变神经协调模式。此外,在学习的潜在特征空间内而不是在原始传感器空间内建模 FC,可以减轻容积传导和传感器级噪声的影响,同时通过将连接估计与与任务相关的神经表示对齐来增强可解释性 [26]。在各种 FC 估计策略中,互信息特别适合 EEG 数据。互信息有效地捕捉信号之间的线性和非线性依赖关系,而不假设特定的统计分布,使其对 EEG 记录的非高斯、非平稳特性具有鲁棒性。此外,基于神经网络的互信息估计器允许对特征表示之间复杂的高维交互进行灵活且可扩展的建模 [27]。
为了表征与任务相关的特征表示中的时变连接,我们提出了 FMICNet,一种基于特征空间互信息的连接神经网络。FMICNet 建模连续时间窗口中学习特征通道之间的非线性依赖关系,从而将动态功能连接估计直接集成到解码框架中。这种设计使得能够在统一的神经框架内学习与任务相关的时空表示和动态非线性通道间依赖模式,其中与分类相关的模块和 MINE 块使用特定目标进行更新。因此,FMICNet 有效地捕捉了对解码非平稳 EEG 活动至关重要的瞬态大脑连接模式,从而提高了解码准确性、可解释性和鲁棒性。
我们的贡献总结如下。
- 1.
我们提出了 FMICNet,一个统一的神经框架,在单个训练流水线中集成了空间特征学习和基于 MINE 的动态连接估计
- 2.
我们设计了一个基于神经网络的互信息估计器来捕捉非线性、时变功能连接,从而实现空间和连接表示的有效联合优化,以提高解码性能。
- 3.
在两个基准 MI 数据集上的实验证明了 FMICNet 用于 MI 解码的有效性,而另一个 ME 数据集上的实验评估了其在相关运动 EEG 范式中的适用性。消融研究进一步确认了动态 FC 建模和各个网络组件的贡献。
本文的其余部分概述如下:第 2 节描述了 FMICNet 的架构和优化。第 3 节展示了实验及其结果。第 4 节呈现了讨论,随后是第 5 节的结论。