ST-graph：用于运动想象模式解码的基于尖峰时间驱动的功能神经连通性图构建

《Neurocomputing》：ST-graph: Spike-timing-driven graph construction of functional neural connectivity for motor imagery pattern decoding

　　

摘要 基于运动想象的脑机接口（MI-BCIs）将皮层活动转化为用于辅助和康复应用的控制命令。然而，可靠的 EEG 分类仍然是一项具有挑战性的任务，存在以下问题：（i）EEG 信号幅度低且易受噪声影响，（ii）对运动相关神经动力学的建模不足，（iii）EEG 信号的高受试者间变异性，以及（iv）需要可靠地提取时空特征以实现准确分类。为解决这些挑战，我们提出了一种基于脉冲信息的图注意力框架，该框架将抗噪信号表示与时空特征学习相结合。原始 EEG 信号首先被编码为生物学上合理的脉冲序列，保留了对运动想象解码至关重要的细粒度时间动力学。随后构建一个稀疏图，以捕捉试内和试间脉冲交互，从而实现高效且可扩展的关系建模。接着，图注意力机制通过自适应地强调与任务相关的神经依赖关系，同时抑制冗余或非信息性活动，来学习判别性嵌入。最后，使用基于集成的分类器对学到的嵌入进行分类，以增强鲁棒性和泛化能力。该方法在两个公共 MI 基准数据集（BCI Competition IV-2a 和 ULM）和一个自建数据集（MI-SLM）上进行了评估，平均分类准确率分别达到 94.67%、95.56% 和 96.88%，比近期的深度学习方法高出 18–28%。使用方差分析（ANOVA）进行的统计分析 () 证实了这些增益的显著性，而 consistently 低的受试者间方差 () 则表明了强大的稳定性和泛化能力。通过整合基于脉冲的图构建与注意力驱动的学习，该框架在捕捉神经动力学的同时，提高了分类准确率、鲁棒性和计算效率。

引言 脑机接口（BCIs）实现了大脑与外部设备之间的直接通信，支持辅助控制、神经康复和增强人机交互 [1]。其中，基于运动想象（MI）的 BCIs（MI-BCIs）允许用户想象动作，例如左手或右手动作，这些动作会在感觉运动皮层产生独特的神经模式，可以解码为假肢或自适应接口的控制命令 [2], [3]。脑电图（EEG）是 MI-BCIs 中最广泛使用的非侵入式技术，提供毫秒级的时间分辨率、便携性和低成本 [4]。

然而，EEG 信号本质上噪声大、非平稳，并表现出显著的会话间变异性，给可靠解码带来了挑战 [5]。EEG 分类已经演进以应对这些挑战，从传统的基于手工特征机器流水线发展到深度神经网络模型，包括卷积和循环神经网络，自动提取层次化的时空表示 [4]。最近，基于注意力的架构被引入以选择性强调与任务相关的神经动力学，进一步提高了对噪声、非平稳性和受试者间变异性的鲁棒性 [6], [7]。这些数据驱动的方法增强了计算社会系统内人机交互的可靠性。然而，它们的实际部署仍受限于有限的标注数据、过拟合和高计算复杂度，这些继续挑战着鲁棒的 MI-BCI 应用 [8], [9], [10], [11]。尽管存在这些局限性，基于脉冲信息的 EEG 分析增强了信号可判别性和鲁棒性，支持开发实时、社会自适应和认知感知的 MI-BCI 系统 [12], [13]。

重要的是，EEG 信号反映了潜在的脉冲神经活动，神经元通过离散的动作电位或“脉冲”[14]（由神经元产生的快速电脉冲，是神经元通信的基本手段）进行交流。这种基于脉冲信息的表示捕捉了精确的时间模式和细粒度的神经交互，这对于解码诸如运动控制任务、学习和记忆以及感觉处理等神经元控制至关重要 [4]。

解决这些挑战的一个有前景的方向是 EEG 信号的基于图的建模，其中电极表示为节点，它们的结构或功能关系表示为边 [15]。形式上，一个 EEG 试验可以表示为图，其中 表示 个电极的集合，编码成对连接，这可能反映相关性、相干性或其他功能连接性度量。该框架使学习模型能够捕捉电极间依赖关系和复杂的脑连接模式，这超出了原始时间序列信号所能提供的 [16]。

现有研究主要强调电极级变异性图，对试间或事件级图的探索有限，其中节点代表整个试验，边捕捉它们之间的差异或相似性 [17]。通过将试间关系与电极交互表示相结合，模型有效地捕捉了跨试验的时间一致性和电极间的空间依赖，导致对 EEG 动力学的更全面表征。

然而，大多数当前的图神经网络（GNN）方法依赖于预定义的图结构 [15]，这可能无法准确反映特定事件的神经动力学。在实践中，EEG 数据缺乏明确的图定义，依赖固定或启发式图降低了跨受试者、会话和实验条件的适应性和泛化能力。

为解决这些局限性，可以采用广义图学习框架直接从 EEG 数据中学习图结构。这使得 GNN，特别是基于注意力的变体，能够自适应地加权节点交互，强调与事件相关的连接，同时抑制噪声或无关的连接。这种自适应建模与功能连接和动态脑网络的神经生理学原理一致，为计算社会系统内鲁棒的 MI-BCI 分类提供了强大的基础。

尽管 MI-BCI 解码取得了显著进展，但仍存在几个关键差距。传统的 EEG 分析甚至当代的深度学习或基于注意力的方法往往未能充分利用潜在的脉冲神经动力学和 EEG 信号固有的丰富通道间和试验间关系。现有的基于图的方法通常局限于电极级连接，使用固定或启发式图，忽略了可能提供更具判别性表示的试验级或事件级交互。此外，大多数模型没有明确整合受生物学启发的脉冲信息，限制了它们的时间精度和对微妙运动想象模式的敏感性。

本工作的关键创新点和贡献总结如下，以应对上述挑战：

• 基于脉冲的表示：ST-Graph 将原始 EEG 信号转换为生物学上合理的脉冲表示，捕捉对运动想象解码至关重要的细粒度时间模式和潜在神经动力学。
• 图构建：ST-Graph 构建了一个新颖的图，编码试内和试间脉冲关系，捕捉超出电极级交互的丰富空间和时间依赖关系。该图设计计算复杂度为，能够快速且可扩展地处理，适合计算社会系统中的实时应用。
• 基于注意力的判别性嵌入：ST-Graph 采用图注意力网络（GAT）学习判别性嵌入，自适应地加权节点交互，强调与事件相关的神经活动，同时抑制噪声和无关模式。
• 鲁棒分类：ST-Graph 学到的嵌入被送入分类器，以实现准确且可泛化的 MI-BCI 解码，支持鲁棒、社会自适应和认知感知的 BCI 应用。

该流水线通过整合脉冲动力学、高效的基于图的建模和注意力驱动的特征学习，解决了先前方法的局限性，为基于 EEG 的运动想象分类提供了一种受生物学启发的、计算高效的且具有社会相关性的框架。

本文其余部分组织如下。第 2 节回顾了关于 EEG 分类、基于图的方法和自适应社会 BCIs 的相关工作。第 3 节详细介绍了提出的脉冲图注意力框架。第 4 节呈现了实验设置、数据集和评估指标，讨论了结果并分析了它们对计算社会系统的启示。第 5 节总结本文并概述了未来的研究方向。

章节片段
相关工作
使用 EEG 信号进行 MI 分类是 BCI 研究中的关键任务，应用包括辅助技术和神经康复。EEG 信号本质上是非平稳的，信噪比低，并具有复杂的空间时间动力学 [18]。准确的分类需要能够提取鲁棒特征的方法，同时适应受试者间变异性和会话间差异。最近的文献集中在深度学习和基于图的框架上。

方法论
提出的基于功能神经连接的脉冲时序驱动图表示运动想象框架（ST-Graph）将受生物学启发的基于脉冲的编码与计算高效的图关系建模相结合，以实现鲁棒的 EEG 特征表示。与传统深度学习模型逐个试验处理 EEG 信号并相应优化其参数不同，ST-Graph 使用首次放电时间（TTFS）编码来建模脑活动的神经动力学。它

结果与讨论
本节对两个基准 MI-EEG 数据集：BCI Competition IV-2a (BCI-IV 2a) [66] 和 ULM [67] 以及一个自建数据集 MI-SLM 上提出的 ST-Graph 框架进行了全面评估。实验在受试者依赖和混合受试者 - 转导范式下进行，以评估个体适应性和跨受试者泛化能力。提出的框架与几种最先进的方进行了比较，包括 EEGNet [6], SVM [25], AE + XGBoost [26]。

结论
本工作提出了 ST-Graph，这是一种用于运动想象 EEG 分类的基于脉冲信息的图学习框架，整合了受生物学启发的 TTFS 编码与基于图的表示学习。通过联合建模时间脉冲动力学和 EEG 试验间的结构关系，提出的框架有效地捕捉了判别性神经模式，同时避免了与端到端脉冲神经网络相关的优化挑战。因此，它提供了一

CRediT 作者贡献声明
法齐亚·雅斯敏：写作 – 审查与编辑，写作 – 原始草稿，可视化，验证，资源，方法论，形式分析，数据整理，概念化。普尼特·扬格拉：写作 – 审查与编辑，验证，方法论，形式分析。尼拉杰·夏尔马：写作 – 审查与编辑，验证，监督，数据整理。希鲁·夏尔马：写作 – 审查与编辑，可视化，验证，监督，资源，方法论，数据整理。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些可能影响本文报告的工作。

法齐亚·雅斯敏正在印度瓦拉纳西印度理工学院生物医学工程系攻读博士学位，她也获得了印度信息技术、设计与制造研究所（PDPM 印度信息技术、设计与制造研究所，贾巴尔普尔分校）的电子设备工程（电力与控制）理学硕士学位。她的研究兴趣包括基于深度学习的医疗设备以及使用脑机接口实时操作机械臂。

法齐亚·雅斯敏 | 普尼特·扬格拉 | 尼拉杰·夏尔马 | 希鲁·夏尔马
印度理工学院（BHU）瓦拉纳西分校生物医学工程学院，印度