《Biomedical Signal Processing and Control》：Interpretable dual-layer state space net for capturing fine-grained temporal features in EEG-based motor imagery BCIs
编辑推荐：
提出基于双层状态空间的DLSSNet深度学习框架，解决脑机接口中运动想象解码的高精度与可解释性矛盾。通过全卷积架构保留时序信息，结合任务相关评估模块和注意力嵌入模块提取判别性特征，在BCI2a和HGD数据集上准确率达78.51%和95.49%，可视化证实其捕获与传感器运动节律（SMR）一致的稳定神经模式。
王凯轩|徐聪|姜文豪|丁世航|刘庆龙|马琳|李海峰
哈尔滨工业大学计算机学院，中国黑龙江省哈尔滨市大直街西92号，邮编150001
摘要
运动想象（MI）是脑机接口（BCI）驱动的运动康复中一个核心的认知过程。然而，现有的高性能MI解码模型通常被视为“黑箱”，它们在实现高准确率的同时，牺牲了对神经科学发现至关重要的细粒度时间分辨率。本文介绍了一个基于DLSSNet的可解释深度学习框架，用于捕捉和解释MI的细粒度大脑活动。其全卷积架构保留了完整的时间信息，而新颖的任务相关性评估（TRE）和基于注意力的嵌入（ABE）模块则有效地从这些高分辨率特征中提取出有区分性的信息。在两个公共基准数据集（BCI2a和HGD）上的验证表明，DLSSNet的表现显著优于现有模型，平均准确率分别达到了78.51%和95.49%，同时完全保留了用于后续分析的细粒度特征序列。更重要的是，我们的可解释性协议揭示了DLSSNet学习到了一组与特定MI任务功能相关的典型神经状态。这些状态的可视化图谱与已知的感觉运动节律（SMR）模式高度一致，我们进一步证明这些模式在多个受试者中是稳定的。总之，通过弥合高分类准确率和神经生理学合理性之间的差距，本文为将高性能BCI解码与数据驱动的神经科学研究相结合提供了一个强大的新框架。
引言
运动想象（MI）是一种复杂的认知过程，涉及对肢体运动的心理模拟以及相应的感官体验，而无需实际的身体运动[1]，[2]。鉴于全球人口迅速老龄化[3]以及中风和脊髓损伤发病率的增加[4]，运动功能的丧失已成为一个重要的全球健康问题[5]。由于认知过程与实际运动并行[6]，[7]，[8]，基于MI的脑机接口（BCI）已成为康复研究中的一个有前景的工具。这些系统旨在加强神经连接[6]，[9]，促进康复[10]，[11]，促进运动再学习[12]，并帮助恢复运动功能[13]，[14]。为了有效，这些系统需要毫秒级的实时反馈来维持用户的参与度和训练效果。反馈延迟会破坏心理努力与可观察结果之间的因果关系，可能会降低用户的参与度和康复成功率[15]。然而，对MI的理解仍然局限于整体视角，缺乏对不同MI任务下大脑状态差异的详细研究。
脑电图（EEG）因其高时间分辨率而被广泛用于大脑活动记录[16]。在理论神经科学中，微状态分析为研究大脑状态的时间动态提供了一个强大的框架[17]，[18]。这种方法从去噪后的多通道EEG信号中提取稳定的空间模式，使用全局场功率（GFP）等指标，在短时间窗口内对这些模式进行分类，然后使用聚类方法将它们归类为有限的微状态集合，从而能够对其时间属性和转换进行统计分析[19]。虽然最初应用于静息状态[20]和脑疾病研究[21]，[22]，但微状态分析已扩展到任务状态，特别是在情绪研究中[23]，通过引入事件相关电位（ERP）技术[24]。然而，ERP方法依赖于时间锁定的信号，因此对于MI任务来说效果不佳。动态系统理论（DST）是描述神经系统动态的另一种理论工具[25]。状态空间模型（SSM）提供了一个数学框架，用于理解系统如何基于初始条件和控制规则随时间演变。为了模拟大脑动态，引入了各种基于循环神经网络（RNN）的模型，包括储层计算[26]、回声状态网络[27]和隐藏状态空间模型。例如，Jonatan Tidare[28]首次描述了运动想象（MI）中EEG特征的时间动态，揭示了其稳定和动态特征。然而，这些方法严重依赖于信号去噪，其有效性受到去噪技术质量的限制。
与传统的方法不同，机器学习方法（如共同空间模式（CSP）、滤波器组和源成像）依赖于先验知识从EEG信号中提取有用信息。例如，CSP计算EEG信号之间的协方差矩阵以构建空间滤波器[29]，而滤波器组技术通过捕获频率特征来提高分类性能[30]，[31]。另一方面，源成像技术通过将EEG信号映射到大脑源活动来提高空间分辨率[32]。然而，这些方法往往只关注一组有限的特征，可能会忽略大脑活动的其他重要方面。
此外，基于神经网络的方法允许从原始数据中进行端到端的学习，特别是卷积神经网络（CNN），如EEGNet[33]、FBCNet[34]和Deep ConvNet[35]。这些方法可以自动学习复杂的、高维的模式，从而更全面地表示大脑活动。随着Transformer架构的出现和普及，基于注意力的模型（包括EEG Conformer[36]、Manifold Attention[37]和Swin Transformer[38]）通过使用多头注意力机制进一步提高了准确性，以模拟特征序列中的全局依赖性。最近，最先进的方法通过关注在多个时间尺度上捕获特征并利用注意力机制进行特征融合，进一步提升了性能。例如，MSF-CNN[39]和AMFTCNet[40]等模型采用并行卷积或多尺度时间网络，通常结合通道或时空注意力来增强特征表示。尽管这些先进架构在分类方面取得了令人印象深刻的成功，但它们对解码准确性的单一关注无意中造成了神经科学应用方面的差距。这种设计理念导致了两个根本性挑战：
- •
挑战1：时间细节的丢失：为了创建更抽象和不变的表示以进行分类，主导模型通常依赖于跨时间的操作，如池化或特征融合。虽然这种策略提高了解码准确性，但它直接导致了细粒度时间分辨率的丢失。这种权衡至关重要，因为丢失的时间细节正是分析运动想象过程中大脑状态动态变化和复杂转换所需要的，从而阻碍了更深入的神经科学洞察。
- •
挑战2：缺乏可解释性：这些模型是为性能而设计的，经常被视为“黑箱”分类器。这种缺乏可解释性的框架严重限制了探索它们提取的潜在神经生理信息的能力，降低了它们在科学发现中的价值。
本文的主要贡献如下：
- •
1. 为了解决挑战1（时间细节的丢失），我们提出了DLSSNet，这是一个专门设计用于将原始EEG信号编码为保留大脑活动细粒度时间动态的高分辨率特征序列的网络。
- •
2. 我们证明了DLSSNet在BCI Competition IV 2a和高伽马数据集上的表现优于领先的最先进模型。
- •
3. 为了解决挑战2（缺乏可解释性）
，我们引入了一个全面的分析框架，可以系统地识别和可视化学习到的神经生理模式，从而深入探究运动想象的动态。
部分摘录
核心思想：双层状态空间
Lehmann等人[17]证明，通过EEG捕捉到的自发大脑活动在空间激活模式上表现出短暂的稳定性（持续数十到数百毫秒），然后过渡到新的配置。这些模式在此期间强度可能会有所变化。受此观察的启发，我们提出了一个双层状态空间（DLSS）框架来模拟与MI相关的大脑活动的层次动态。第一层使用状态空间模型（SSM）来
数据集
为了评估我们提出的模型的性能，我们在两个广泛使用的公共运动想象数据集BCI Competition IV 2a（BCI2a）[47]和高伽马数据集（HGD）[35]上进行了验证实验。这两个数据集都包含来自不同天数的多个受试者的EEG数据。这种跨天数据结构为验证模型是否真正学习了通用且稳定的时空模式提供了理想的测试平台。
BCI Competition IV 2a（BCI2a）[47]
分类性能比较
为了全面评估DLSSNet的性能，我们将其与BCI2a和HGD数据集上的多种代表性模型进行了比较。这些基线模型包括：经典的基于CNN的EEGNet[33]和DeepConvNet[35]；基于注意力的MAtt[37]和EEG Conformer[36]；以及两个最新的多尺度融合模型MSF-CNN[39]和AMFTCNet[40]。为了确保公平比较，所有模型都在统一的预处理流程下进行了评估，它们的代码要么
讨论
本文解决了使用高时间分辨率特征解码运动想象（MI）并发现潜在有意义神经模式的基本挑战。为此，我们提出了DLSSNet，这是一个受微状态分析启发并基于双层状态空间（DLSS）框架的可解释深度学习模型。其主要创新在于其结构设计——包括FSSR模块以保留细粒度时间动态，TRE模块用于过滤
结论
本研究介绍了DLSSNet作为一个分析运动想象大脑活动的新颖且有效的框架。通过保留时间动态并提高可解释性，DLSSNet解决了现有EEG分类方法中的关键限制。实验结果证实了其作为实时BCI应用的特征提取器的巨大潜力，并揭示了其学习到的特征具有真正的神经生理学意义。DLSSNet为大脑状态研究提供了一个强大的新工具
CRediT作者贡献声明
王凯轩：撰写——原始草稿、可视化、验证、方法论、正式分析。徐聪：撰写——审阅与编辑、资源管理、项目协调、正式分析。姜文豪：撰写——审阅与编辑、可视化、验证、正式分析。丁世航：撰写——审阅与编辑、数据管理。刘庆龙：验证。马琳：撰写——审阅与编辑、监督、概念化。李海峰：撰写——审阅与编辑、监督、资金获取，
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
本研究部分得到了中国广东省基础与应用基础研究（资助编号：2021B1515120052）、国家自然科学基金（资助编号：32441112）和中国松江实验室的独立研究探索项目（资助编号：SL20230203）的支持。
