MSFP-DG：一种无需校准的电机成像解码多尺度特征原型域泛化框架

《Neurocomputing》：MSFP-DG: Multi-scale feature prototype domain generalization framework for calibration-free motor imagery decoding

　　摘要：跨会话变异性以及目标领域数据的缺乏，一直是运动想象脑机接口在实际应用中的主要瓶颈。尽管领域泛化技术能够实现无需校准的应用，但由于脑电图信号本身的非平稳性以及信噪比较低，这些技术的有效性往往大打折扣。为了解决这些问题，我们提出了MSFP-DG，一种全新的多尺度特征原型领域泛化框架。该框架整合了分层时空频编码器以减轻领域漂移，结合角度-尺度校正的核矩阵对齐技术，以及通过基于原型的类级正则化实现稳定的语义聚类。现有的样本级方法是对单个样本进行处理，而这种双层对齐方法则通过互补的几何与语义对齐在集群层面发挥作用。在BCI Competition IV-2a数据集、High Gamma数据集以及我们自行构建的JS-MI数据集上的大量实验表明，MSFP-DG的表现始终显著优于现有最先进方法，其平均准确率分别达到82.94%、95.31%和89.03%。具体而言，MSFP-DG在准确率上比基准的DG-BCI高出2.93%、0.92%和2.93%，在卡帕值上则高出0.0391、0.0122和0.039。这些结果证明，MSFP-DG提供了一种可靠且无需校准的框架，在实际脑机接口应用中具有巨大潜力。

引言：脑机接口通过直接将神经信号转换为控制指令，绕过了传统的神经肌肉传导路径[1]。脑机接口在神经康复以及辅助和替代交流领域展现出巨大潜力[2]、[3]、[4]。在各种技术方案中，基于运动想象的方法尤为引人注目，因为它们仅依赖于内在的心理过程，无需外部刺激[5]。尽管脑电图具有较高的时间分辨率且无创[6]，但由于脑电图信号的非平稳性和低信噪比特性，运动想象脑机接口系统仍面临诸多挑战，其实际性能在很大程度上取决于解码算法的有效性。深度学习极大地推动了脑电图解码算法的发展，诸如卷积神经网络[7]、[8]、[9]以及基于Transformer的模型[10]在提取具有区分度的时空特征方面表现出强大能力。然而，大多数现有方法都隐含地假设脑电图数据遵循独立同分布假设[11]。实际上，由于脑电图信号本身的非平稳性，这一假设常常不成立。疲劳、注意力转移以及情绪变化等生理和心理因素会导致事件相关去同步/同步模式出现显著偏移[12]、[13]、[14]、[15]、[16]。因此，基于特定会话或受试者数据训练的模型在应用于未知数据时往往性能下降，这就需要额外的校准程序来维持可靠的解码性能。为了解决分布偏移问题，领域自适应技术被广泛用于通过校准数据使预训练模型与目标用户相匹配[17]、[18]。虽然这种方法有效，但本质上需要在训练或自适应阶段获取目标领域数据[19]。这种依赖性限制了其在即插即用场景中的应用，因为在这些场景中目标用户是未知的，或者数据收集会受到用户疲劳的限制[20]、[21]。此外，收集个体神经生理数据还会引发重大的隐私和伦理问题，进一步制约了基于领域自适应方法的实际应用。因此，研究方向转向了领域泛化，其目标是从多个源领域学习与领域无关的表示形式，从而无需校准即可直接应用于未知目标[22]。早期的领域泛化方法采用几何对齐技术，如欧几里得对齐[23]，而近期的深度学习方法则引入对比学习目标来强制实现特征不变性[24]、[25]。然而，大多数现有框架仍然高度依赖样本级对齐。由于脑电图信号的信噪比较低，单个样本本身就不稳定。基于这些噪声样本强制实现特征不变性会扭曲全局特征流形，过度强调偶然的局部相似性，而忽视有意义的类别区分度[26]、[27]。因此，仅依靠样本级约束无法实现稳定的跨会话解码。为克服这些局限，我们提出了多尺度特征原型领域泛化框架MSFP-DG。MSFP-DG通过两个互补的层面来减轻领域偏移，从而超越了不稳定的样本级比较：（1）几何层面，用于对全局分布进行对齐；（2）语义层面，用于确保类别原型之间的一致性。这种双层方法有助于学习出强大且可迁移的表示形式。本研究的主要贡献如下：（1）我们提出了MSFP-DG框架，该框架基于由四个专用模块构成的分层时空频编码器，能够明确捕捉时间、通道和频率维度上的区分性模式，为无需校准的跨会话解码提供了坚实且具有生理学解释性的特征基础。（2）我们提出了一种协同的双层对齐策略，在互补层面实现特征不变性：通过结合角度-尺度校正的核矩阵对齐实现全局领域分布的几何对齐，同时通过基于动量稳定的原型级类级正则化保持局部语义一致性。这种双层对齐策略能够减轻不稳定的样本级对齐问题，提升训练稳定性。（3）在三个基准数据集上的大量实验表明，MSFP-DG在不使用任何目标领域数据的情况下，始终显著优于现有方法，从而证明了其出色的泛化能力和实际应用价值。本文的其余部分结构如下：第2节介绍本文中使用的定义和符号；第3节详细阐述所提出的MSFP-DG框架；第4节介绍实验数据集、实验设置及比较方法，同时讨论实验结果和消融实验；第5节探讨该研究的意义、局限性及未来发展方向；最后第6节对全文进行总结。

问题定义：在本研究中，我们在领域泛化框架下解决了运动想象脑电图跨会话解码这一难题。设为源领域集合，每个源领域包含个带有标签的样本，其中表示一个具有个通道和个时间点的脑电图试验，而为对应的类别标签。目标领域记为，包含个未标记样本。按照标准的领域泛化流程，模型仅在上训练，并直接在上进行评估，不使用任何目标领域数据。

方法论：所提出的MSFP-DG框架的整体架构如图1所示。它整合了分层时空频编码器以及两种互补的对齐策略：核矩阵对齐和基于原型的类级正则化。

数据集a（BCI competition IV-2a数据集）：BCI Competition IV-2a数据集[39]包含了9名受试者在执行4项运动想象任务（左手、右手、双脚和舌头）时的脑电图记录，这些记录通过22个通道以250赫兹的采样率采集。每名受试者完成了2次实验会话，每次会话包含288次试验（每项任务72次）。分析时选取提示开始后2至6秒的时间窗口。只有一个会话包含所有试验的类别标签，另一个会话则作为目标领域使用。

讨论：在MSFP-DG框架中，分层时空频编码器作为核心组件，有效分离了时间、通道和频率维度上的多尺度神经表征。这些特征不仅具有生理学解释性，而且在不同会话间表现出高稳定性。为增强领域泛化能力，该框架采用了双层对齐策略：核矩阵对齐用于处理全局几何结构……

结论：在本研究中，我们提出了多尺度特征原型领域泛化框架MSFP-DG，这一创新框架旨在解决运动想象脑电图解码中长期存在的跨会话变异性问题。通过分层编码器提取空间、时间和频谱特征，MSFP-DG能够有效从复杂的神经动态中分离出具有区分度的模式。此外，核矩阵对齐与基于原型的类级正则化的协同整合……

CRediT作者贡献说明：杜培珍：撰写——初稿、可视化、验证、软件、项目管理、方法论、研究、形式分析、数据整理、概念构思。高忠科：撰写——审阅与编辑、资金获取。郭伟：撰写——审阅与编辑、监督、研究。王旭民：项目管理、研究、数据整理。吕冬梅：撰写——审阅与编辑、监督。塞尔索·格雷博吉：撰写——审阅与编辑、项目管理。于慧杰……

利益冲突声明：作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢：本研究部分得到了中国国家自然科学基金项目62306209和62373278的支持，同时也得到了泰山产业专家计划的资助。杜培珍目前在中国天津大学福州国际联合学院攻读工程硕士学位，他的研究兴趣包括脑机接口、深度学习以及人工智能。

杜培珍|高忠科|郭伟|王旭民|吕冬梅|塞尔索·格雷博吉|于慧杰|党卫东
中国天津市天津大学福州国际联合学院，邮编300072