编辑推荐:
在脑机接口(BCI)领域,基于运动想象(MI)的 BCI 存在解码准确率低、校准困难等问题。研究人员开展了运动执行(ME)与 MI 任务间的迁移学习研究。结果表明 ME 训练的深度学习模型可有效分类 MI 任务,这为 BCI 应用提供了新策略。
在科技飞速发展的今天,脑机接口(Brain - Computer Interface,BCI)宛如一座桥梁,试图搭建起人类大脑与外部世界直接沟通的通道。它能记录大脑活动,解码用户意图,进而控制外部设备,在医疗康复、人机交互等领域有着巨大的潜力。然而,当前基于运动想象(Motor Imagery,MI)的 BCI 却面临着诸多挑战。一方面,脑电图(Electroencephalography,EEG)信号存在空间分辨率低、信噪比(Signal - to - Noise Ratio,SNR)低的问题,使得从 EEG 信号中解码用户意图困难重重,导致 BCI 的解码准确率难以令人满意,约 10% - 50% 的用户受到 “BCI 低效” 问题的困扰,无法实现有效的 BCI 控制(通常指在二元 MI 任务中准确率超过 70% 的阈值)。另一方面,传统的校准方式存在缺陷,用户在执行 MI 任务进行校准训练时,往往得不到及时有效的反馈,这不仅影响了校准效果,还容易让用户在长期的技能学习过程中产生挫败感,降低学习积极性。而且,由于 EEG 数据存在个体间和不同时段的差异,机器学习模型每次都需要重新校准,进一步增加了使用的复杂性。
为了解决这些难题,研究人员开展了一项极具意义的研究。虽然此前有研究探索过 ME 和 MI 任务之间的联系,但尚未有人研究仅用 ME 数据训练的深度学习(Deep Learning,DL)模型能否在不针对 MI 任务进行微调的情况下,可靠地对 MI 进行分类,以及 ME 和 MI 任务表现之间是否存在相关性。本研究聚焦于此,旨在评估 DL 模型在 ME 和 MI 任务之间的直接迁移学习(Transfer Learning,TL)能力,并通过可解释人工智能(Explainable Artificial Intelligence,XAI)技术解读模型在不同任务中学习到的模式及其关系。
研究人员分析了包含 109 名健康参与者 EEG 记录的公共数据库,这些参与者在无反馈的情况下进行了 MI 和 ME 任务。在研究过程中,主要运用了以下关键技术方法:一是数据预处理,包括低通滤波、陷波滤波、公共平均参考空间滤波、重采样、数据标准化等一系列操作,对原始 EEG 数据进行优化;二是采用 EEGSym 这一专门为跨个体 MI 分类设计的卷积神经网络(Convolutional Neural Network,CNN)架构进行模型训练;三是运用留一法(leave - one - subject - out,LOSO)进行模型训练和评估,并通过 Wilcoxon 符号秩检验和 Benjamini–Hochberg 方法调整错误发现率(False Discovery Rate,FDR)来分析不同场景下的模型性能差异;四是利用基于 Shapley 加性解释(Shapley Additive Explanations,SHAP)的 XAI 技术,对模型决策过程进行可视化分析。
研究结果如下:
- 跨任务迁移学习分析:跨个体 ME 到 ME 分类的准确率较高,三类任务平均为 83.07% ± 8.95%,二类任务为 88.51% ± 8.43%;MI 到 MI 分类的三类任务准确率为 80.16% ± 10.97%,二类任务为 86.45% ± 10.33%;令人惊喜的是,ME 到 MI 的迁移学习在 MI 二类任务上保持了较高的准确率,达到 86.21% ± 9.73%,与 MI 到 MI 场景下的准确率相比无显著差异。不过,在三类任务中,其准确率相较于 MI 到 MI 场景下降了 2%,为 78.08% ± 10.97%。通过混淆矩阵分析发现,使用 ME 训练的模型在 MI 任务中,对 MI 左右手类与休息类之间的误分类有所增加,但对休息类的正确分类性能有所提高。进一步的相关性分析表明,ME 到 ME 和 ME 到 MI 分类的准确率之间存在显著正相关(Pearson 相关系数为 0.6057,p < 0.001),这意味着在 ME 任务中表现较好的个体,在 MI 任务中也更有可能取得较好的成绩。同时,ME 训练的模型在更多受试者上实现了对 MI 数据的有效控制,减少了无反应受试者的数量。
- 基于 XAI 的脑模式可视化:通过特征归因图和地形图分析发现,对于 MI 和 ME 任务,EEG 信号的前一秒对模型分类左右手类最为关键,而休息类的特征归因图在时间上更为均匀分布,表明模型在判断休息类时会综合考虑整个信号持续时间。在不同的时间窗口(0 - 0.5s、0.5 - 1s、1 - 3s)内,模型关注的空间模式有所不同。在 0 - 0.5s,MI 和 ME 任务中,大脑对侧的额颞和顶枕区域电极相关性最高;0.5 - 1s,MI 任务中模型依赖同侧额中央电极,而 ME 任务依赖对侧,导致两者在同侧 FC1 - FC2 信息上呈现强负相关;1 - 3s,ME 任务强调 C5 - C6 的活动,MI 任务则关注 C3 - C4 和 T7 - T8 的组合活动,但对侧和同侧的部分额叶电极仍保持较高的相关性和重要性。
在结论与讨论部分,该研究成果具有重要意义。首先,研究证明了 ME 数据训练的 DL 模型无需针对 MI 任务微调,就能有效对 MI 任务进行分类,这为 BCI 应用提供了新的思路。例如,可以建立基于 ME 的预运行阶段,帮助新用户更好地理解和执行 BCI 任务,缩短学习曲线,提高整体 BCI 控制能力,同时还能减少用户疲劳和提高积极性。其次,研究揭示了 ME 和 MI 数据学习模式的异同,通过引入休息类,增强了特征归因图的可解释性,为深入理解大脑活动与 BCI 任务之间的关系提供了有力支持。然而,研究也存在一定的局限性,如仅聚焦于二元上肢分类任务,未涉及更多复杂动作;数据来自单次会话且无反馈,缺乏对长期学习和适应的评估;参与者均为健康个体,未在临床人群中验证等。未来的研究可以朝着多类分类任务、长期效果评估、临床应用验证以及探索新的模型架构等方向展开。总之,这项发表在《Biomedical Signal Processing and Control》上的研究,为脑机接口领域的发展提供了重要的理论依据和实践指导,有望推动 BCI 技术在康复治疗等实际应用中的进一步发展。