《IEEE Transactions on Neural Systems and Rehabilitation Engineering》:E2T: EEG-to-Trajectory Transformer for Motor Imagery-based Fully-DoF Motion Prediction
编辑推荐:
针对传统运动想象(MI)脑机接口(BCI)仅能输出离散指令、无法实现连续自然运动控制的问题,研究人员开展了“E2T: EEG-to-Trajectory Transformer for Motor Imagery-based Fully-DoF Motion Prediction”主题研究。该研究提出一种集成频率自适应Sinc卷积滤波器、Transformer时序编码器和集成学习的混合深度学习框架,可直接从原始脑电图(EEG)信号解码连续三维上肢轨迹。实验结果表明,在运动执行(ME)和运动想象(MI)条件下,模型分别取得了0.7728和0.7110的平均相关系数,性能显著优于基线模型,并展现出良好的泛化能力。这项研究为实现更自然、灵活的辅助神经假肢系统提供了可行的技术方案。
想象一下,如果你只需“想”一下,就能让机械手臂如自己手臂般流畅地完成取物、挥手等复杂动作,那将为行动不便人士的生活带来怎样的改变?这正是脑机接口(Brain-Computer Interface, BCI)技术所追求的目标。目前,基于脑电图(Electroencephalography, EEG)的运动想象(Motor Imagery, MI)BCI是研究热点,它通过解读人脑想象运动时产生的神经信号来实现非侵入式、实时的外部设备控制。然而,现有的MI-BCI大多采用分类范式,即将特定的EEG模式映射到少数几个离散指令(如向左、向右),这种“选择题”式的交互方式,严重限制了控制的灵活性与自然度,无法实现如真实肢体那般连续、多自由度的精细运动。为了打破这一瓶颈,让脑控设备真正“活”起来,一项名为“E2T: EEG-to-Trajectory Transformer for Motor Imagery-based Fully-DoF Motion Prediction”的研究应运而生。该研究旨在开发一个能够直接从原始EEG信号中,端到端地预测出连续、完整三维空间上肢运动轨迹的解码框架,从而推动BCI从“离散指令输出”迈向“连续轨迹预测”的新阶段。这项成果发表在《IEEE Transactions on Neural Systems and Rehabilitation Engineering》期刊上。
为开展研究,作者团队主要采用了以下几项关键技术方法:首先,设计了一个任务特异的实验范式,受试者需按屏幕提示,先后执行基于四个预设三维方向(前-上、前-左、前-右、侧-上)的真实肢体运动(运动执行,ME)和想象运动(运动想象,MI),其中MI阶段紧随ME阶段,以强化运动的内在表征。其次,构建了一个名为E2T的混合深度学习模型架构,其核心包括用于从原始EEG中自适应提取频域特征的频率自适应Sinc卷积滤波器,用于捕获长程时序依赖的Transformer编码器,以及用于提升模型鲁棒性的集成学习策略。该模型直接以多通道EEG时间序列为输入,输出对应三维空间(X, Y, Z轴)的连续轨迹坐标。研究数据来自参与上述实验范式的受试者队列。
研究结果
1. 模型解码性能评估
研究人员在ME和MI两种条件下全面评估了E2T模型的解码性能。结果表明,该模型能够有效解码连续的三维上肢轨迹。在MI条件下,模型预测轨迹与真实轨迹之间达到了0.7110的平均相关系数(Correlation Coefficient);在ME条件下,性能更优,平均相关系数为0.7728。这一性能显著优于用于对比的几种基线模型,验证了所提混合架构的有效性。
2. 方向无关的轨迹预测
通过专门设计的、涵盖四个不同三维方向的实验任务,研究确保了模型训练数据的空间覆盖均衡性。分析显示,E2T模型能够成功解码出各个方向上的运动轨迹,且性能在不同方向间没有表现出显著偏差,证明了其具备方向无关的、全自由度(Full-DoF)运动预测能力。
3. 泛化能力验证
为了检验模型在现实场景中的实用性,研究人员进一步评估了E2T对未见过的新MI任务的泛化能力。实验发现,在经过有限校准后,模型在新任务上仍能保持较好的解码性能,这表明该框架具备较强的适应性和泛化性,为减少实际部署所需的用户校准时长提供了可能。
结论与讨论
本研究成功提出并验证了E2T——一个基于混合深度学习架构的EEG到三维运动轨迹的直接解码框架。该框架通过整合频率自适应Sinc卷积、Transformer时序编码和集成学习,实现了从原始EEG信号到连续上肢运动轨迹的端到端精准预测。其核心结论在于,该研究突破性地将MI-BCI的输出从离散指令扩展为连续轨迹,在ME和MI条件下均取得了优于现有方法的解码性能,并且展示出良好的任务泛化能力。
这项研究的重要意义主要体现在两个方面。在科学层面,它验证了从非侵入式EEG信号中解码复杂、连续三维运动轨迹的可行性,深化了我们对运动想象神经表征的理解,为脑机接口从分类到回归的范式转变提供了坚实的技术范例。在应用层面,该框架为实现更自然、灵活、实用的辅助神经假肢系统(Assistive Neuroprosthetic Systems)铺平了道路。其直接预测连续轨迹的能力,使得用户可能通过“想象”来控制机械臂完成如伸手、抓取等需要多关节协调的复杂动作,极大提升了交互的自然度和用户体验。同时,模型展现的泛化能力意味着未来系统部署时所需的校准时间有望大幅减少,从而提升了技术的实用性和可接受度。总之,E2T框架为下一代面向自然运动控制的脑机接口发展提供了一个强有力的新工具。