《SCIENCE ADVANCES》:Intracortical brain-computer interface for navigation in virtual reality in macaque monkeys
编辑推荐:
为解决瘫痪患者在实际复杂环境中实现灵活、自然的运动控制问题,研究人员开展了一项关于猕猴皮层内脑机接口(iBCI)的研究。他们利用来自初级运动皮层(M1)、背侧与腹侧前运动皮层(PMd/PMv)的神经信号,解码为三维(3D)虚拟现实(VR)环境中的实时速度指令,实现了连续导航、目标切换与障碍物规避。该iBCI仅需短暂被动观察训练,解码器无需重训练即可跨任务和环境泛化,其性能显著优于离线仿真,凸显了闭环交互与神经可塑性的关键作用,为未来面向瘫痪患者的实用化脑控导航系统提供了重要技术基础。
想象一下,如果因为疾病或外伤导致身体瘫痪,连转动轮椅、拿起水杯这样简单的动作都无法完成,生活将变得何其艰难。脑机接口(Brain-Computer Interface, BCI)技术为此带来了希望,它旨在绕过受损的神经通路,直接将大脑的意图“翻译”成对外部设备的控制指令,比如控制机械臂或电脑光标。然而,实验室里的成功要走向现实世界,仍面临巨大挑战。以往的研究大多局限于在简单、可控的二维平面内操控光标或机械臂,这与现实世界中需要连续移动、躲避障碍、随时应对突发情况的复杂导航任务(如驾驶电动轮椅)相去甚远。此外,许多脑机接口系统需要使用者进行明显的肢体运动来训练解码器,或者需要频繁地重新校准,这对于完全瘫痪的患者来说并不适用。那么,能否开发一种更接近真实场景、更灵活、且无需使用者实际运动的脑机接口,让瘫痪患者也能实现自然、可靠的复杂环境导航呢?
为了回答这个问题,一项发表在《SCIENCE ADVANCES》上的研究迈出了关键一步。研究人员开发了一种创新的皮层内脑机接口,让猕猴仅仅通过“思考”,就能在沉浸式的三维虚拟现实世界中自如导航,完成包括抵达目标、躲避障碍、应对目标突然移位等一系列复杂任务。这项研究不仅将脑机接口的控制维度从二维提升到了更贴近现实的三维空间,更重要的是,其采用的全新训练和解码策略,展现出了强大的适应性和泛化能力,为未来脑机接口在瘫痪患者日常生活中的实际应用铺平了道路。
为开展这项研究,作者运用了几个关键技术方法:首先,在三只猕猴(Macaca mulatta)的初级运动皮层、背侧及腹侧前运动皮层植入犹他微电极阵列,同步记录多脑区的神经信号。其次,基于Unity引擎构建了具有立体视觉和动态摄像机跟踪功能的高沉浸感三维虚拟现实环境,模拟了从简单平面到复杂森林的不同场景。在方法学核心上,研究采用了一种经过非线性扩展的偏好子空间识别解码算法,该算法仅利用约7分钟的被动观察(猕猴观看虚拟球体自主运动)数据进行训练,之后便固定参数,用于在线实时解码神经活动为三维速度指令。此外,研究还系统地进行了离线解码分析、表面肌电与眼动信号关联分析等多种统计检验,以评估不同脑区的贡献并排除非神经因素的影响。
研究结果
成功率
为评估猕猴在三维虚拟现实环境中执行脑机接口控制任务的能力,研究者首先实施了中心-外任务和连续导航任务。所有三只猕猴从一开始的记录期就表现显著高于随机水平。在中心-外任务中,成功率最高可达96%。连续导航任务因包含动态摄像机跟踪,成功率略低(低4-13%)。猕猴3表现出明显的学习趋势。当移除虚拟形象、从第一人称视角进行连续导航时,成功率与标准任务相似,证实了脑机接口在不同视角间的适应性。
在后续设计的三项更具挑战性的任务中,猕猴也展现了灵活准确的脑机接口控制能力。在三维中心-外任务中,猕猴需要控制球体在三维空间中运动,总体成功率仍显著高于随机水平,表明无需额外训练即可直觉适应三维控制。在重生任务中,当目标在试验中途不可预测地移位时,两只被测猕猴在目标移位与不移位的试验中成功率接近90%,且无显著差异,显示了快速的任务适应能力。在障碍物任务中,猕猴学会了可靠的避障策略,其中一只猕猴在路径有障碍物的试验中取得了与无障碍物试验接近的成功率。
解码器泛化
该研究的解码器展现出跨任务、目标位置和环境的强大泛化能力。它仅在短暂的被动观察阶段针对标准中心-外布局的三个目标进行训练,之后无需任何重训练或重新校准,便被直接用于在线解码中心-外、障碍物和重生任务。解码器还能泛化到训练中未出现过的新目标位置,在新目标上的表现与预训练目标相当甚至更好。此外,解码器成功跨越了不同环境和代理表征:尽管是在简单网格环境中训练的,但它支持在视觉上完全不同的森林环境中进行精确的在线控制,并且在不同视觉表征(球体、猕猴虚拟形象、第一人称视角)下性能保持稳定。
离线解码揭示区域贡献与闭环动力学的重要性
为深入理解各脑区对解码性能的贡献,研究者对两只猕猴进行了离线解码分析。结果显示,腹侧与背侧前运动皮层在多项任务中一致性地优于初级运动皮层。前运动皮层组合(PMv + PMd)在脑区配对中取得了最高性能,并且通常与使用所有可用通道的“在线模拟”条件性能无显著差异,这表明前运动皮层信号具有协同作用,而一旦包含了前运动皮层活动,初级运动皮层所能提供的独立附加信息很少。解码器权重分析与此一致,大部分权重被分配给了前运动皮层电极。
然而,在所有离线条件下(包括使用相同解码器和神经数据的“在线模拟”),解码性能始终低于实际的在线闭环控制性能。研究者认为,这一性能差距主要源于解码器下游环节,即速度指令整合到实时虚拟现实系统中的方式不同,特别是从速度被解码到其视觉后果出现在屏幕上的可变延迟(约50-100毫秒)。这表明导航性能高度依赖于完整的闭环动力学以及快速响应感官反馈变化的能力,无法被离线的理想化回放完全捕捉。这一发现与猕猴在固定解码器条件下仍能表现出显著的会话内性能改善趋势相结合,为神经适应性提供了有力证据。
轨迹与抵达目标时间
研究者分析了在附加任务中脑机接口控制下球体的运动轨迹。在三维中心-外任务中,球体终点的高度坐标在上下目标试验间存在显著差异。在重生任务中,计算了猕猴对目标位置变化的反应时间,平均反应时间在数百毫秒量级。在障碍物任务中,轨迹分析揭示了不同猕猴的避障策略差异。与被动观察阶段(由虚拟现实引擎自动控制)相比,在线解码阶段(由猕猴通过神经活动实时控制)的抵达目标时间平均要慢15%(中心-外任务)到48%(连续导航任务),这突显了脑机接口控制任务的难度。
表面肌电与眼动对解码速度的影响
为确保解码出的速度指令确实源于皮层神经活动,而非残留的肌肉运动或眼球运动,研究进行了严格的相关性分析。表面肌电信号与解码出的速度分量之间的相关性系数极低,回归分析的R2值接近零,表明肌肉活动对解码速度的影响微乎其微。眼球位置与解码速度的相关性也很小,除了一项与自然行为(追踪球体位置)相关的预期相关性外,并未发现眼球运动能从根本上影响解码速度。
结论与讨论
本研究开发了一种稳健、灵活的皮层内脑机接口,使猕猴能够仅凭神经活动控制在三维虚拟环境中的运动。该系统的核心创新在于其训练范式和解码器架构。解码器仅通过一次短暂的被动观察进行训练,之后便作为固定解码器应用于多种复杂任务,无需重新校准。这种设计依赖于使用者的神经可塑性和解码器强大的跨任务泛化能力,更贴合完全瘫痪患者的实际情况。
在技术上,该解码器基于偏好子空间识别框架,并加入了非线性回归扩展,在复杂性和实时可行性之间取得了良好平衡。与主要依赖初级运动皮层和背侧前运动皮层的多数研究不同,本研究同时记录了腹侧前运动皮层的信号。离线分析表明,前运动皮层(特别是腹侧与背侧前运动皮层)携带了丰富的行为相关信息,其组合能支持高性能的脑机接口解码,而初级运动皮层的独立贡献相对有限。这确立了腹侧前运动皮层作为一个可行且未充分利用的脑机接口信号源的价值。
研究结果强调了闭环交互的关键作用。在线与离线性能之间的持续差距,以及猕猴在固定解码器条件下表现出的会话内适应,共同表明完整的、实时的感觉-运动闭环对于实现最佳脑机接口控制至关重要。猕猴能够根据视觉反馈动态调整其神经输出,这是一种离线分析无法捕捉的适应性学习。
此外,沉浸式的三维虚拟现实环境提供了逼真的视觉反馈,可能促进了这种闭环学习。该系统成功实现了跨环境、跨视觉视角的泛化,从简单网格到复杂森林,从第三人称到第一人称,展现了其应对现实世界多变场景的潜力。
总之,这项研究标志着脑机接口技术向实用化迈出了重要一步。它展示了一种能够实现快速、精确三维导航和灵活障碍规避的脑机接口系统,其基于被动观察的简短训练、强大的跨任务泛化能力以及对闭环适应的依赖,使其非常适用于帮助瘫痪患者在未来控制轮椅或其它辅助设备,在复杂真实的日常环境中重获行动自由,从而有望实质性提升他们的生活质量。