虚拟现实诱导的具身启动对运动想象脑机接口训练中事件相关去同步化(ERD)影响的验证性研究
《Frontiers in Human Neuroscience》:When embodiment matters most: a confirmatory study on VR priming in motor imagery brain-computer interfaces training
【字体:
大
中
小
】
时间:2025年09月26日
来源:Frontiers in Human Neuroscience 2.7
编辑推荐:
本研究通过一项确认性实验探讨了虚拟现实(VR)诱导的具身感(SoE)作为启动机制在运动想象(MI)脑机接口(BCI)训练中的作用。研究采用组内设计,结合脑电图(EEG)分析事件相关去同步化(ERD)和偏侧化指数(LI),发现尽管具身诱导成功增强主观SoE,但并未显著改善ERD响应或BCI分类性能。研究强调实时VR反馈是提升MI-BCI表现的关键,为神经康复中个性化训练协议的设计提供了重要依据。
虚拟现实(VR)技术正日益融入脑机接口(BCI)应用,特别是在运动想象(MI)训练领域展现出强大潜力。MI-BCI通过绕过常规神经肌肉通路,实现用户通过心理重复运动而不依赖实际肌肉活动来控制外部设备。当与VR结合时,这些系统能够提供沉浸式和生态效度高的交互环境,增强用户对虚拟化身的具身感(Sense of Embodiment, SoE),即用户将虚拟身体视为自身一部分的感知。这种具身幻觉在更有效地吸引用户并影响神经活动模式方面发挥着关键作用,使得VR成为神经康复和BCI训练的理想媒介。
SoE源于多种感觉和认知线索的整合,包括视觉运动、视觉触觉和本体感觉反馈。当这些线索一致时,用户会体验到对虚拟身体更强的所有权感以及能动性(Sense of Agency, SoA)——即对化身运动的控制感。研究表明,通过VR诱导SoE可以增强参与度、沉浸感和神经生理反应,使其成为MI-BCI训练的有效工具。
VR-MI-BCI系统通过脑电图(EEG)记录的神经生理数据驱动沉浸式虚拟环境中的实时交互。借助多模态感觉反馈(如视觉、听觉和触觉刺激),VR已被证明可以提升MI表现、参与度和神经可塑性。特别是,VR增强MI训练的有效性得到其强化感觉运动活动的能力支持,该活动通过Alpha和Beta频带中的事件相关去同步化(Event-Related Desynchronization, ERD)进行测量。更强的ERD与更有效的运动学习相关,使得基于VR的MI-BCI系统在卒中康复和其他运动障碍治疗中具有广阔前景。
尽管VR在MI-BCI训练中已显示出明确益处,例如研究表明VR中的运动启动可以增强ERD并改善BCI控制,但其作为准备机制的潜力表明,训练前的感觉运动参与可能促进后续的MI表现。然而,先前的虚拟具身(具身启动)在调节MI相关EEG活动中的作用仍是一个悬而未决的问题。这种启动通过允许参与者从第一人称具身视角探索虚拟环境,从而熟悉虚拟身体,可能会增强训练期间的具身效果。但迄今为止,只有Vagaja等人(2024)的研究直接探讨了这个问题,比较了有和无先前具身暴露的MI-BCI表现。在该试点工作中,未发现先前具身条件相对于MI条件的显著优势,但指出了重要局限性,特别是相对较小的样本量和组间设计可能引入了受试者间变异性。因此,关于在MI训练前诱导虚拟环境具身的潜在效果,文献中仍存在空白。
为应对这些问题,本研究基于我们先前的研究(Vagaja等人,2024),采用组内设计并扩大样本量。这种方法上的改进最小化了个体MI响应的变异性,允许更精确地评估SoE对MI-BCI训练的影响。通过分析不同具身条件下的ERD模式和偏侧化指数,本研究旨在阐明先前虚拟具身影响MI表现的程度。
本研究基于先前进行的试点研究(研究1)的数据,并结合新收集的扩展研究(研究2)数据,采用改进的方案和更大的样本量。最终合并数据集共包括39名参与者。为保持方法学一致性,两个数据集应用了相同的程序和分析方法。
试点研究数据集包括26名右利手健康参与者(10名男性,16名女性),随机分配到对照组(5名男性,8名女性)或具身组(6名男性,7名女性),平均年龄24.12±5.99岁。实验在一个类似于真实物理房间的虚拟环境(VE)中进行,参与者观看一个性别匹配的化身坐在桌旁,桌上有一面虚拟镜子。VE使用Unity 3D引擎创建,化身通过Ready Player Me生成。沉浸式反馈通过Oculus Rift CV1头显、Oculus Touch控制器和Constellation传感器进行手部追踪提供。EEG信号使用可穿戴LiveAmp EEG放大器(Brain Products GmbH)记录,配备32个按照10-20系统放置的主动电极,采样率为500Hz。
数据收集包括三个阶段:(1)静息态EEG记录(4分钟),(2)VR中的具身阶段(5分钟,诱导或破坏),以及(3)在类似VR场景中的MI训练(15分钟)。在具身阶段,组间条件不同,采用组间设计。具身组通过视觉运动、视觉触觉和视觉本体感觉触发体验VR诱导的SoE。在3分钟内,他们从第一人称视角探索VE,其化身的运动与他们自己的运动同步。随后进行2分钟的虚拟手幻觉(VHI),虚拟刷子刷他们的右虚拟手,同时他们感受到相应的真实手部刺激。相比之下,对照组经历相同的阶段,但触发被破坏以打破幻觉,具体为观看一个独立运动的第三人称化身,并在VHI期间在相反的手上接受不一致的刷子刺激。实验阶段可通过在线视频说明。之后,所有参与者使用7点Likert量表完成经过验证的SoE和物理存在问卷,改编自Peck和Gonzalez-Franco(2021)以及多模态存在量表(MPS)。然后,他们在同一VE中从第一人称视角执行手部抓握MI训练任务。训练包括40次试验(每只手20次,随机呈现),每次试验包括10秒休息期,随后是10秒MI期,其中视觉提示(箭头)指示哪只手进行想象抓握,同时观察相应的虚拟手运动。
扩展研究的数据收集程序遵循试点研究(Vagaja等人,2024)的方法,但采用了组内设计。实验过程示意图展示了数据收集阶段和使用的VE。
仅考虑年龄在18至75岁之间、至少有9年教育背景、且不患有严重神经或精神疾病(定义为在研究时无法参与工作生活)的成年人参与实验。
最初招募了15名参与者,但有两名因EEG记录期间遇到的问题(大量伪迹或电极故障)被排除。因此,新扩展数据集包括13名健康受试者(7名女性,53.85%;6名男性,46.15%),平均年龄26.08±6.57岁,几乎没有MI任务经验。参与者在实验前完成了运动想象生动性问卷-2(VMIQ-2),显示低想象能力(内部视觉想象:1.711±0.582;动觉想象:1.928±0.840;外部视觉想象:2.111±0.745,采用5点Likert量表)。爱丁堡利手问卷(EHI)确认所有参与者均为右利手,平均偏侧商数(LQ)为62.05±21.74,所有参与者均遵循1964年赫尔辛基宣言的伦理指南签署了知情同意书。
实验包括七个记录阶段,从信息和人口统计学问卷开始,随后是EEG设置和静息态EEG记录。然后,VR头显被小心地放置在电极上方,并在整个实验过程中保持位置固定以防止位移。参与者随后以随机顺序进行“具身”或“控制”条件。每个条件结束时,在进入手部抓握MI训练阶段之前完成SoE和存在问卷。完成一个条件及其相应的MI训练后,参与者过渡到下一个条件,确保每个个体在具身后(MI具身条件)和控制后(MI控制条件)都经历MI训练。此外,在与具身条件相关的MI训练后,参与者以随机顺序完成两个在线BCI阶段。
信息和EEG设置:参与者获得同意书、相关研究信息、EHI问卷和人口统计学问卷。随后使用导电凝胶进行EEG设置,以保持电极阻抗低于10kΩ。
静息态:该阶段包括2分钟睁眼 followed by 2分钟闭眼静息态EEG记录,总共4分钟。
具身条件:参与者通过视觉运动、视觉触觉和视觉本体感觉线索接受VR诱导的SoE。阶段开始前提供指导,然后参与者进入VE,从第一人称视角观看性别匹配的化身(视觉本体感觉触发)。随后,他们探索VE 3分钟,环顾四周,在桌面的镜子中看到自己的反射,并移动他们的虚拟手、头部和躯干,同时保持坐姿。化身的运动与他们自己的运动同步(视觉运动触发)。之后,参与者保持静止,实施VHI。他们专注于右手,出现一个虚拟刷子,刷虚拟手2分钟,与实验员刷他们的真实手完美同步(视觉触觉触发)。之后,参与者退出VE,产生5分钟的EEG记录,并口头回应具身问卷。
控制条件:该条件镜像具身条件,但具身线索被破坏。参与者进入VE并从第三人称视角观看性别匹配的化身(不一致的视觉本体感觉触发)。化身的运动独立于他们的真实运动(不一致的视觉运动触发)。他们探索VE 3分钟,随后进行2分钟被破坏的VHI。参与者专注于右虚拟手进行被破坏的VHI,同时感受真实手被刷,但在VE中没有视觉确认(不一致的视觉触觉触发)。2分钟后,刷子停止,参与者退出VE,并口头回应相同的具身问卷。因此,通过系统地在视觉本体感觉、视觉运动和视觉触觉触发中引入不一致,该条件控制了多感觉一致性效应,并确保具身无法出现,作为非具身/控制条件。
MI训练:该阶段开始前提供指导,向参与者解释如何执行MI任务,然后参与者重新进入VE,该环境类似于具身/控制场景,但没有虚拟镜子,因此参与者只能专注于桌面的虚拟手。训练包括30次随机呈现的试验,每类(左/右手抓握)15次试验。每次试验包括5秒休息期,随后是5秒MI任务期。参与者专注于放置在两只虚拟手之间的十字。当箭头指向一只手(视觉提示)时,他们被指示重复想象抓握动作,同时观察手部运动(MI任务)。完成试验后,参与者退出VE,并口头回应一个具身问题(“MIQ1—我感觉我所看到的身体是我自己的身体。”),采用7点Likert量表。
在线BCI:参与者重新进入MI训练阶段使用的相同虚拟环境(VE)并重复任务。在此阶段,通过机器学习分类器提供实时反馈,该分类器在具身条件下MI训练阶段收集的数据上进行训练。该测试阶段包括两个会话,每个会话根据分类器的输出提供不同类型的反馈。由于BCI性能结果不是本分析的重点,此处不包括机器学习方法的进一步细节;这些方法严格遵循Vagaja等人(2024)先前描述的方法。
EEG设备和采集:EEG设置遵循我们试点研究的相同配置,使用32个按照10-20系统排列的主动电极,参考电极位于左乳突。EEG信号以250Hz采样率使用LiveAmp 32 EEG无线放大器(Brain Products GmbH, Gilching, Germany)和BrainVision Recorder软件(Brain Products GmbH, Gilching, Germany)记录。此外,在线信号处理和分类由NeuXus执行,这是一个基于Python的EEG信号处理工具。为防止VR头显干扰,电极被小心地放置在其下方。
VR场景和设备:实验在我们试点研究相同的VE中进行,参与者坐在虚拟桌前,面对放置在桌上的镜子,房间复制了他们的真实环境。该VE使用Unity 3D游戏引擎开发,可在线公开获取。参与者通过Ready Player Me生成的性别匹配化身进行交互,反馈通过Oculus Rift CV1头显(Oculus VR, Meta Inc.子公司, United States)提供,使用Oculus Touch控制器和Constellation传感器进行手部追踪。
为评估SoE,从Peck和Gonzalez-Franco(2021)选取了16个问题,并添加了从多模态存在量表(MPS)改编的5个额外问题。参与者使用7点Likert量表提供口头回应。
- •外观 = (E1 + E2 + E3 + E4 + E5 + E6 + E9 + E16)/8
- •响应 = (E4 + E6 + E7 + E8 + E9 + E15)/6
- •所有权 = (E5 + E10 + E11 + E12 + E13 + E14)/6
- •多感觉整合 = (E3 + E12 + E13 + E14 + E15 + E16)/6
- •
- •具身 = (外观 + 响应 + 所有权 + 多感觉整合)/4
- •物理存在 = (P1 + P2 + P3 + P4 + P5)/5
此外,仅针对新记录的数据,添加了一个额外特征,指受试者在MI训练阶段感受到的SoE(“MIQ1—我感觉我所看到的身体是我自己的身体。”):
分析聚焦于MI训练阶段以解决研究目标。具体而言,在具身条件后进行的MI训练称为MI具身,而在控制条件后进行的MI训练称为MI控制。此外,Vagaja等人(2024)的数据集也进行了以下信号预处理,确保在分析记录和合并数据集时所有信号使用相同的策略处理。
EEG信号使用EEGLAB工具箱(v2023.1)在MATLAB版本R2022a和R2023b中处理。
预处理:信号首先下采样至125Hz,在1至40Hz之间滤波,并使用伪迹子空间重建(ASR)算法清除噪声和伪迹。使用该技术,如果通道保持平坦超过5秒、在超过15%的窗口中包含伪迹、与其他通道的相关性低于0.5或表现出过多的线路噪声,则移除通道。使用10个标准差的突发标准来检测伪迹,而不应用高通滤波或段移除,旨在完全保留信号。接下来,插值被消除的通道,并将信号重新参考到共同平均,随后进行独立成分分析(ICA)以进一步移除伪迹成分。被ICLabel识别为眼或肌肉伪迹且概率大于90%的成分被标记为自动拒绝。此外,所有成分都经过视觉检查,最多手动选择六个成分进行移除。最后,将信号从-5到5秒分段,用于左右手试验,对应试验结构(5秒基线 followed by 5秒MI训练),并确保捕获整个想象期。每个分段都经过视觉检查,并移除坏分段。
时频分析:从预处理信号中提取事件相关谱扰动(ERSP),隔离Alpha频带范围(8–12Hz),并使用公式1将其转换为ERD。ERD值表示MI任务期间Alpha功率相对于基线(MI期前的对称秒数)的百分比下降。为进一步分析,计算了每个电极在1至5秒之间的平均ERD,从而为每个受试者和试验创建ERD头皮图。MI任务触发后的第一秒被排除,因为参与者需要一些时间来启动任务(反应时间),导致与感兴趣ERD无关的频带功率初始峰值。此外,使用公式2计算偏侧化指数(LI)。LI是神经成像研究中常见的指标,量化半球间神经激活的不平衡,其中正LI值表示更大的对侧去同步化。
为进一步研究具身强度(通过问卷测量)与脑活动指标(ERD和LI值)之间的关系,使用合并数据集开发了线性模型。使用了两种方法:简单线性回归(LR;公式3)作为基线,和线性混合效应(LME)模型(公式4)。LME模型通过纳入随机效应扩展了线性回归,允许它们解释群体亚组内的个体变异,这可能由于Vagaja等人(2024)数据集的组间设计而产生。对于ERD,分别对每只手试验应用模型,以解释SoE与特定手之间可能的相关性差异,因为手部优势会影响MI任务期间的ERD调制。
与试点研究类似,计算了扩展数据集中MI训练期间的EEG分类准确性,以区分左右手MI试验。该分析旨在评估每个条件(MI控制和MI具身)内MI相关EEG特征的可区分性。每个受试者的EEG数据在8至28Hz之间进行带通滤波,以针对Alpha和Beta频带内的活动,随后使用公共空间模式(CSP)进行特征提取,保留六个空间滤波器。CSP是标准MI-BCI特征提取的常用算法,因为它区分运动相关空间模式并最大化两个类别之间的差异。接下来,在提取的CSP特征上训练收缩线性判别分析(LDA)分类器,并使用蒙特卡洛交叉验证评估其性能,进行10次迭代,每次折叠中测试集包含20%的数据。对于每个受试者,最终分类准确性计算为所有折叠中的平均准确性。
为确定比较条件(MI控制 vs. MI具身)的适当统计方法,使用Kolmogorov–Smirnov和Levene检验分别评估了ERD和LI值的正态性和方差齐性。这些检验在扩展数据集和试点研究数据集上分别进行,以调查特征分布是否遵循正态性并在条件间具有一致方差。尽管一些特征满足正态性和方差齐性标准,但结果在数据集内部和之间不一致。此外,每个数据集中的小样本量(每个条件仅13名受试者)导致选择非参数检验以确保方法学一致性。因此,所有条件之间的比较和特征分析均使用Mann–Whitney U检验进行。为评估参与者在MI任务期间诱导ERD的能力,应用了单样本Wilcoxon符号秩检验。最后,使用AIC、BIC和R2评估线性模型,这些指标提供了模型对数据拟合的见解。拟合模型还为每个预测变量生成p值,表明它们在预测响应变量(ERD和LI值)方面的统计显著性。对于所有检验和比较,使用0.05的显著性水平(p值 < 0.05)。
结果分为四个部分呈现。首先,我们报告具身问卷的主观回应,以确认具身幻觉的成功诱导。其次,我们检查先前具身对EEG活动的影响,重点关注ERD及其偏侧化。第三,我们呈现LME建模的结果,以探索具身强度与EEG指标之间的关系。最后,我们报告训练分类器在区分训练期间左右手MI类别EEG模式方面的性能。
通过问卷的主观回应证实了在扩展数据集中成功诱导了具身幻觉,在具身条件下多个具身维度的得分显著高于控制条件:外观(控制:3.30 ± 1.35,具身:4.40 ± 1.15;U = 175.00,p = 0.02)、响应(控制:3.22 ± 1.54,具身:5.08 ± 0.95;U = 156.50,p < 0.001)、所有权(控制:3.23 ± 1.67,具身:5.34 ± 0.82;U = 153.50,p < 0.001)、多感觉整合(控制:3.27 ± 1.48,具身:5.50 ± 0.91;U = 149.50,p < 0.001)、能动性(控制:3.13 ± 1.55,具身:4.77 ± 1.29;U = 166.00,p = 0.01)和整体具身(控制:3.25 ± 1.44,具身:5.08 ± 0.88;U = 151.00,p < 0.001)。然而,存在得分在条件之间保持较高且无显著差异(控制:4.56 ± 1.46,具身:5.33 ± 1.20;U = 194.50,p = 0.12)。类似地,MI训练期间的SoE得分在MI控制(4.80 ± 1.61)和MI具身(4.73 ± 1.67;U = 235.00,p = 0.93)条件中均较高且可比。
鉴于扩展数据集证明了具身幻觉的有效操纵,与试点研究(Vagaja等人,2024)一致,将两个数据集合并为“合并数据集”进行统一分析是合适的。这种整合分析进一步强化了条件之间SoE的差异。具体而言,具身条件在外观(控制:3.67 ± 1.22,具身:4.46 ± 1.01;U = 634.00,p = 0.01)、响应(控制:3.56 ± 1.42,具身:5.02 ± 0.84;U = 565.50,p < 0.001)、所有权(控制:3.48 ± 1.45,具身:5.36 ± 0.70;U = 523.00,p < 0.001)、多感觉整合(控制:3.64 ± 1.45,具身:5.60 ± 0.72;U = 526.00,p < 0.001)、能动性(控制:3.57 ± 1.62,具身:5.05 ± 1.17;U = 591.50,p < 0.001)和整体具身(控制:3.59 ± 1.31,具身:5.11 ± 0.73;U = 531.00,p < 0.001)方面产生显著更高的得分。只有存在得分没有显著差异,在两种条件中均保持较高(控制:4.64 ± 1.26,具身:5.18 ± 0.97;U = 703.00,p = 0.12)。
总体而言,扩展数据集中的受试者表现出清晰的ERD诱导,具有预期的ERD和LI模式;然而,先前具身并未导致MI任务期间运动相关C3和C4通道中ERD的显著差异。合并数据集中观察到类似情况,没有证据表明MI训练前成功诱导SoE。尽管如此,在MI具身条件下注意到LI变异性更大的趋势,表明对具身启动的反应更加异质。虽然未发现组水平效应,但个体在具身易感性上的差异可能影响了神经反应,为未来研究提供了相关线索。
首先呈现扩展数据集中诱导ERD的能力,13名受试者中有7名在所有手部试验和条件(MI控制和MI具身条件中的左右手试验)中成功在C3和C4电极产生显著ERD,证明了他们正确诱导ERD的能力。
受试者02、03和10缺乏正确的同侧ERD。受试者02未在MI具身条件中产生显著同侧ERD(左试验中的C3和右试验中的C4),并且在MI控制条件右试验的同侧区域(C4)也缺乏显著ERD(p值 = 0.34)。受试者03在任一条件的左试验中未表现出同侧ERD(C3),而受试者10在MI控制条件中未达到其显著性(p值 = 0.59)。此外,受试者16、17和19代表更令人担忧的情况,具有不完美的对侧ERD。受试者16在MI控制条件右试验中未显示对侧ERD(C3),同时在MI控制左试验的同侧区域(C3;p值 = 0.31)和MI具身右试验(C4;p值 = 0.07)中具有非显著ERD。受试者17在MI控制左试验中缺乏对侧ERD(C4),在MI具身右试验中缺乏同侧ERD(C4),并且在MI具身左试验中C3具有额外的非显著ERD(p值 = 0.18)。类似地,受试者19未能在MI控制左试验中产生显著对侧ERD(C4;p值 = 0.93)和在MI具身右试验中产生同侧ERD(C4;p值 = 0.15),同时在MI控制左试验中也缺乏C3的ERD。
尽管如此,受试者总体上产生了显著ERD,如ERD分析摘要所示。C3和C4 ERD分布显示MI具身和MI控制条件之间没有实质性差异,除了MI具身在左试验中ERD稍强(-40.00%)以及左试验与右试验相比ERD分布更广。ERD时间过程说明了预期的ERD时间模式,Alpha功率抑制在触发后不久(0毫秒)开始,并在整个试验期间保持抑制。然而,它呈现快速波动,持续快速返回基线。头皮图证实了感觉运动区域上的ERD诱导,尽管在MI具身右试验中,最强的去同步化向顶枕区域转移,而不是直接在同侧电极(C4)上。值得注意的是,对侧电极在所有手部试验和条件中表现出比同侧电极更强的ERD。这种ERD偏侧化得到正LI值的进一步支持,尽管MI具身(LI = 14.53%)中的偏侧化略低于MI控制(LI = 11.43%)。此外,当先前具身存在时(MI具身),LI变异性更大,表明偏侧化效应更加分散。尽管存在这些趋势,但未观察到任一
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号