基于渐进扰动与具身虚拟现实（EVR）分离真实任务中的误差驱动学习与奖励驱动学习

《iScience》：Isolating error-based and reward-based learning in a real-world task via gradual perturbations in embodied VR

　　

摘要专业翻译 误差驱动学习（error-based learning）与奖励驱动学习（reward-based learning）机制在真实世界的运动学习中共同发挥作用。实验室任务通过操纵反馈来分离这两种机制，但研究人员先前的研究表明，在真实世界任务中，对较大误差的修正本身即具有奖励性，即使在没有奖励信号的情况下也会激活奖励驱动学习机制。本研究探讨的问题是：当误差保持较小时，这两种机制是否能够被分离。研究人员采用与实体球桌对齐的台球具身虚拟现实（embodied virtual reality, EVR）环境，在触觉和本体感觉反馈保持不变的条件下，逐渐旋转母球（cue ball）的视觉轨迹。32名参与者完成两次实验，分别在仅误差反馈和仅奖励反馈条件下学习相同的旋转扰动。参与者在失败击球后的探索行为以及运动皮层上的运动后β波反弹（post-movement beta rebound, PMBR）在两种条件下表现出显著差异。因此，渐进扰动能够在真实世界任务中分离这两种学习机制，并为康复训练和技能训练中针对性地调控这两种机制开辟了新途径。

论文解读

一、研究背景与问题

人类运动学习是一个动态过程，涉及内部模型（internal model）的持续更新，以最小化动作误差并优化运动表现。这一过程依赖于多种神经机制的复杂交互，其中最为核心的是误差驱动学习机制与奖励驱动学习机制。误差驱动学习通过调整运动指令来减少预测结果与实际运动结果之间的差异，其神经基础主要涉及小脑（cerebellum）内的适应过程；而奖励驱动学习则基于奖励信号优化运动行为，与基底节（basal ganglia）中的奖励通路及多巴胺（dopamine）释放密切相关。

在传统的还原主义实验室范式中，视觉运动旋转（visuomotor rotation）任务被广泛用于研究这两种学习机制。该范式将运动的视觉反馈相对于手的实际轨迹进行旋转，通过突然扰动（abrupt perturbation）或渐进扰动（gradual perturbation）两种不同的扰动施加方式，差异化地激活底层学习系统。突然扰动会立即产生显著的感官预测误差，强烈激活误差驱动学习机制；而渐进扰动则通过微小增量逐步引入旋转，参与者往往无法明确察觉扰动的存在。

然而，从还原主义实验室任务转向真实世界任务时，研究者面临一个重要挑战：在真实场景中，误差修正过程本身可能具有奖励性，使得即使在没有明确奖励信号的情况下，奖励驱动学习机制也会被激活。研究人员先前的研究证实了这一现象：在具身虚拟现实（embodied virtual reality, EVR）台球任务中引入突然扰动时，即使参与者仅接受误差反馈，其学习模式仍表现出奖励驱动学习的特征。这表明大误差条件下的误差修正过程足以激活奖励驱动学习机制，从而难以在真实世界任务中分离这两种学习机制。

基于这一困境，本研究提出一个关键科学问题：如果将误差保持在小范围内，是否能够抑制奖励驱动学习的参与，从而在真实世界任务中实现两种学习机制的相对纯净分离？

二、研究设计与核心发现

为回答上述问题，研究人员采用渐进扰动策略，在EVR台球任务中逐步引入视觉旋转扰动。32名健康参与者（年龄20–46岁，11名女性，21名男性）在两天内分别完成两次实验，一次接受仅误差反馈（观察母球滚动轨迹但无法看到目标球入袋结果），另一次接受仅二元奖励反馈（成功试次显示人工生成的成功轨迹，失败试次不显示任何轨迹）。每次实验包含基线阶段（75次试次）、旋转阶段（150次试次）和消退阶段（25次试次），旋转阶段中视觉轨迹每5次试次旋转0.2°，最终达到5°的总旋转量。

研究结果显示，在两种反馈条件下，参与者最终均完全补偿了旋转扰动，达到相当的最终学习水平。然而，学习速率、成功率模式和试次间变异性存在显著差异。奖励条件的学习曲线斜率（k_reward = 0.061）显著大于误差条件（k_error = 0.026），表明奖励反馈驱动了更快的学习过程。在奖励条件下，参与者的试次间变异性在整个旋转阶段持续升高，且失败后的调整幅度和变异性显著大于误差条件，反映出奖励驱动学习特有的探索性行为模式。

在神经层面，运动后β波反弹（PMBR）——运动停止后感觉运动皮层β频段（12–30 Hz）功率的短暂增强——在两种条件下表现出显著的分化趋势。奖励条件下，PMBR在旋转阶段持续下降（b = ?1.31, p = 0.008），与既往奖励驱动学习研究中的神经趋势一致；而误差条件下PMBR保持稳定（b = 0.08, p = 0.85），两种条件的趋势差异达到统计显著水平（β = ?1.39, p = 0.03）。进一步分析排除了成功率差异和基线β功率变化对PMBR趋势的混淆影响。

三、关键技术方法

本研究采用的主要技术方法包括：第一，具身虚拟现实（EVR）系统，基于Unity平台开发，将实体台球桌、球杆和母球与精确对齐的虚拟三维环境相结合，通过四台OptiTrack运动捕捉摄像头实时追踪参与者动作，在保留完整触觉和本体感觉反馈的同时实现对视觉反馈的精确操控；第二，无线干电极脑电图（EEG）记录，采用DSI-7头戴设备（7通道，300 Hz采样率），在VR头显下方同步记录大脑活动；第三，EEG预处理与时间-频率分析流程，包括FIR滤波、伪迹子空间重建（ASR）、独立成分分析（ICA）及ICLabel自动分类去除运动伪迹，采用复Morlet小波进行时间-频率分解，提取运动后β波反弹（PMBR）指标；第四，行为数据分析框架，包括学习曲线拟合、试次间变异性分析和奖励依赖性运动变异性（reward-dependent motor variability）计算。样本来源为伦敦帝国理工学院（Imperial College London）工作人员及学生群体。

四、研究结果

任务表现在不同反馈条件和扰动方案间的差异。 两种渐进条件下的参与者最终均完全补偿了全部旋转量，最终补偿水平相当（W_Block9 = 218, p = 0.40）。学习速率存在显著差异（F_mode|pert(1, 31) = 30.69, p < 0.001），两种条件均以逻辑斯蒂曲线（logistic curve）为最佳拟合，但斜率参数差异显著。成功率在基线阶段相似，在旋转阶段出现显著分化（F_mode|pert(1, 31) = 4.47, p = 0.04），消退阶段恢复一致。试次间变异性在两种条件间差异显著（F_mode|pert(1, 31) = 65.40, p < 0.001），奖励条件表现出持续升高的探索性变异性。

成功与失败后的试次间角度变化揭示了误差与奖励学习机制的贡献。 两种条件下，参与者失败后的调整幅度和变异性均显著大于成功后（所有p < 0.001）。条件间比较显示，奖励条件下的失败后调整增量显著大于误差条件（W_Mode|μ = 6, p < 0.001; W_Mode|σ = 5, p < 0.001），表明奖励反馈驱动了更强的失败后探索行为。与突然扰动误差条件相比，渐进误差条件的奖励依赖性运动变异性显著更低（U_{Pert_Mode|μ} = 696, p = 0.014; U_{Pert_Mode|σ} = 703, p = 0.011），证实渐进扰动下误差条件表现出更纯净的误差驱动学习特征。

运动后β波反弹（PMBR）作为学习机制的脑电标志。 基线阶段两种条件的PMBR趋势无显著差异（β_Mode|Base = 5.28, p = 0.31）。旋转阶段出现显著分化：奖励条件PMBR持续下降（b = ?1.31, p = 0.008），误差条件保持稳定（b = 0.08, p = 0.85），条件×时间交互效应显著（β = ?1.39, p = 0.03）。基线β功率在两种条件间无显著差异，排除PMBR变化由底层β活动波动所致的可能性。逐块PMBR与成功率的相关分析显示两种条件下均无显著相关，排除任务难度对PMBR趋势的驱动作用。

五、讨论与结论

本研究的核心贡献在于证明了渐进扰动策略能够在真实世界任务中分离误差驱动与奖励驱动学习机制。与突然扰动条件下误差反馈会表现出“类奖励”学习模式不同，渐进扰动将误差保持在小范围内，有效抑制了奖励驱动学习的参与，使得误差反馈条件呈现出相对纯净的误差驱动学习特征。行为层面，奖励条件表现出更高的试次间变异性和更大的失败后调整，符合强化学习理论中奖励信号促进探索以最大化未来收益的预测；误差条件则表现出平滑、低探索性的系统性修正模式。神经层面，PMBR的分化趋势为两种学习机制调用了不同的神经环路提供了证据：奖励驱动学习伴随PMBR的持续下降，而误差驱动学习则表现为PMBR的稳定或轻度上升。

研究结论指出，渐进扰动方案即使在更具生态效度的真实世界任务中也能提供相对纯净的误差驱动学习条件。这一发现不仅为在真实世界任务中研究误差驱动学习提供了方法论框架，也为神经康复和运动技能训练提供了潜在的应用途径——通过针对性地调控误差驱动机制，可以优化康复干预和技能训练的效果。研究局限性包括：移动EEG记录受运动相关伪迹的约束、参与者均为健康年轻成年人（推广至老年人群需进一步研究）、两次实验间隔窗口较宽（2–7天，平均4.25天）可能对保留效应产生潜在影响。