《Experimental Brain Research》：The sign of exploration during reward-based motor learning is not independent from trial to trial
编辑推荐：
在奖励驱动的运动学习（reward-based motor learning）研究中，为探究人类运动探索是否随机，研究人员开展了力生成任务研究。结果发现，人类运动探索并非随机，这一成果有助于理解运动学习机制，为康复和教学范式设计提供理论依据。
在日常生活里，人们时常面临各种需要学习的运动任务，比如学会精准投篮、熟练驾驶车辆等。在这些学习过程中，奖励反馈起着关键作用，成功时得到的肯定和奖励，失败时的反思，都引导着我们不断改进运动表现。然而，目前在奖励驱动的运动学习（reward-based motor learning）领域，有一个重要的假设一直未被验证。
当下多数计算模型认为，运动学习中的探索是一个随机过程，就像从以零为中心的正态分布里随机抽取样本，每次试验都是独立的，互不影响。但这一假设真的符合人类运动学习的实际情况吗？如果探索并非随机，那现有的基于随机探索假设的探索量化方法，比如依据变异性幅度或模型拟合来衡量，可能就存在偏差。而且在现实场景中，随机探索在当前表现与奖励表现差距较大时，学习效率可能不高。所以，验证这一假设对深入理解运动学习机制，以及设计更有效的康复训练和教学方法至关重要。
来自荷兰阿姆斯特丹自由大学（Vrije Universiteit Amsterdam）等机构的研究人员，针对这一问题展开了研究。他们通过一项基于模板的力生成任务（stencil-based force production task），对比了行为数据中试验间力变化同号（same-sign changes）的比例与随机探索预期比例，以此判断人类运动探索是否随机。研究结果表明，人类在奖励驱动的运动学习中，运动探索并非随机。这一发现意义重大，它打破了以往对运动学习中探索行为的认知，为后续研究运动学习机制指明了新方向，也为康复治疗和教育领域的相关实践提供了重要的理论支撑。该研究成果发表在《Experimental Brain Research》杂志上。
为开展这项研究，研究人员采用了以下主要关键技术方法：首先，招募了 61 名参与者，将其分为自适应奖励标准组（Adaptive group）和固定奖励标准组（Fixed group）。参与者需在平板电脑上完成力生成任务，通过二进制奖励反馈（binary reward feedback）来调整用力。其次，对参与者的行为数据进行分析，计算试验间力变化同号的比例和学习指标。最后，运用模型模拟（model simulations），对比不同模型对数据的解释能力。
研究结果主要从以下几个方面呈现：
- 行为数据：自适应奖励标准组的奖励率（0.50）明显高于固定奖励标准组（0.21），但两组的动机无显著差异。两组试验间力变化同号的比例均高于随机探索预期的 1/3，自适应组为 0.40± 标准误（SEM）=0.01，固定组为 0.41±SEM=0.01 。两组的学习效果和解决的目标数量也无显著差异。
- 模型模拟：对于自适应奖励标准下的数据，当探索变异性相对较低时，模型可以解释试验间力变化同号的比例；而对于固定奖励标准下的数据，模型无法解释这一比例。在学习方面，自适应奖励标准下多数模型能解释学习效果，固定奖励标准下只有 Dhawale19 模型能解释。
研究结论和讨论部分指出，人类在奖励驱动的运动学习中，除了调整探索变异性幅度，还存在一种有方向的探索，倾向于重复探索方向，这在固定奖励标准下尤为明显。自适应奖励标准下试验间力变化同号比例可能受奖励标准分类偏差影响。此外，研究还探讨了几种可能的非随机探索策略，但目前无法确定单一策略能解释所有行为，人类可能会在不同学习情境中并行使用多种策略。
总的来说，该研究为奖励驱动的运动学习研究开辟了新视角，让人们认识到运动探索的非随机性。未来研究可以进一步探索人类在不同学习情境下具体采用的探索策略，以及如何将这些发现更好地应用到康复治疗和教育实践中，提高运动学习效果。
