强化学习信号支持在语言切换过程中的动态自适应控制

《Communications Biology》：Reinforcement-learning signals support dynamic adaptive control during language switching

　　

摘要

语言切换体现了自适应控制的一个现实世界模型，因为双语者会根据不断变化的情境需求来选择使用哪种语言。尽管自适应控制假说（Adaptive Control Hypothesis, ACH）强调了双语者的语言控制依赖于具体情境，但这些策略是如何被学习的仍不清楚。基于强化学习（Reinforcement Learning, RL）理论，我们研究了奖励预测误差（Reward Prediction Error, RPE）是否驱动了自愿语言切换的行为。中英双语者完成了一个自愿的图片命名任务，该任务提供了概率性的奖励反馈（高、中、低三种概率），这些奖励反馈会根据他们的语言切换决策产生相应的RPE。计算建模显示，RPE动态地更新了一个抽象的、可泛化的语言切换策略。表征相似性分析（Representation Similarity Analysis, RSA）表明，这种控制策略的价值被存储在多任务学习（Multitask Learning, MTL）中，而RPE的表征则出现在背外侧前额叶皮层（Dorsolateral Prefrontal Cortex, dlPFC）中。此外，基于连接组的预测建模（Connectome-Based Predictive Modeling, CPM）揭示了一个多阶段的网络过程：最初是一个分布式的、跨网络的模式，用于探索性学习；随后转变为一个以中心节点为核心的模式，用于策略的利用；最后，网络进一步特化为一个局部化的电路，用于策略的自动化执行，同时还有一个全球分布的网络用于监控意外错误。这些发现共同证明了语言切换是一种基于价值的强化学习过程。这为策略学习提供了一个神经计算框架，将强化学习原理从简单的刺激-反应机制扩展到了高级认知控制领域。