丘脑调控强化学习策略的神经机制：从人类fMRI到小鼠光遗传学的多模态研究

《Nature Communications》：Thalamic regulation of reinforcement learning strategies across prefrontal-striatal networks

本研究揭示了内侧丘脑(MD)在调控强化学习(RL)策略转换中的关键作用。研究人员通过人类fMRI、小鼠光遗传学实验和计算建模，发现MD的功能分区（外侧MD支持模型无关RL，内侧MD支持模型相关RL）通过不同的丘脑-前额叶通路协调行为适应。该研究为理解认知灵活性神经基础提供了新视角，对精神疾病机制研究具有重要意义。

　　

在日常生活中，我们经常需要根据环境变化调整行为策略。比如当熟悉的道路封闭时，司机会迅速寻找替代路线；当工作流程改变时，员工需要适应新的操作方式。这种认知灵活性对生存至关重要，但其背后的神经机制尚不完全清楚。

传统理论认为，强化学习(Reinforcement Learning, RL)存在两种策略：模型无关(Model-Free, MF)策略基于试错学习，而模型相关(Model-Based, MB)策略则利用环境内部模型进行规划。然而，大脑如何在这两种策略间灵活切换仍是一个未解之谜。内侧丘脑(Mediodorsal Thalamus, MD)作为前额叶皮层(Prefrontal Cortex, PFC)的关键枢纽，可能在这一过程中发挥重要作用。

为了揭示这一机制，研究人员在《Nature Communications》上发表了题为"Thalamic regulation of reinforcement learning strategies"的研究论文。该研究通过多学科方法，结合人类神经影像、小鼠光遗传学干预和计算建模，系统阐述了MD在强化学习策略转换中的核心作用。

主要技术方法包括：人类功能性磁共振成像(fMRI)结合概率反转学习任务（32名参与者）；小鼠光遗传学抑制MD神经元活动；扩散张量成像(DWI)追踪白质纤维连接；动态因果模型(DCM)分析脑区有效连接；以及CogLink计算建模模拟决策过程。

人类规则反转任务揭示MD在行为适应中的关键作用

研究人员设计了精巧的概率反转学习Go/NoGo任务。参与者需要通过触觉刺激学习刺激-反应关联，并在随机时点进行规则反转。通过计算建模将试次分为模型无关(MF)和模型相关(MB)两类，发现MD在规则反转期间活动显著增强，且其不同亚区分别编码两种学习策略的信号。

MD功能分区的证据：外侧支持MF而内侧支持MB

fMRI分析显示，MD存在功能分区：外侧MD活动与模型无关的奖励预测误差(Reward Prediction Error, RPE)相关，而内侧MD活动与模型相关的状态预测误差(State Prediction Error, SPE)相关。心理生理交互分析(Psychophysiological Interaction, PPI)进一步表明，外侧MD主要与背外侧前额叶(Dorsolateral Prefrontal Cortex, dlPFC)功能连接，内侧MD则与眶额皮层(Orbitofrontal Cortex, OFC)连接。

表征相似性分析揭示策略编码的神经基础

表征相似性分析(Representational Similarity Analysis, RSA)显示，MD、背内侧前额叶(Dorsomedial Prefrontal Cortex, dmPFC)和尾状核(Caudate Nucleus, CN)在规则反转后编码决策策略信息。特别是在模型相关试次中，这些脑区对正确策略（转换）和错误策略（保持）的表征差异更加明显，表明高质量的策略更新需要精确的神经表征。

动态因果模型验证跨脑区信息流

动态因果模型(Dynamic Causal Modeling, DCM)分析表明，MD在规则反转期间接收感觉输入并向前额叶皮层传递信息。这种"自下而上"的信息流在模型相关学习中更加突出，而模型无关学习则更多依赖"自上而下"的处理模式。

小鼠光遗传学实验证实MD的因果作用

研究人员通过光遗传学抑制小鼠MD活动，发现这种干预显著损害规则反转学习能力，但不影响初始学习。这种效应在反转后的早期试次尤为明显，证实MD对行为适应具有因果必要性，而不仅是对行为变化的相关反应。

CogLink计算建模阐明机制原理

CogLink模型模拟显示，MD通过调控前额叶皮层中的上下文表征来指导决策。模型中外侧MD和内侧MD分别处理不同层次的不确定性，并通过丘脑-皮层回路协调模型无关和模型相关系统的工作分配。

白质纤维追踪证实解剖连接特异性

扩散磁共振成像 tractography 分析显示，模型相关MD主要连接腹侧前额叶区域，而模型无关MD主要连接背侧前额叶区域。这种解剖连接的特异性为功能差异提供了结构基础。

本研究通过多水平证据表明，内侧丘脑作为关键枢纽，通过功能分化的并行通路协调强化学习策略的灵活切换。外侧MD-背外侧PFC通路支持模型无关学习，内侧MD-眶额皮层通路支持模型相关学习。这一发现不仅深化了对认知灵活性神经机制的理解，还为精神分裂症、自闭症等认知障碍疾病的研究提供了新视角。该研究建立的实验范式和分析框架为未来研究奠定了基础，有望推动对高级认知功能的精准解析。