前额叶-皮层下双回路估计可控性并反映其对学习的调控作用

《Neuron》：Two prefrontal-subcortical circuits estimate controllability and reflect its impact on learning

　　

研究人员提出两类前额叶-皮层下（prefrontal-subcortical）回路分别用于估计环境可控性（controllability）并编码其对强化学习（reinforcement learning, RL）的调控。模型将可控性后验记为 P(N)，在试次 t 观测结果 ot 给定情境 N 的条件概率为 P(ot|N)；更新量由学习率 α 与置信度权重 wt 调制，修正后权重为 wt=2P(ot|N)-1，即相对 0.5 的“有符号偏离（signed deviation）”。更新式为 P(N)′=P(N)+α(2P(ot|N)-1)δt，其中 δt 为预测误差（prediction error）。有符号置信度使可控性估计可沿正、负方向修正：当被试置信高于 0.5 时放大同号更新，低于 0.5 时引入反向校正。该修正仅涉及图 2D 与 STAR Methods 的文字呈现；实际拟合与分析早已采用 2P(ot|N)-1，因此已报告结果、脑成像关联与结论均不受影响。研究人员据此说明，人类学习不仅依赖奖赏预测误差，还依赖对“行为能否改变结果”的元控制信念，前额叶-皮层下回路可将可控性估计转化为学习率（learning rate）或更新增益（update gain）的在线调节信号。

研究背景方面，传统强化学习理论强调预测误差驱动价值更新，但在真实环境中，个体先要判断“我的行为到底能不能影响结果”，再去决定要不要学、怎么学。现有模型常把学习率视为固定或缓慢适应的参数，难以解释人为何在高可控与低可控环境中表现出截然不同的学习灵敏度和信心校准。研究人员指出，环境可控性本身是一种需要被在线估计的隐藏状态；如果大脑不能同时跟踪“世界是否可控”与“我对自身表现的信心”，就会出现过度学习、习得性无助或错误归因。该项研究由此开展：研究人员以计算精神病学（computational psychiatry）与认知神经科学框架，检验前额叶-皮层下回路是否分别承担可控性估计与其对学习影响的表达。

论文发表在《Neuron》。研究人员通过行为实验、强化学习建模、模型比较与 fMRI 信号回归，发现两条功能分离的回路：一条以前额叶为主，持续估计环境可控性；另一条以皮层下结构为主，把可控性信号转化为学习更新强度的调节项。意义在于把“元控制（meta-control）”从抽象概念落成可拟合、可定位、可解释的神经网络计算：学习不再是单一预测误差累积，而是先问“值不值得学”，再由置信度门控更新幅度。

关键技术方法上，研究人员招募健康被试完成可控性推理与概率学习任务，构建含可控性后验 P(N)、条件结果概率 P(o_t|N)、预测误差 δ_t 与置信度权重 w_t=2P(o_t|N)-1 的 RL 模型；采用最大似然或贝叶斯参数估计进行个体与组水平模型拟合，用保护误差（protected exceedance probability）等指标做模型证据比较，并将被试级参数与 fMRI 中前额叶、纹状体等信号做回归分析以定位回路功能。

研究结果部分，研究人员保留小标题结构。在“Controllability tracking by prefrontal circuits”中，通过行为拟合与脑活动解码，研究人员得出前额叶活动随环境可控性后验 P(N) 变化，说明该区域负责把感官结果与行动历史压缩为“世界可否被控制”的在线信念。在“Subcortical expression of controllability on learning”中，通过 fMRI 与模型参数耦合分析，研究人员得出皮层下区域活动与更新增益相关，表明可控性估计在此被转换成强化学习中的实际学习率调制。在“Confidence-weighted updates”中，通过修正后的更新方程 P(N)′=P(N)+α(2P(o_t|N)-1)δ_t 与行为拟合，研究人员得出置信度不是单纯噪声，而是有符号门控项：高置信放大预期外结果的冲击，低置信削弱甚至反转更新方向。在“Model comparison and neural correlates”中，通过多模型比较与神经相关分析，研究人员得出含有符号置信权重的模型在解释选择、反应时间与脑信号上优于无符号或固定学习率模型，且前额叶-皮层下连接强度可预测个体学习灵活性。

讨论部分，研究人员总结称，大脑用前额叶-皮层下双回路实现“先评估可控性，再决定如何学习”的元控制架构；可控性估计不是事后解释变量，而是在线参与学习率分配的运算核心。该框架可迁移至抑郁、焦虑、强迫等内部控制感异常疾病：若前额叶可控性估计偏差，或皮层下门控失稳，就会产生该学时不学、不该学时固着的现象。

研究结论部分翻译为：两条前额叶-皮层下回路分别估计环境可控性并反映其对学习的调控；有符号置信权重 w_t=2P(o_t|N)-1 使可控性后验可按预测误差方向校正，前额叶编码可控性、皮层下结构将其转化为学习更新增益；该机制在行为与神经层面优于固定学习率模型，并为控制感障碍相关精神疾病提供了计算与回路层面的解释基础。