《Brain Research Bulletin》：Deformed probability estimation in the goal-directed reinforcement learning model explains anxious-depression dimension of psychiatric disorders
编辑推荐：
在以往的基于模型的强化学习（Model-Based Reinforcement Learning, MBRL）模型中，概率估计的变形（deformation）一直被忽略。通过将变形加入概率估计，研究人员识别出一个与抑郁和焦虑相关的新参数。增强后的模型展现出对行
在以往的基于模型的强化学习（Model-Based Reinforcement Learning, MBRL）模型中，概率估计的变形（deformation）一直被忽略。通过将变形加入概率估计，研究人员识别出一个与抑郁和焦虑相关的新参数。增强后的模型展现出对行为数据的更好拟合，并与先前的研究结果一致。这种方法通过更深入地理解其潜在认知过程，提高了计算精神病学（Computational Psychiatry）的精度。
**论文解读：概率估计变形与精神疾病焦虑-抑郁维度的计算建模**
精神疾病给人类生活带来了巨大痛苦，理解其背后的认知加工过程是研究者长期追求的目标。计算精神病学（Computational Psychiatry）利用数学和计算工具模拟大脑的信息处理过程，试图从行为指标中揭示精神症状的潜在机制。强化学习（Reinforcement Learning, RL）模型能够将行为分解为目标导向的基于模型（Model-Based, MB）和习惯化的基于模型无关（Model-Free, MF）两种成分。Daw等设计的两阶段任务可以有效分离这两种学习方式，Gillan等在此任务中发现，对MB学习风格的偏好与强迫行为和侵入性思维相关，但并未发现其与焦虑-抑郁症状维度的显著关联。与此同时，大量研究表明，个体在决策中常表现出对客观概率的主观扭曲，而这种概率估计的变形在焦虑、抑郁、精神分裂症等精神疾病中尤为明显。然而，以往基于模型的强化学习模型在计算MB价值时，通常假设个体使用真实转移概率或极端化概率，完全忽略了概率估计中可能存在的系统性变形。因此，本研究旨在将主观概率变形以可量化的参数形式并入MB强化学习模型，探究其能否解释先前模型无法覆盖的焦虑-抑郁维度精神症状。
研究人员重新分析了Gillan等（2016）公开的1413名受试者的Daw两阶段任务行为数据，并系统比较了五种不同转移概率处理方式的计算模型。其中，提出的“变形”模型（Deformed）采用Prelec函数对从经验中计算得到的转移概率进行非线性变换，并引入自由参数η表示主观概率变形的程度。通过最大似然估计拟合模型参数，并采用赤池信息准则（Akaike Information Criterion, AIC）比较模型表现。结果显示，包含概率变形的模型拟合最佳，且η与抑郁、特质焦虑和淡漠等属于焦虑-抑郁维度的症状显著相关，提示概率估计变形可能是该症状维度独特的认知计算机制。该成果发表在《Brain Research Bulletin》。
**关键技术方法**：数据来源于Gillan等（2016）在线招募的1413名受试者，完成Daw两阶段任务。任务中，第一阶段选择以70%或30%概率转移至两个第二阶段状态之一，第二阶段选择获得奖励，设计可分离MB和MF决策策略。计算模型将选择值定义为MB值与两个MF值（分别由SARSA-λ算法在λ=0和λ=1下计算）的线性组合。MB值的计算依赖转移概率，研究比较了五种处理方式：已知（Known）、极端化（Extremized）、常数（Constant）、计算（Calculated）和变形（Deformed）。变形模型采用Prelec函数对由计数法计算的转移概率进行S型扭曲，η为自由参数，使用最大似然估计在0至5范围内拟合。模型比较使用AIC，症状关联则采用线性回归控制IQ、年龄和性别的影响。
**研究结果**：
*模型比较*：通过计算每位受试者的AIC，五种模型中“变形”模型的平均AIC最低（276.37），显著低于其他模型，表明在MB计算中引入概率变形能明显改善模型对实际行为的拟合度，验证了概率变形在人类决策中的必要性。
*变形参数特征*：拟合得到的η平均值约为2.5，且大多数受试者的η>1，这意味着主观概率呈现S型变形：低估低概率事件、高估高概率事件。这一模式与基于经验决策的文献一致，而与描述性决策中常见的反S型模式相反，说明该任务中受试者的概率估计是基于经验统计而非数字描述。
*与精神症状的关系*：行为回归分析和两个计算模型均显示，MB偏好与进食障碍、冲动性、强迫症和酒精成瘾显著相关，这与Gillan的原始发现相符。而η则与抑郁、特质焦虑和淡漠显著相关，这些症状在Gillan的因子分析中共同构成“焦虑-抑郁”因子。进行错误发现率（False Discovery Rate, FDR）校正后，上述关系仍然显著（除强迫症对MB偏好一项外），表明概率变形参数确实捕捉到了传统MB偏好所无法解释的焦虑-抑郁维度变异。
**讨论与结论**。讨论部分指出，η可能与情绪性信息注意偏向或证据整合的异常有关，即焦虑和抑郁个体更容易关注威胁或负性信息，导致对环境转换频率的主观表征产生偏差。同时，本研究η>1的S型模式与描述-经验差距（description-experience gap）效应一致，强调在建模精神病理症状时，必须区分概率是通过描述还是经验获得的。该研究未能发现η与冲动、强迫、酒精成瘾等强迫维度的关联，这与该维度主要受MB/MF平衡影响的观点一致。结论部分，研究人员指出：将主观概率变形纳入Daw两阶段任务的强化学习模型，显著提高了模型拟合度，并揭示了与焦虑-抑郁维度相关的独特参数η。这一参数可能代表一种跨诊断的计算标记，补充了强迫维度对应的目标导向-习惯平衡机制。该工作展示了将心理学认知偏差融入计算模型的价值，也为RDoC（Research Domain Criteria）框架提供了实证支持，有助于开发更个性化的精神疾病干预策略。
