《European Archives of Psychiatry and Clinical Neuroscience》：Reinforcement learning deficits in at-risk mental state for psychosis: the role of primary negative symptoms
编辑推荐：
阴性症状如动机缺失（amotivation）在精神病高危状态（at-risk mental state for psychosis, ARMS）中开始出现，并且在某些病例中这些症状是特发性的（即原发阴性症状，primary negative symptoms,
阴性症状如动机缺失（amotivation）在精神病高危状态（at-risk mental state for psychosis, ARMS）中开始出现，并且在某些病例中这些症状是特发性的（即原发阴性症状，primary negative symptoms, PNS）。虽然强化学习（reinforcement learning, RL）缺陷在首发和慢性精神分裂症患者中明显，并与阴性症状严重程度相关，但这些缺陷是否在ARMS期间存在仍需进一步研究。此外，尚不清楚这些缺陷，尤其是奖励驱动的缺陷，是否特别为伴PNS的ARMS个体所特征。本研究在概率RL上比较了97名ARMS个体和37名健康对照（healthy controls, HC）。研究人员随后在概率RL上比较了伴PNS的ARMS个体（n=15）、不伴PNS的ARMS个体（n=82）和HC。使用两个概率RL任务：Go/NoGo（GNG）和Gain vs. Loss-Avoidance（GLA）任务，评估奖励驱动和惩罚驱动的RL（包括逐试次和程序性）以及价值导向选择。与HC相比，ARMS个体在两个RL任务中均表现出总体程序性RL损害，以及价值导向选择中细微的任务特异性改变。此外，相对于HC，ARMS-PNS个体表现出奖励驱动RL的特定缺陷（GLA任务中的逐试次RL和两个任务中的程序性RL），以及GLA任务中用于指导决策的正性期望价值表征受损。研究结果扩展了在已确立精神病患者中的发现，表明RL缺陷存在于精神病性障碍发病之前。在样本量适中的ARMS-PNS个体中，初步证据提示奖励驱动RL缺陷可能更特异于PNS。
一、研究背景、问题与意义
精神病高危状态（at-risk mental state for psychosis, ARMS）是精神病前驱期，表现为减弱的精神病症状和向精神分裂症谱系障碍转化的风险升高。阴性症状在ARMS中常见，是功能损害和转化为精神病性障碍的重要决定因素。阴性症状可为原发（primary negative symptoms, PNS），或继发于抑郁症状、阳性症状及抗精神病药所致锥体外系体征。由于ARMS中减弱阳性症状和抑郁症状常见，区分PNS具有临床重要性。强化学习（reinforcement learning, RL）涉及刺激与结果之间的配对学习，依赖奖励预测误差（reward prediction errors, RPE）。RL缺陷与精神分裂症谱系障碍相关，尤其奖励驱动RL缺陷被提出为阴性症状机制之一，可能反映正性期望价值（expected value, EV）表征受损，从而削弱奖励对行为的影响，表现为动机缺失。RL包括逐试次（trial-by-trial）RL和程序性（procedural）RL。慢性精神分裂症和首发精神病（first-episode psychosis, FEP）证据显示，RL缺陷随RL类型和疾病阶段变化，奖励特异性缺陷与阴性症状严重度相关，而惩罚驱动RL相对保留。ARMS中证据尚初步且不一致，尤其奖励驱动RL缺陷是否特异于PNS尚不明确。因此，研究人员使用两个概率RL任务比较ARMS、HC及PNS亚组，假设ARMS存在逐试次、程序性和EV表征缺陷，并假设PNS中奖励驱动缺陷更突出。
二、研究设计与主要结论及意义
研究人员比较97名ARMS与健康对照（healthy controls, HC）在概率RL上的表现，并比较ARMS-PNS（n=15）、ARMS-non-PNS（n=82）与HC。摘要报告37名HC，方法部分报告34名HC，结果部分报告37名HC，原文存在样本数报告不一致。使用Go/NoGo（GNG）和Gain vs. Loss-Avoidance（GLA）任务评估奖励与惩罚驱动的逐试次和程序性RL及价值导向选择。结果显示，ARMS存在总体程序性RL损害及任务特异的价值导向选择细微改变；ARMS-PNS相对于HC有奖励驱动RL特定缺陷，以及GLA任务中正性EV表征指导决策受损。其意义在于将已确立精神病中的RL缺陷延伸至精神病发生前，并初步提示奖励驱动RL缺陷可能更特异于PNS。
三、关键技术与方法（≤250字）
样本来自香港EASY专科门诊招募的97名ARMS个体，以及社区广告招募的年龄和性别匹配HC。ARMS由CAARMS确定，CB-SCID-IP排除既往DSM-IV精神病性障碍。PNS定义为SANS至少两个症状域全局分≥3、MADRS总分<16、PANSS阳性条目分<4。临床量表包括PANSS、SANS、MADRS，认知评估包括letter-number span等。关键技术为两个计算机化概率RL任务GNG和GLA，用于评估逐试次、程序性RL及价值导向选择；统计分析采用独立样本t检验、混合模型方差分析、Benjamini–Hochberg多重比较校正及G*Power功效分析。
四、研究结果
1. 样本特征（Characteristics of the sample）
通过样本特征比较发现，97名ARMS平均年龄21.27（SD=6.96），45.5%为男性；37名HC平均年龄21.41（SD=3.55），38.2%为男性。ARMS受教育年限较少，就业或学生比例较低，除逻辑记忆外认知功能较低。15/97（15.5%）ARMS被归为PNS。ARMS-PNS较ARMS-non-PNS有更高SANS总分和amotivation域分，更低MADRS总分，认知功能无差异。
2. RL指标与临床症状和认知功能的相关性（Correlations of RL measures with clinical symptoms and cognitive functions）
通过相关分析发现，ARMS中GNG任务Acquisition期较低lose-shift率与较高SANS总分（ρ=-0.21，p=.043）和amotivation域分（ρ=-0.22，p=.028）呈小到中等相关，但未通过多重比较校正。两组中较好的工作记忆（letter-number span）与GLA任务Acquisition期较好win-stay率及loss-avoidance pair准确率相关（p<0.050），中到大效应，且经多重比较校正仍稳健。
3. ARMS与HC比较：GNG任务
通过GNG任务发现，逐试次RL的win-stay和lose-shift率在Block 1及Acquisition期无显著组间差异。程序性RL混合模型ANOVA显示组、block、效价、概率主效应显著，HC表现优于ARMS，且组×block交互显著，ARMS在Block 2和3准确率低于HC；block×效价交互显示负性刺激表现随block持续改善，正性刺激表现基本稳定。价值导向选择显示trial-type主效应和组×trial-type交互，ARMS对FN刺激基线校正Go反应率边缘低于HC，提示ARMS可能存在轻微负性EV表征损害。
4. ARMS与HC比较：GLA任务
通过GLA任务发现，ARMS在Block 1的win-stay率低于HC，Acquisition期边缘低于HC，提示奖励驱动逐试次RL受损；lose-shift率无差异。程序性RL中block和概率主效应显著，组×block交互显著，ARMS最后block表现差于HC，支持总体程序性学习较慢。价值导向选择中condition主效应显著，FW vs. FLA更受偏好，组主效应不显著，组×刺激配对边缘显著，ARMS对FLA over IW偏好边缘降低。
5. ARMS-PNS、ARMS-non-PNS与HC比较：GNG任务
通过三组比较发现，逐试次RL无显著差异。程序性RL中组、block、效价、概率主效应显著，并出现效价×block×概率×组四阶交互；事后检验显示ARMS-PNS在90%正性刺激的Block 2和3准确率低于HC，提示奖励驱动程序性学习较慢。价值导向选择中trial-type主效应显著，组×trial-type交互显著，ARMS-PNS对FN刺激基线校正Go反应率低于HC，提示ARMS-PNS负性EV表征受损。
6. ARMS-PNS、ARMS-non-PNS与HC比较：GLA任务
通过三组比较发现，ARMS-PNS在Block 1和Acquisition期win-stay率低于ARMS-non-PNS和HC，提示奖励驱动逐试次RL受损。程序性RL中效价和block主效应显著，效价×block×概率×组交互趋势显著；事后检验显示80%概率gain pairs中，ARMS-PNS在Block 3和4持续差于ARMS-non-PNS和HC，提示奖励驱动程序性RL受损。价值导向选择中组主效应显著，ARMS-PNS偏好低于ARMS-non-PNS和HC；组×condition交互显著，ARMS-PNS对FW over IW偏好低于ARMS-non-PNS和HC，对FW over FL边缘低于HC，对FLA over IW低于ARMS-non-PNS和HC，提示奖励敏感性降低。
五、讨论与结论
讨论指出，研究使用两个概率RL任务发现ARMS存在逐试次和程序性RL缺陷，与未达临床阈值精神病个体的行为证据一致，并扩展了早期和慢性精神分裂症的发现。ARMS中奖励驱动逐试次RL受损、两任务总体程序性RL受损；原文提出这些缺陷可能与工作记忆受损有关，并与ARMS中前额皮质和基底节结构或功能异常一致。与FEP相比，ARMS缺陷清楚但更轻。价值导向选择改变较细微，与部分既往研究不一致，可能受任务指令、神经认知过程需求和ARMS样本异质性影响。PNS亚组分析显示，整体ARMS异常多由PNS驱动，non-PNS通常不显现；ARMS-PNS奖励驱动程序性RL在两任务一致受损，GLA中FW over IW偏好降低提示奖励敏感性降低，FW over FL边缘降低提示正性EV表征与PNS的初步联系。所有ARMS-PNS在SANS amotivation域为中等或以上，提示奖励驱动RL缺陷与原发动机缺失存在近端关系。局限性包括横断面不能推断方向性、未评估锥体外系体征、PNS亚组样本小（n=15）需重复、未使用计算模型、奖励和惩罚幅度不同可能影响RPE相关神经活动和EV更新。
研究结论部分翻译：总之，使用两个RL任务，研究人员发现ARMS中逐试次和程序性学习受损的证据。伴有PNS的适度亚组ARMS个体表现出更明显的奖励驱动RL损害，提示奖励相关RL缺陷与PNS，尤其是动机缺失，之间存在特异性联系。
