《Journal of Computational Neuroscience》：Effort and substance use: differentiating tobacco use through reinforcement learning of effort based decision making
编辑推荐：
基于努力的决策制定（Effort-based decision making, EBDM）评估奖励相对于获得该奖励所需努力的关系，是健康目标导向动机与行为的重要过程。计算模型为选择行为及其在神经精神疾病（包括物质使用障碍（substance use disor
基于努力的决策制定（Effort-based decision making, EBDM）评估奖励相对于获得该奖励所需努力的关系，是健康目标导向动机与行为的重要过程。计算模型为选择行为及其在神经精神疾病（包括物质使用障碍（substance use disorders, SUD））中的潜在改变提供了机制性见解。研究人员将计算模型应用于基于努力的选择行为，以表征潜在决策过程，并确定这些机制是否因物质使用状态而异。参与者完成了努力消耗奖励任务（Effort Expenditure for Rewards Task, EEfRT），在低努力和高努力选项之间进行选择，以获得金额和概率不同的货币奖励。参与者符合无烟草使用（n=23）、当前烟草使用障碍（n=26）、既往烟草使用障碍（n=22）以及烟草和阿片类药物使用障碍（n=29）的标准。来自主观价值（Subjective Value）和强化学习（Reinforcement Learning, RL）两个家族的计算模型被拟合并比较。最佳拟合模型的参数经过主成分分析（principal components analysis, PCA）和线性判别分析（linear discriminant analysis, LDA）。时间差分强化学习（temporal difference reinforcement learning, TDRL）模型表现出更高的模型证据和预测准确度，表明其对基于努力的选择行为拟合更佳。主成分分析揭示了有意义的多元区分：PC1区分了除无烟草使用组与当前烟草使用障碍组之外的所有组别；PC3将烟草和阿片类药物使用障碍组与其他所有组别区分开。线性判别分析显示组间分离，分类准确率为84%。强化学习框架更好地解释了参与者的基于努力的选择行为。物质使用状态与动态行为变化（即学习）相关，这种关联通过学习率（learning rate）、未来折扣（future discounting）和选择温度（choice temperature）的多元组合来衡量。
**研究背景**
基于努力的决策制定（EBDM）是健康目标导向动机与行为的重要组成部分，其核心过程在于权衡奖励价值与获取奖励所需付出的努力成本。既往研究表明，EBDM损害与多种精神疾病中的动机减退有关，物质使用障碍（SUD）亦在其中。然而，传统分析方法（如广义估计方程）主要描述选择行为的组间差异（如高低努力选项的选择比例），无法揭示选择行为背后的计算机制。计算模型为此提供了机制性研究工具。既往研究虽已将主观价值类模型应用于努力消耗奖励任务（EEfRT），但这类模型仅利用当前试次的信息（奖励幅度、概率和努力分配）指导选择，未捕捉先前选择和结果对后续行为的强化学习（RL）影响。时间差分强化学习（TDRL）模型通过学习预测误差更新价值估计，与中脑多巴胺（DA）神经元的阶段性活动密切相关，而DA系统在EBDM中起关键调节作用。慢性尼古丁和阿片类药物使用均与中脑边缘DA系统失调相关，提示物质使用状态可能影响基于努力决策中的学习动态。然而，TDRL模型尚未被应用于EBDM范式，物质使用人群中亦缺乏基于RL框架的EBDM研究。因此，研究人员开展了本研究。
**研究内容与结论**
研究人员将主观价值模型和TDRL模型拟合至EEfRT选择行为数据，比较两类模型的解释力和预测力，并通过主成分分析（PCA）和线性判别分析（LDA）考察TDRL参数组合能否区分不同物质使用状态。研究结果表明，TDRL模型优于主观价值模型，且物质使用状态与学习率、折扣因子和选择温度的多元组合显著相关。该研究发表于《Journal of Computational Neuroscience》，其意义在于为理解SUD中EBDM的计算机制提供了新视角，将可观察的选择行为与潜在的DA神经机制相联系，并为治疗干预提供了潜在的认知靶点。
**关键技术方法**
研究数据来自两项研究：研究1招募于美国达勒姆（n=28）和小石城（n=43），包括当前烟草使用障碍（TUD，n=26）、既往TUD（n=22）和无烟草使用（n=23）参与者；研究2为R01 DA039088项目（MPI：Oliveto & Mancino），于阿肯色大学医学科学院招募接受阿片类药物治疗的TUD合并OUD（TUD+OUD）参与者（n=29）。所有参与者完成EEfRT任务。研究人员拟合Full SV、Reward Only SV和TDRL三类模型，采用分层贝叶斯推断（Hamiltonian Monte Carlo采样）估计参数，通过桥抽样计算边际似然比较模型证据，并以贝叶斯留一法交叉验证（ELPD-LOO）评估预测精度。最佳模型参数（学习率α、折扣因子γ、选择温度β）经PCA降维后进行LDA分类。
**研究结果**
*EEfRT行为表现*
单因素方差分析显示，各组在总试次数、高努力任务选择比例及完成率上均无显著差异，表明组间差异主要体现在潜在计算过程而非表面行为层面。
*TDRL模型最佳解释EEfRT上的选择行为*
通过比较边际似然和ELPD-LOO，TDRL模型在模型证据和预测准确度上均优于主观价值模型，表明基于努力的决策行为更好地由强化学习机制描述。
*物质使用状态相关的动态行为改变的组间差异*
PCA分析显示PC1解释65.4%方差，代表未来奖励敏感性与选择随机性的联合维度；PC3解释1.5%方差，可区分TUD+OUD组与其他所有组。MANOVA证实组间在多变量空间存在显著差异（F(3,96)=16.08, p<0.001）。事后比较表明，PC1上除无烟草使用组与当前TUD组外所有组对均显著不同；PC3上TUD+OUD组与其他各组均显著不同。LDA显示84%的总体分类准确率，其中TUD+OUD组与其他组几乎完全分离，既往TUD组分离良好但部分与当前TUD组混淆，而无烟草使用组与当前TUD组重叠最大。
**讨论与结论**
讨论部分指出，物质使用状态相关的学习动态变化反映了DA系统功能改变对努力决策的影响。PC1结果提示既往TUD和TUD+OUD个体表现出更陡的未来奖励折扣和更随机的选择模式。无烟草使用组与当前TUD组在PC1上无差异，可能归因于当前尼古丁使用维持或掩盖了潜在功能缺陷。研究局限性包括横断面设计无法确定因果关系、缺乏仅OUD对照组、未控制年龄和种族等人口学变量、样本量较小等。研究结论翻译：强化学习框架更好地解释了参与者的基于努力的选择行为。物质使用状态与动态行为变化（即学习）相关，这种关联通过学习率、未来折扣和选择温度的多元组合来衡量。从转化医学角度看，这些计算参数可能解释了为何物质使用严重程度较高或共病个体治疗依从性较差、复发风险较高，并可作为识别需要决策噪声降低、负反馈敏感性增强或早期治疗阶段学习支持的干预认知靶点。
