挫败诱导改变儿童易怒性中的奖励预测误差编码

《Biological Psychiatry: Cognitive Neuroscience and Neuroimaging》：Frustration Induction Alters Reward Prediction Error Encoding in Pediatric Irritability

　　

摘要

背景

易激惹是青少年中普遍存在的、具有功能损害性的跨诊断情绪症状领域，与不良预后的风险升高相关。易激惹的理论模型涉及奖赏学习和挫败性非奖赏的中断。本研究是首个在挫败前后调查奖赏预测误差（RPE）信号传递作为易激惹神经相关物的研究。

方法

我们使用强化学习建模方法，从一项面向儿童的友好型、基于fMRI的概率奖赏学习任务中的行为数据推导个体化的逐试次RPE，样本为88名青少年（平均年龄=14.43岁，女性占48.86%）。参与者的易激惹严重程度各异，并以维度化方式进行表征。我们在前额叶、腹侧纹状体/苍白球和岛叶等感兴趣区域（ROI）中考察了RPE的神经编码。为检验挫败的影响，我们在急性挫败诱导前后分别评估了RPE调节的BOLD活动。

结果

在挫败诱导之前，较高的易激惹与逐试次RPE与腹侧纹状体/苍白球ROI的BOLD活动之间增强的正向耦合相关。挫败后，这一模式发生逆转，较高易激惹与腹侧纹状体/苍白球及右侧岛叶区域中RPE与BOLD活动之间减弱的正向耦合相关，表明奖赏结果的神经编码降低。易激惹与RPE调节的眶额叶或左侧岛叶活动无关。

结论

研究结果提供了基于计算方法的证据，将青少年易激惹与学习过程中改变的神经RPE编码联系起来，并发现挫败后这一编码发生逆转。这种情绪状态依赖性的RPE-BOLD耦合变化表明，挫败干扰了高易激惹青少年在奖赏学习过程中的奖赏结果神经编码，并为针对挫败反应性的干预措施提供了一个候选靶点。

引言

易激惹是一种跨诊断情绪症状领域，其特征是对挫败情境表现出较高的愤怒倾向1, 2。具有临床功能损害性的易激惹影响约3-5%的青少年，常与注意力/多动症状、焦虑和抑郁症状共存1, 3, 4, 5，并预测成人期自杀风险升高及教育和经济预后较差6, 7。尽管挫败可以被转化性地诱导（8），且其行为相关物已有充分表征1, 2，但其神经相关物仍知之甚少。本研究考察了挫败前后的RPE信号传递作为易激惹严重程度的神经相关物。

易激惹涉及奖赏加工的紊乱，包括奖赏学习功能障碍、RPE信号传递改变、威胁加工缺陷以及自上而下的行为控制不足（2）。RPE是学习结果的核心10, 11, 12, 9，它编码了预期与实际获得结果之间的差异，其中正RPE、负RPE和零RPE分别反映好于预期、差于预期和准确预测的结果。这些信号强化了适应性行为，并抑制导致非奖赏或厌恶结果的行为，其来源于奖赏回路中的神经计算，包括投射到腹侧和背侧纹状体、岛叶、前扣带皮层和内侧前额叶皮层的中脑多巴胺神经元10, 13, 14。在健康个体中，RPE信号传递通过基于反馈的逐步更新预期来支持灵活学习（11）。强化学习（RL）的紊乱是注意缺陷多动障碍（ADHD）（15）、抑郁症（16）和成瘾行为（17）的跨诊断风险因素，反映了奖赏加工和决策的损害。

与基于RPE的学习机制一致，高易激惹的青少年在条件性变化时表现出从反馈中灵活学习的障碍18, 19，在挫败下转移注意力（18），以及抑制优势反应（包括攻击性和暴脾气发作）的能力受损（19）。这些缺陷干扰了行为调节和目标达成（20），在体验和预期之间造成了错位，加剧了负性情绪，并助长了暴脾气发作和攻击行为18, 2。当不良行为产生了期望的结果（例如，父母为避免攻击升级而妥协），这些行为就会被强化，从而延续了对愤怒和挫败的不良应对方式。

尽管行为模型和理论模型将易激惹与改变的奖赏学习和挫败性非奖赏联系起来，但RPE编码尚未被直接考察。既往研究依赖于非学习范式（例如MID、Go/No-Go任务），将易激惹与奖赏加工过程中特定阶段的神经激活和连接性改变联系起来，但各研究之间结果不一致18, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30。在奖赏预期和获得阶段，研究报告了增强的前额叶和奖赏网络反应22, 25, 27, 31（但见（21））以及增强的前额叶和顶叶连接性21, 26。在挫败状态/奖赏缺失阶段，易激惹与前额叶和奖赏网络中激活18, 24, 26, 27, 28（但见22, 29）和连接性（22）的减弱相关。挫败后的恢复了解甚少，因为恢复可能特别困难（30）。Linke等人（23）发现，挫败后（而非挫败前）静息态全局效率——一种图论指标，反映并行信息传递和网络整合——在三个网络模块中与易激惹相关，包括腹侧纹状体。综上所述，既往研究表明易激惹与奖赏加工过程中神经激活和连接性的改变相关，但尚未在学习展开过程中检验RPE编码。

计算建模提供了一种原理化的方法来量化行为上无法直接观测的逐试次学习信号32, 33, 34。通过拟合选择行为，模型可以估计每位参与者在每次试次中不断变化的预期价值及相应的RPE——即实际获得结果与预期结果之间的差异35, 36。这对于临床神经科学至关重要，因为相同的反馈可能因更新差异而产生不同的期望违反，而标准的奖赏与非奖赏对比可能掩盖这种异质性（37）。因此，模型推导的RPE可以检验神经活动是否追踪了期望违反的幅度和符号而非反馈类别：腹侧纹状体活动随较大收益而增加，随较大损失而减少，与RPE幅度的有符号编码一致（38）。这种双向缩放表明，平均激活方法可能无法捕捉反馈加工中逐试次的变异性，而参数调节能更好地反映神经反应如何随期望违反变化。建模还可以评估正负结果的不对称学习以及非强化事件（例如未做出反应）是否塑造了更新过程（2），从而产生跨情境可比较的参数，例如挫败前与挫败后的对比（39）。

本研究使用计算方法考察了挫败前后概率奖赏学习任务中逐试次、个体特异性的RPE编码。采用跨诊断样本和维度化症状测量，我们首先旨在表征全脑RPE调节的激活，假设RPE与腹侧纹状体/苍白球区域和前额叶皮层的BOLD幅度呈正相关40, 41，与岛叶皮层呈负相关（42）。我们进一步假设，在挫败前，较高的易激惹将与腹侧纹状体/苍白球和眶额叶皮层（OFC）的RPE调节BOLD活动正相关22, 25, 27, 31，反映当结果超出预期时增强的正RPE编码。挫败后，我们假设高易激惹青少年的奖赏编码将被干扰，表现为这些区域的RPE调节相对于挫败前试次减弱，反映恢复不良和学习过程中神经奖赏信号减少18, 23, 28, 30。

章节摘要

参与者和程序

神经影像数据从美国国家精神卫生研究所（NIMH）招募的106名参与者（51名女性；年龄8.55-18.57岁，M=14.10，SD=2.63）中收集，通过社区广告招募。排除了18名参与者（n=5反应不足，遗漏超过25次反应；n=11运动过多，>15%的TR被删失；n=1偶然发现；n=1场图质量差）。最终样本以跨诊断和维度化方式捕捉了易激惹。诊断由

人口学信息

分析样本包括88名参与者。平均年龄为14.43岁（SD=2.52），平均IQ为115.84（SD=14.66），其中43名（48.86%）为女性。人口学信息见表1；诊断组差异见补充章节1；纳入与排除比较见补充章节7；零阶相关见补充章节9。

嘉年华任务中的行为

参与者在挫败前和挫败后阶段均成功学习了奖赏条件性，这表明

讨论

本研究是一项跨诊断研究，考察了挫败诱导前后的RPE信号传递作为儿童易激惹的相关物。一种操纵反馈的扫描仪内任务23, 29, 30成功增加了青少年的挫败感。正如假设的那样，父母报告的易激惹与双侧腹侧纹状体/苍白球区域中RPE调节的BOLD激活存在交互作用。较高的易激惹与挫败前试次中增强的RPE神经编码以及RPE编码减弱相关

结论

我们证明了挫败性非奖赏改变了具有易激惹特征的青少年在经典奖赏回路中的RPE神经编码。易激惹与基线水平下RPE调节的BOLD激活升高相关，以及在腹侧纹状体/苍白球区域和右侧岛叶中挫败后RPE更新的减弱相关，尽管行为和表现完整无缺。对逐试次RPE的建模揭示了神经奖赏编码在情感状态间发生了状态依赖性变化

未引用参考文献

48.; 49.; 50.; 51.; 48.; 49.; 50.; 51..

Marta Korom|Diana Burk|Tahjanee Givens|Lili Massac|Caroline M. Miller|Yannie D. Lee|Jennifer Meigs|Ellie P. Xu|Hong N.T. Bui|Sofia I. Cárdenas|Gretchen R. Perhamus|Michal Clayton|Daniel S. Pine|Melissa A. Brotman|Simone P. Haller|Bruno B. Averbeck|Ellen Leibenluft|Katharina Kircanski