《Psychophysiology》：Links Between Altered Feedback Learning and Symptoms of Depression: Insights From the FRN and Feedback-Locked N170
编辑推荐：
本研究通过事件相关电位（ERP）技术，聚焦反馈相关负波（FRN）和反馈锁定N170成分，首次系统探讨抑郁症症状严重程度对即时与延迟反馈学习过程的差异化影响。研究发现，抑郁症状严重程度与反馈学习任务表现下降显著相关，且N170成分对预测错误（PE）的编码能力在抑郁个体中受损，尤其针对延迟反馈处理。家族性抑郁风险更与N170对反馈效价敏感性降低有关。该研究为抑郁症认知功能障碍提供了新的电生理 biomarker，揭示了海马相关记忆机制在抑郁病理中的重要作用。
ABSTRACT
研究表明，对奖励反应减弱的电生理和纹状体反应可能是抑郁症的生物标志物或内表型。然而，以往研究并未区分从即时反馈和延迟反馈中学习的过程，这两者涉及不同的神经结构。本研究旨在阐明抑郁症是否改变从即时和延迟反馈中学习的能力。我们在一个包含45名个体的混合临床和非临床样本中，调查了当前和过去抑郁症状严重程度以及抑郁症家族史对两个事件相关电位（ERP）成分的影响，即反馈相关负波（FRN）和N170。过去的研究报道FRN主要反映即时反馈的处理，而N170——最常与面孔处理相关的研究——似乎代表延迟反馈的处理。我们发现，在概率反馈学习任务中，更严重的抑郁症状会降低任务表现，且与反馈时机无关。令人惊讶的是，FRN不受当前或过去抑郁症状严重程度或抑郁家族易感性的影响。然而，我们发现了与抑郁症相关的N170变化，涉及即时和延迟反馈处理：当前经历的抑郁症状与N170中预测错误（PE）编码较差相关。此外，抑郁症家族史与N170对反馈效价的敏感性降低有关。总之，N170可能成为抑郁症和基于反馈学习的临床研究中一个新的重要生物标志物。
引言
虽然现代生活条件似乎助长了抑郁症的发病率，但其病理生理学的许多问题仍未解决。研究人员试图找到大脑结构和功能的改变，以帮助解释抑郁症的潜在机制。鉴于症状的异质性，很可能涉及多个大脑区域和机制。抑郁症的病因多样性非常复杂，很难进行全面研究。因此，最近的研究集中在识别内表型上，希望能更好地理解导致抑郁症的生物学机制。内表型是可遗传的特征，可以将可观察到的症状与遗传易感性联系起来，从而帮助制定量身定制的干预措施。
在这种背景下，功能失调的奖励处理被认为是抑郁症病理生理学的一个关键方面，而对奖励的迟钝神经反应可能是抑郁症的一个内表型。多巴胺能中脑构成了大脑奖励系统的核心。然而，中脑多巴胺能神经元并不传递奖励本身信号；而是反映结果是否比预期更好或更差，编码一个预测错误（PE）。PE信号也被发现反映在通过脑电图（EEG）测量的大脑活动中。更准确地说，反馈相关负波（FRN）是一个事件相关电位（ERP）成分，在反馈呈现后230至330毫秒达到峰值。虽然其振幅被报道对损失比收益更大，但更近期的研究表明，负向波形是基线反应，该成分的振幅调节反而反映了奖励后的正性，导致了奖励正性（RewP）的概念化。这得到了研究的支持，这些研究报道FRN/RewP时间窗口的信号尤其反映了正性PE。然而，也有研究表明FRN/RewP时间窗口的信号受负性PE调节。因此，我们将其称为FRN，同时清楚地意识到它也反映了奖励后的相对正性。鉴于其受PE调节，这种在头皮上测量的电大脑信号可能反映了中脑多巴胺能奖励系统对前扣带皮层的影响，而前扣带皮层可能是FRN的产生器。然而，许多大脑区域以不同的功能角色编码PE，并且没有直接证据表明FRN受中脑多巴胺能神经元活动的影响。
大量研究描述了抑郁症与FRN中反馈效价敏感性降低之间的联系，主要由奖励后（正性）振幅减少所驱动。与FRN的变化一致，有报道称抑郁个体的反馈学习发生改变且主要是受损。然而，以前的研究没有区分从即时反馈和延迟反馈中学习，这两者的处理涉及不同的神经元结构。即时反馈的处理基于纹状体，而纹状体功能减退对抑郁症中功能失调的奖励处理起决定性作用。在非抑郁和抑郁个体中，FRN时间窗口的ERP与纹状体激活相关，表明两种测量方法之间存在一致性。
相比之下，延迟反馈的处理被认为较少依赖于纹状体。一些ERP研究通过描述延迟反馈后FRN正负反馈之间振幅差异的减小来支持这一点。同时，随着反馈延迟的增加，N170 ERP成分的振幅也被描述为增加。虽然N170最常在与视觉刺激，特别是面孔的知觉处理相关的研究中被研究，但该成分在更广泛的功能中也发挥作用，例如空间导航和编码奖励位置。考虑到其对延迟反馈的显著振幅，反馈锁定的N170可能与强化学习背景下延迟反馈更强的海马处理有关。由于该ERP成分在100至200毫秒的时间窗口内在枕颞皮层最为显著，它被解释为反映了包括海马在内的内侧颞叶（MTL）的过程。最近的一项研究表明，MTL内的区域启动高级视觉区域中视觉表征的重新激活，以将它们与延迟反馈联系起来，并且这种信用分配机制反映在反馈锁定的N170中。同一项研究发现，反馈锁定的N170反映了整个范围的PE，意外正反馈比预期正反馈的振幅更显著，而意外负反馈比预期负反馈的振幅更小。这被解释为反映了重新激活或回忆导致意外奖励的事件以指导未来行为的需要。
有趣的是，海马——可能是反馈锁定N170的潜在产生器——也在将抑郁症与慢性压力联系起来的病因模型中发挥作用：压力，无论是急性还是慢性，都会激活下丘脑-垂体-肾上腺轴，极端或长期的压力可能导致海马损伤。因此，抑郁症可能伴随海马萎缩，这又与记忆损伤有关，并可能导致抑郁症中看到的一些认知扭曲。除了回忆能力弱之外，抑郁个体往往对积极事件的记忆减少，而对消极事件的记忆增加。Hager等人的研究结果表明，抑郁症与对奖励而非损失的功能性源记忆有关。鉴于抑郁症的广泛症状，其病理生理学涉及多种大脑区域，包括海马和纹状体，这并不奇怪。
尽管即时和延迟反馈的处理似乎主要依赖于大脑中的不同结构，但可以想象，对于延迟反馈，抑郁症也伴随着行为和神经生理学的变化。基于海马及相关功能的变化，我们预计抑郁个体也会表现出从延迟反馈中学习和处理的改变，后者反映在不同的神经生理学信号中，即与即时反馈相比的N170。通过目前的工作，我们旨在研究抑郁症与概率反馈学习任务中的行为表现和电生理处理之间的联系，该任务包含即时和延迟反馈。
必须考虑到内表型是状态独立的，即即使疾病不活跃，也可以在个体中检测到。相应地，在缓解的抑郁个体中发现了迟钝的纹状体活动，以及在抑郁个体的"健康"兄弟姐妹中发现了奖励后（更负的）FRN振幅减弱。抑郁母亲的孩子患抑郁症的风险也增加，伴随着相对于非抑郁母亲的孩子，背侧和腹侧纹状体对奖励的反应迟钝。总之，抑郁个体、缓解个体和高风险个体对（即时）奖励的接收表现出迟钝的纹状体反应。因此，我们评估了当前抑郁症状、过去抑郁发作和抑郁症家族史作为反馈学习和处理的预测因子。由于将连续变量二分会导致信息丢失和统计功效降低，我们不将抑郁症视为二元状态（健康 vs. 抑郁），而是将其视为一个维度结构，操作化为连续变量，在一个混合临床和非临床样本中进行研究。
因为有证据表明存在发表偏倚，并且先前研究发现FRN与抑郁症之间只有微弱的关系，本计划的第一个目的是在抑郁症背景下复制即时反馈学习表现和FRN振幅降低的发现。在几项研究中，抑郁症与FRN中反馈效价敏感性降低之间的关联主要是由对奖励的反应驱动的。因此，我们预计抑郁症家族易感性增加的个体、过去经历过抑郁发作的个体以及当前经历抑郁症状的参与者，其FRN对反馈效价的敏感性会降低，尤其是在即时反馈条件下。此外，我们旨在调查这些个体是否也表现出类似N170振幅减少的改变，特别是延迟反馈后。最后，对于两个ERP成分，我们旨在探索与抑郁症相关的PE神经处理变化，可能与反馈时机存在交互作用。
方法
1.1 参与者
样本量基于以往研究的人数。考虑到脑电图伪迹或排除标准（见下文）导致的脱落，我们预先注册招募50名参与者（18至40岁）。排除标准是当前或既往神经系统疾病、急性精神病性状况、定期或急性消费影响中枢神经系统的物质、了解平假名字符以及未矫正的视力受损。为了在分析中将急性抑郁症状作为连续因素考虑并因此覆盖足够的方差，我们在杜塞尔多夫海因里希·海涅大学校园、通过社交媒体平台以及在杜塞尔多夫LVR心身医学和心理治疗门诊部推广该研究。我们总共从50名参与者那里获取了数据。我们排除了五名参与者，其中三人因为他们至少符合我们的一项排除标准，一人因为在原始数据视觉检查期间确定脑电图数据质量差，一人由于采集期间脑电图系统设置不当。因此，最终纳入分析的样本包括45名参与者：37人报告为女性，8人为男性；41人为右利手，3人为左利手，1人为双手同利。平均年龄为24.87岁（标准差=5.54岁，最小值=18岁，最大值=39岁）。
1.2 程序
参与者到达实验室后，被告知实验程序并签署参与研究的书面知情同意书，随后进行约30分钟的简短临床访谈（见下文）。之后，参与者被安置在一台27英寸、1920×1080像素、刷新率60Hz的W-LED显示器（BENQ EW2740L）前，并填写一份人口统计学问卷，该问卷还包含关于过去抑郁发作（见下文）以及一级亲属是否受抑郁症影响（见下文）的问题，随后是一份评估参与者当前抑郁症状的问卷（见下文）。然后我们安装脑电图电极并开始实验任务（见下文），持续约45分钟。参与补偿为每30分钟5欧元或心理学学生的课程学分。此外，参与者在反馈学习任务中获得的钱会被四舍五入至6欧元支付。该研究获得了杜塞尔多夫海因里希·海涅大学数学与自然科学学院伦理委员会的批准，并符合赫尔辛基宣言。
1.3 事前访谈
为了检测除抑郁症之外或与抑郁症共病的心理障碍，一名训练有素的实验员对所有参与者进行了迷你DIPS（诊断性心理障碍简短访谈）的部分内容。迷你DIPS是诊断性心理障碍访谈（DIPS）的简写版本，根据Margraf和Cwik的说法，它为根据DSM-5和ICD-10诊断心理障碍的研究问题提供了高效可靠的方法。访谈从一组旨在筛查症状的问题开始，如果任何问题得到肯定回答，则会询问额外问题以评估症状是否满足诊断的必要标准。我们使用迷你DIPS来检测以下状况：焦虑症、物质成瘾障碍、进食障碍、强迫症、情感障碍和自杀倾向。我们决定筛查这些障碍是因为它们是抑郁症常见的共病，在某些情况下与FRN相关，并且是德国成年人中最常见的心理障碍之一。
1.4 抑郁症评估
1.4.1 家族易感性
我们询问参与者其一级亲属，即父母或兄弟姐妹（不包括同父异母或同母异父的兄弟姐妹），是否曾被诊断患有抑郁症，提供"是"、"否"和"不确定"作为回答选项。
1.4.2 过去抑郁发作
adapted from the approach by Bress等人，我们使用患者健康问卷（PHQ-9）情绪模块的修改版本来评估过去的抑郁发作。Cannon等人的修改版本包含9个项目（例如，对做事兴趣或乐趣减少），可按4分制评分（(0) 完全没有到 (3) 几乎每天）。重要的是，修改版本指的是参与者生活中感觉最忧郁、悲伤或抑郁的那两周。总分范围从0到27，分数越高表示抑郁症状越严重。修改版PHQ-9与基于DSM-IV结构化临床访谈（SCID）的终生诊断高度一致，使其成为评估终生抑郁症的有效措施。
1.4.3 当前抑郁症状
我们使用贝克抑郁量表（BDI-II）作为急性抑郁严重程度的测量指标（类似方法见Bress等人）。它包含21个项目，每个项目由4个反映0到3值的陈述组成。例如，第一个项目针对悲伤，陈述如下：(0) 我不感到悲伤(1) 我很多时候感到悲伤(2) 我一直感到悲伤(3) 我太悲伤或不快乐，无法忍受。我们要求参与者指出在过去两周内，四种陈述中哪一种最符合他们的情况。被勾选陈述的值相加，得出一个范围从0（无抑郁症状）到63（严重症状）的分数。
1.5 实验任务和条件
参与者执行一项概率反馈学习任务，他们可以学习刺激与正性（+4分钱）或负性（-2分钱）金钱反馈之间的关联（见图1A）。任务包含被试内因素反馈时机：反馈在参与者选择后1秒（即时反馈）或7秒（延迟反馈）出现。实验包括四个学习阶段，两个为即时反馈，两个为延迟反馈。即时反馈与延迟反馈的学习阶段交替进行，并且首先呈现哪种反馈时机条件是平衡的。
图1A显示了一个试次的时序，从呈现两个可用刺激到选择和反馈。软件Presentation控制刺激时序和反应记录。反应在标准计算机键盘上执行，参与者可以按左右控制键在刺激之间进行选择。每对刺激中，一个在65%的试次中与奖励相关，在35%的试次中与惩罚相关，而另一个刺激的概率则相反。参与者的任务是学习哪个刺激更可能被奖励，从而最大化奖励。参与者被告知，收益和损失将计入最终支付的总金额。四个学习阶段各呈现一对新的刺激（见图1B）。每个学习阶段包括4个区块，每个区块20个试次，中间有短暂休息，即每个学习阶段80个试次，总共320个试次。
1.6 脑电图数据采集
我们使用actiCap纺织软帽从总共60个电极采集脑电图数据，这些电极基于扩展的10-20系统均匀分布在头皮上。电极附着在头皮位置AF3、AF4、AF7、AF8、C1、C2、C3、C4、C5、C6、CP1、CP2、CP3、CP4、CP5、CP6、CPz、Cz、F1、F2、F3、F4、F5、F6、F7、F8、FC1、FC2、FC3、FC4、FC5、FC6、FT10、FT7、FT8、FT9、Fz、O1、O2、Oz、P1、P2、P3、P4、P5、P6、P7、P8、PO10、PO3、PO4、PO7、PO8、PO9、POz、Pz、T7、T8、TP7、TP8。此外，接地电极附着在AFz位置，在线参考附着在FCz位置。我们在左右乳突上放置了两个额外的电极，以便为平均参考覆盖尽可能多的头皮（见下文）。最后，我们在左眼上方（Fp1位置）和下方附加了两个电极（vEOG）以跟踪垂直眼动和眨眼。使用BrainAmp DC放大器和Brain Vision Recorder软件进行数据记录，采样率为1000 Hz，在线低通滤波器为100 Hz。我们保持阻抗低于15 kΩ。
1.7 数据分析
1.7.1 行为分析
我们使用R中的lme4包进行了适用于二项分布和单试次数据的广义线性混合效应模型（GLME）分析。因变量是反应准确性，正确反应（定义为选择与较高奖励概率相关的刺激）编码为1，错误反应编码为0。我们计算了三个独立的模型，每个模型以一个抑郁症测量指标作为预测因子。第一个模型包括以下固定效应预测因子：BDI（被试间：通过BDI-II测量的当前抑郁症状严重程度）、反馈时机（被试内：即时 vs. 延迟）和区块（1-4；因为学习表现为同一学习阶段内正确反应数量的增加），以及所有交互作用。参与者被包括为随机截距。对于每个参与者的随机效应斜率，我们考虑了最佳实践指南：我们包括所有被试内主效应和交互效应作为随机斜率，除非它们的包含损害模型拟合。使用buildmer函数确定最大模型。
其他两个模型基于相同的原则构建，唯一区别是使用的抑郁症测量指标作为固定效应预测因子。第二个模型包含PHQ（通过修改版PHQ-9评估的过去抑郁发作测量指标），第三个模型包括抑郁症家族易感性作为预测因子（二元分类变量，指示一级亲属是否曾被诊断患有抑郁症）。所有三个模型的最终模型公式在支持信息中的表S1中给出。
1.7.2 预测错误建模
我们通过将强化学习模型拟合到MATLAB中的行为数据来推断每个参与者的单试次PE值（类似方法见Burnside等人；Lefebvre等人；R?hlinger, Albrecht, and Bellebaum；R?hlinger, Albrecht, Ghio,等人；Weber and Bellebaum）。应用强化学习模型的基础是每个参与者的选择序列和他们收到的反馈。PE δ在给定试次t中概念化为：δ(t) = R(t) - V(t)，其中奖励R(t)对于正反馈为1，负反馈为0，V(t)是参与者所选刺激的价值。对于四个刺激对中的每一个，我们最初为两个刺激分配0.5的刺激价值，在显示该刺激对的每个试次t中迭代调整。所选刺激的刺激价值V_chosen(t)基于先前价值与获得结果之间的差异（PE δ(t)）进行调整，同时还有一个学习率α，反映了参与者使用PE调整刺激价值的程度。对于四个刺激对中的每一个，我们对从正反馈和负反馈中学习建模了不同的学习率，因为这种方法 consistently yielded better fitting models than a procedure with only one learning rate for both positive and negative feedback。我们使用正反馈的学习率α_pos来调整所选刺激的刺激价值，以确认选择：V_chosen(t) = V_chosen(t-1) + α_pos * δ(t)。对于负反馈，即否定选择的反馈，所选刺激的刺激价值使用学习率α_neg进行调整：V_chosen(t) = V_chosen(t-1) + α_neg * δ(t)。
由于一对刺激中的两个刺激总是一起显示，我们期望参与者会根据所选刺激的反馈形成对未选刺激的假设。因此，未选刺激的价值V_unchosen(t)为1-V_chosen(t)，并相应更新，因为在我们之前的研究中，采用此程序比不更新未选刺激价值的程序获得了更好的模型拟合。
对于每个试次t，我们借助softmax函数计算模型会选择参与者实际所选刺激的概率P(t)。该计算基于所显示的两个刺激的先验刺激价值，即试次t中所选刺激的价值V_chosen(t)和未选刺激的价值V_unchosen(t)，以及一个探索参数β：P(t) = exp(β * V_chosen(t)) / [exp(β * V_chosen(t)) + exp(β * V_unchosen(t))]，其中β表示先验刺激价值对参与者选择的影响程度。较大的β表示参与者更依赖于先前的刺激价值，而较小的β表示参与者在选择行为中更具探索性。
下一步，我们使用概率P(t)来计算负对数似然和-NLL作为模型拟合优度的度量：-NLL = -Σ log(P(t))。MATLAB优化工具箱中的优化函数fmincon通过估计自由参数（α_pos, α_neg, β）的值来最小化-NLL值，这些值导致模型预测的选择与参与者实际行为之间的差异最小。将模型反复（50次）拟合到参与者的行为，以防止收敛到局部最小值。我们允许自由参数的起始值在区间[0; 1]内的随机数。我们为学习率（α_pos, α_neg）设置了[0; 1]的边界，为探索参数（β）设置了[0; 100]的边界。
为了检查所选模型捕捉实际选择行为的程度，我们执行了后验预测检查，这在支持信息中的图S1中说明。描述性地，经验数据和模型预测的行为在捕捉学习方面是一致的，尽管注意模型略微低估了实际任务表现，尤其是在后期区块中。最佳拟合模型在所有参与者中的平均-NLL为158.30（标准差=85.31，最小值=27.40，最大值=428.77）。模型显示α_pos的平均学习率为0.36（标准差=0.
