人类恐惧条件反射中的无模型学习与基于模型学习

《Psychophysiology》：Model-Free and Model-Based Learning in Human Fear Conditioning

　　

学习预测威胁并相应调整行为对人类生存至关重要。这种类型的学习由大脑中不同的系统调控。无模型学习（model-free learning）具有反射性和计算效率高的特点，使个体能够基于过往经验快速作出反应，但也能抵抗环境变化。相比之下，基于模型学习（model-based learning）更为灵活，依赖于环境的内部模型，且无需直接经验即可更新。为了增强人类恐惧条件反射研究的转化价值并促进恐惧消退干预的解释，研究人员检验了常用的条件反应指标是否反映无模型和/或基于模型学习。基于先前观察以及恐惧增强惊跳反射（fear-potentiated startle, FPS）的防御反射特性，研究人员假设FPS反应反映无模型学习，而皮肤电反应（skin conductance responses, SCRs）反映基于模型学习。为验证该假设，研究人员通过指令（实验1）、物理断开US电极（实验2）或二者结合（实验3）的方式，将经验性US价值（即无模型）与预期价值（即基于模型）分离。根据设计，在通过经验产生新学习之前，条件反应的即时变化必然指示基于模型更新而非无模型缓存价值。在三个恐惧条件反射实验（总n=131）中，研究人员发现SCRs最可能反映基于模型学习，而FPS反应则反映无模型和基于模型学习的某些方面。这些结果表明，常见的条件恐惧指标并非简单可互换：它们涉及不同的学习系统，将其等同视之可能会遗漏恐惧中更具情感性、经验驱动性的成分——从而限制向临床干预的转化。

本研究旨在深入理解人类恐惧条件反射中无模型学习与基于模型学习的贡献，发表于《Psychophysiology》期刊。恐惧与焦虑障碍的核心特征之一是难以根据环境变化更新已习得的防御反应，这种更新能力的缺陷导致适应不良和持续性反应。当代强化学习理论区分了两种系统：相对僵化的无模型系统主要通过直接经验更新缓存价值（cached value），以及更灵活的基于模型系统能够在环境变化时调整反应而无需额外结果经验。巴甫洛夫恐惧条件反射范式是研究威胁学习及其修改的常用手段，其中皮肤电反应（SCR）和恐惧增强惊跳反射（FPS）是衡量条件反应的主要生理指标。由于无模型和基于模型学习策略可并行运作，不同的条件反应读出可能差异性地捕捉这些过程，但关于SCRs和FPS反应究竟反映何种学习过程仍存在争议。

研究人员开展了三项实验（总样本n=131，均来自阿姆斯特丹大学学生群体），系统考察SCRs和FPS反应在恐惧条件反射任务中受无模型与基于模型学习调控的程度。三项实验均采用三阶段设计：条件化阶段、US贬值阶段和US重估阶段。实验1通过指令告知参与者US强度减弱；实验2物理断开US电极且不予指令；实验3结合电极断开与明确指令。基于FPS的防御反射特性及SCRs对非经验信息更敏感的先验观察，研究人员提出核心假设：SCRs将在US贬值和重估后立即更新，符合基于模型学习；FPS反应则仅在直接经验变化后更新，符合无模型学习。

关键技术方法方面，研究人员采用经典恐惧条件反射范式，条件刺激（CS）为两种几何图形（三角形或正方形），非条件刺激（US）为施加于左腕的2毫秒电刺激。皮肤电反应通过左手食指和中指中节佩戴的Ag/AgCl电极记录，采用1000 Hz采样率，运用Psycho-Physiological Modeling（PsPM 6.0.0）进行单试次广义线性模型（GLM）分析，估计CS诱发的SCR并进行个体范围校正。恐惧增强惊跳反射通过104 dB、40 ms的白噪声探针诱发，采用7 mm Ag/AgCl电极记录眼轮匝肌电图，经带通滤波（50-470 Hz）、整流、平滑及降采样至500 Hz后，运用PsPM进行单试次GLM估计并范围校正。数据分析采用多层模型，关键分析聚焦于阶段转换后的首个试次以分离基于模型更新，同时构建混合计算模型量化无模型与基于模型控制的相对贡献（ω参数，0为纯无模型，1为纯基于模型）。

研究结果部分，实验一（指令性US贬值）显示：条件化阶段，FPS和SCR均表现出显著的CS+大于CS-差异；US贬值后，SCRs的CS+与CS-差异立即消失（t(78)=0.06, p=0.955），而FPS反应仍维持CS+大于CS-（t(78)=3.77, p<0.001）；US重412重估时，SCRs和FPS反应均立即恢复差异（SCR: β=0.17, p=0.002; FPS: β=0.21, p<0.001）。实验二（实际US贬值，电极断开）显示：SCRs的Stimulus×Phase交互作用未达显著（β=-0.09, p=0.070），但简单效应显示阶段2首试次CS+与CS-无显著差异（p=0.208），呈现较弱基于模型模式；FPS反应未立即降低（β=-0.01, p=0.918），阶段2首试次仍CS+大于CS-（p=0.002）；电极重附后，SCRs立即恢复差异（β=0.12, p=0.013），而FPS呈现刺激非特异性增加（Phase主效应: β=0.36, p<0.001）。实验三（实际US贬值+指令）显示：SCRs立即降低（β=-0.12, p=0.011），阶段2首试次无CS+大于CS-差异（p=0.911）；FPS反应的Stimulus×Phase交互作用不显著（β=-0.08, p=0.126），但简单效应显示阶段2首试次CS+与CS-无差异（p=0.911），仅CS+仍高于单独噪声试次（p=0.009）；电极重附后，SCRs和FPS均呈刺激非特异性增加。

计算建模方面，跨实验SCRs的ω估计（M=0.52, SD=0.34）与FPS反应的ω估计（M=0.47, SD=0.31）无显著差异（b=0.24, z=1.77, p=0.077）。但探索性按ω值分组显示，FPS数据呈现两种明显不同的视觉模式：基于模型模式者（n=56）在阶段2首试次FPS立即下降，无模型模式者（n=72）则维持反应；而SCR数据分组后未显示典型无模型模式。然而，模型选择分析表明，尽管混合模型的负对数似然值更低，但考虑模型复杂度后，更简单的线性模型在AIC准则上更优（SCR: AIC_hybrid=348.4 vs. AIC_linear=71.7; FPS: AIC_hybrid=-116.5 vs. AIC_linear=-299.4），提示混合模型额外参数未带来足够拟合改善。

讨论部分，研究人员首先总结核心发现：SCRs在实验1和3中US贬值后立即降至基线水平，支持现有文献并强烈提示SCRs反映基于模型学习；FPS反应则呈现混合模式，实验1和2中维持阶段2初的CS+大于CS-差异符合无模型学习，实验3中结合指令后FPS立即降低则反映基于模型控制。US重估时两者均表现基于模型模式，但实验2和3中出现刺激非特异性增加。关于FPS反应变异性，研究人员推测不确定性或信任度可能是调节无模型与基于模型平衡的关键因素——实验3中明确指令可能增强了参与者对操作的信心，从而促进基于模型更新显现。此外，研究人员指出防御反应可能在威胁可能性极小的情况下仍会增加，这从进化角度具有适应性，且与临床中恐惧症行为在威胁消除后仍持续、却在无需重新经历原始威胁时复发的现象一致。局限性方面，研究人员承认未在实验1中评估参与者对指令的信任度，各实验采用不同强化程序影响跨实验比较，以及生理测量固有噪声可能损害解释力。最后，研究强调SCRs和FPS不能简单互换，前者对指令等非经验操作更敏感，后者更能捕捉持续性恐惧反应——这一区分对研究选题和临床干预设计具有重要指导意义。

研究结论：本研究支持现有文献，发现SCRs主要反映人类恐惧条件反射中的基于模型学习，而FPS反应则捕捉无模型和基于模型学习模式。然而，决定FPS反应中无模型与基于模型控制平衡的因素仍不清楚，也可能存在驱动任一反应系统的其他学习机制。数据表明FPS反应对捕捉持续性恐惧反应更为敏感，而持续性恐惧是焦虑障碍的核心特征。最终，区分不同类型的联想学习及其反映指标，将不仅指导实验研究中的结果测量选择，还有助于设计更有针对性地针对恐惧和焦虑障碍背后学习机制的干预措施。