综述：关于人类回避学习的系统回顾：认知、计算与方法

《Neuroscience & Biobehavioral Reviews》：A systematic review of human avoidance learning: Cognition, computation, and methods

　　• 自1939年以来，这是该领域首次对人类回避学习进行系统性的综述。
• 批判性地评估了主要理论与现有证据的兼容性，强调了每种观点的优势和局限性。
• 确定了可靠的实证基准，以指导未来的计算建模。
• 提出了新的实验范式，以更好地捕捉现实世界回避行为的复杂性。
• 强调了提高人类回避研究生态有效性的方法学优先事项。

**引言**
一个好奇的幼儿如果与黄蜂玩耍并被蜇伤，将来可能会更谨慎地对待黄蜂。然而，她也可能会变得过度恐惧，一看到黄蜂就逃跑，从而从未意识到黄蜂在未受到干扰时很少蜇人。这个例子反映了回避学习中的一个基本矛盾：一方面，预测威胁并避开它们是生存的关键，这种能力在所有物种中普遍存在（Colwill, 2022）；另一方面，对无害物体或情境的过度回避是焦虑和创伤相关障碍的特征，会导致主观痛苦和社会经济成本（WHO, 2004）。确实，尽管看似简单，回避行为对理性个体来说却带来了巨大挑战：在规避潜在威胁的过程中，个体放弃了进一步的学习机会，可能会错过环境中的关键变化——例如，第二天遇到另一只黄蜂时，如果它正在旁边桌子寻找食物，就不会构成显著的危险。

**文献综述**
长达80年的研究试图阐明健康人群中回避学习的心理和神经生物学机制，其更广泛的目标是识别导致临床环境下适应不良回避行为的因素。在此，我们系统地回顾了这些证据。之前的文献综述探讨了这一领域的具体方面，如实验范式的范围（Krypotos et al., 2018）、认知理论（Krypotos et al., 2015）以及计算模型的作用（Krypotos et al., 2020）。同时，理论和实证评论也提供了关于潜在回避机制的关键见解（LeDoux et al., 2017, Gillan et al., 2016）以及它们如何在临床条件下引发过度回避（Pittig et al., 2018）。还有系统综述研究了个体差异在回避学习中的作用（Wong et al., 2023）。然而，尽管有大量的理论提议和实证数据，但缺乏一个全面的方法来系统地根据现有理论对实证证据进行分类和解释。本研究通过系统综述填补了这一空白，旨在将实证发现与理论原则相匹配。我们阐明了不同框架在解释各种证据方面的作用，并指出了它们的解释空白。换句话说，我们提出了以下基本问题：回避学习理论应当解释哪些可靠的实证现象？哪些现有理论得到了这些现象的支持？需要哪些理论扩展或计算模型来解释所有现象？最后，为了区分不同理论，哪些实证空白需要被解决？

**背景介绍**
为了设置背景，我们首先介绍了支撑这些文献的术语和理论框架（见图1）。二十世纪出现了许多回避学习理论，其中一些已被进一步形式化为计算模型（Smith et al., 2004, Moutoussis et al., 2008, Maia, 2010, Smith et al., 2004, Palminteri et al., 2015, Gagne and Dayan, 2022）。这些理论主要讨论了一种抽象的回避情境，即条件刺激（CS，例如黄蜂）预示着厌恶事件的发生，而非条件刺激（US，例如蜇伤）。在US发生之前，有机体会采取某种行动来取消或削弱US——这就是回避反应（AR），理论试图解释这一过程（例如逃离黄蜂）。通过经典条件作用，CS还会引发无意识的条件反应（CR，通常称为“恐惧”反应；LeDoux, 2014），其中许多反应在人类中是由自主神经系统介导的（例如出汗增加，通过皮肤电导变化测量）。虽然这些CR不是回避学习理论的直接解释对象，但它们经常作为中介变量出现。

**Mowrer的双因素理论**
直到今天，Mowrer的双因素理论（2FT；Mowrer, 1947）一直是实证工作的基础理论基准。它提出AR是通过经典（“问题提出”）和操作性（“问题解决”）过程的相互作用产生的（Mowrer, 1947, Rescorla and Solomon, 1967）。最初，CS与US相关联并引发CR。随着时间的推移，有机体会学会在CS存在的情况下采取AR，从而减少CS的暴露，进而减少CR。这种CR的减少又强化了AR（Hull, 1943）。因此，对US的回避是逃避CS的副产品。

**挑战与进展**
尽管2FT提供了关于回避的中枢理论视角，但它也遇到了持续的实证挑战。一旦AR被习得，它就会反复阻止US的发生，从而逐渐削弱CR，导致反应和非反应的循环（Maia, 2010）。然而，实证研究表明回避行为往往非常持久。此外，在无外部CS的自由操作程序中也可以习得AR（例如Herrnstein, 1969, Sidman, 1953），这一点无法用2FT解释。这些发现促使人们转向更注重AR外部后果而非CR减少的解释视角，以解释AR的习得和维持机制。

**Pavlovian安全信号理论**
Pavlovian安全信号或条件抑制理论认为，AR本身产生的刺激（在我们的例子中，是与逃离黄蜂相关的感官和本体感觉线索）开始信号表示本来预期的US没有发生。这些线索获得了双重作用：一种是Pavlovian抑制作用，减弱CR；另一种是工具性作用，强化AR（Weisman and Litner, 1969, Denny, 1971, Weisman and Litner, 1972, De Houwer et al., 2005, Fernando et al., 2014）。相比之下，操作性理论在单一过程的工具性框架内解释AR，其中Pavlovian关联不起必要的功能作用，AR是通过其防止、延迟或减少US来习得和维持的（Herrnstein, 1969, Higgins and Morris, 1984, Herrnstein and Hineline, 1966, Dymond and Roche, 2009, Dymond, 2019）。这两种理论都将强化作用归因于AR的后果。对于安全信号理论，相关的后果是AR产生的安全线索；对于操作性理论，则是AR对US本身的影响。

**进一步的进展**
这些发展留下了另一种未得到解释的现象，表明回避行为可能不仅仅受联想学习控制，还涉及对行为后果的推断。例如，人类的回避行为似乎与自我报告的US预期有关，并且对通过指令传达的命题性知识敏感（Lovibond, 2006）。Seligman和Johnston的混合理论保留了Pavlovian和操作性成分的区别，但认为操作性成分取决于对响应与否的预期（Seligman and Johnston, 1973）。他们的理论将回避行为视为明确的目标导向行为：有机体会比较不同的行为-结果关系。同时，对US的预测仍然通过联想学习获得，而非推断。期望理论（Lovibond, 2006）进一步发展了这一观点，它认为Pavlovian和操作性成分都是“以命题知识的形式存在，可以自我报告，并受推理过程影响”。因此，AR是对US预期及行为后果的推理结果，而CR是US预期的副产品。

**可证伪性**
重要的是要明确这些理论观点在实证上的可证伪性。对于Mowrer的2FT，关键命题是AR通过CS引发的CR减少得到强化。因此，当有机体在CS存在的情况下仍保持回避行为，或在无外部CS的自由操作程序中习得回避行为时，2FT就被证伪。当实验上可识别的AR生成反馈线索可以被移除、削弱、失去关联性或被重新评估为厌恶的，而不会显著减少AR时，安全信号和条件抑制理论也被证伪。操作性理论认为AR通过其后果得到强化或维持，不需要关于US发生的明确、可报告的预期作为中介。当回避行为根据在体验相关后果之前的预期或指令进行调整时，这些理论受到最大挑战。Seligman和Johnston的混合模型的可证伪性在于CS如何预测US：这部分模型仍然是联想性的，因此不允许通过指令立即修改CS-US关系。因此，即使US的省略只是被信号或指令告知，它仍然会预测某种反应，除非该信号已获得联想控制。期望理论直接适应了在体验相关后果之前的预期或指令调整，将CS-US和AR-US关系视为命题性并可用于推理。期望理论还提出了一个独特的、可证伪的命题：自我报告的US预期应与CR的强度系统相关。

**结论**
所有这些（以及其他多种）理论都用认知操作（即联想学习和/或推断）来描述学习过程。因此，我们将其称为“认知理论”，尽管在20世纪40年代提出2FT时并未使用这个词。我们将这些理论与计算理论进行对比，后者提供了所提出的认知操作的算法实现。原始的2FT与基于推断的理论（如期望理论）之间的二分性，在计算文献中有类似的对应关系，即无模型学习和基于模型的强化学习之间的区别（Sutton and Barto, 2018）。无模型算法直接从经验中（但缓慢地）学习某些刺激和/或行为的价值，从而基于其过去后果的统计概括选择行为。相反，基于模型的算法明确构建、改进和维护环境模型，允许快速适应变化，但在复杂环境中难以扩展（Daw and Dayan, 2014）。这两种算法代表了一个谱系的两端，并非相互排斥——它们可以结合使用（Dayan, 1993, Keramati et al., 2016, Russek et al., 2017, Gershman, 2018, Perez and Dickinson, 2024）。虽然这个谱系概括了强化学习领域的总体情况，但迄今为止的特定计算回避学习理论都是基于无模型算法的。因此，这个混合模型或期望理论没有计算上的对应物。

**综述方法**
我们进行了系统综述，而不是元分析，因为我们的目标不是验证定量假设，而是包含广泛的方法和实验范式，绘制出可复制现象的范围。我们的方法遵循了《优先报告系统综述和元分析指南》（PRISMA；Page et al., 2021）的要求。

**研究特征**
完整结果作为补充材料提供在https://osf.io/d73nz。筛选结果详见图2；关键研究特征见图3。最终样本包括116篇发表于1939年至2024年之间的文章。绝大多数研究包含了一个正式的习得阶段，参与者通过发现或明确指导学会了AR。其中一项研究将回避行为测量为倾向，即指令接近时的延迟。

**证据总结与理论意义**
在这项综述中，我们系统地回顾了关于人类回避学习的文献，总结了文献中发现的可复制现象，并使用基准方法评估了它们的可靠性和普遍性（Oberauer et al., 2018, Bach et al., 2025）。在讨论这些发现时，我们回到了促使这项综述的问题：回避学习理论必须解释哪些实证现象？哪些现有理论得到了支持或挑战？
致谢
作者感谢Tom Beckers、Angelos Krypotos和Olivier de Vries对手稿草稿提出的意见。
Federico Mancinelli | Dominik R. Bach