综述:多巴胺预测误差的简要历史
《Frontiers in Computational Neuroscience》:A brief history of dopamine prediction errors
【字体:
大
中
小
】
时间:2026年05月07日
来源:Frontiers in Computational Neuroscience 2.3
编辑推荐:
摘要
多巴胺信号与奖励预测误差(RPEs)密切相关——即预期价值与实际体验价值之间的差异。尽管存在争议,但多巴胺RPE假说是神经科学中最具影响力的理论之一。本文简要总结了这一理论的起源、实证基础及其理论发展。我们首先回顾了早期心理学研究,这些研究表明广义上的预测误差是学习的核心驱
摘要
多巴胺信号与奖励预测误差(RPEs)密切相关——即预期价值与实际体验价值之间的差异。尽管存在争议,但多巴胺RPE假说是神经科学中最具影响力的理论之一。本文简要总结了这一理论的起源、实证基础及其理论发展。我们首先回顾了早期心理学研究,这些研究表明广义上的预测误差是学习的核心驱动因素。这些实验启发了数学模型的发展,这些模型形式化了联想学习规则,并为人工学习算法(包括具有影响力的时差学习(TDRL)框架)提供了理论依据。TDRL框架中,学习过程受到价值或奖励预测误差的引导。随着研究发现中脑多巴胺神经元的活动模式与TDRL中提出的RPEs惊人地相似,这一理论与神经科学开始融合。这种独特神经元群体已经与多种行为过程和大脑障碍有关联,它被认为能够编码对强化学习算法至关重要的计算变量,这是一个重要的概念转变,为严格的假设验证提供了框架。在过去三十年中,越来越复杂的实验不仅在不同实验环境中复制了核心的多巴胺RPE发现,还揭示了与经典模型预测的重要偏差。这些例外情况引发了关于如何改进、修订或取代该假设的持续讨论。多巴胺RPE假说的历史是理论与实验结合推动神经科学进步的一个典型例子,也为理论和实验的综合提供了一个范例。
1. 引言
斯多葛学派哲学家爱比克泰德指出,人们不可能学到他们已经知道的东西(爱比克泰德,2022年)。虽然这句话意在强调知识谦逊的重要性,但它揭示了一个基本事实:学习需要打破对世界的先入之见。如今人们普遍认同,学习依赖于感知并正确处理预测与体验之间的差异,即“预测误差”。虽然关于大脑如何计算预测误差以及不同神经系统中涉及的信息类型存在很多争议,但普遍认为这些误差决定了推动学习的知识更新。不同类型的预测误差涉及外部关联的学习(联想学习)、自我生成行为的效果理解(强化学习)、感知的塑造(感觉感知中的预测编码)以及适应性运动控制(感觉运动预测误差)(Rescorla和Wagner,1972;Sutton和Barto,1998;Glimcher,2011;Spratling,2017;Popa和Ebner,2019)。这一概念不仅限于神经生物学和行为科学范畴,也是现代计算机科学和人工智能的核心。这些学习原则超越了代理的类型——无论是生物的还是人工的——可以泛化应用于任何获取和组织信息以指导未来决策的系统。许多学习模型,特别是应用于人工智能的模型,将学习定义为价值函数的更新,即当前和未来奖励(期望的结果)与惩罚(不期望的结果)的估计,并通过时间延迟等因素进行折现。这种类型的学习依赖于预期价值与实际体验价值之间的差异,即奖励预测误差(RPEs)。20世纪末,人们发现中脑多巴胺神经元的活动与这些RPEs的动态高度相似(Schultz等人,1997)。这一发现彻底改变了计算学习研究与实验学习研究之间的关系(Schultz,2007;Zhang等人,2025)。本文简要回顾了多巴胺RPE假说的历史,从其最初在实验心理学和学习理论中的起源开始,到20世纪学习机制的理论发展,再到确立这一假说的实验和计算进展,及其对神经科学及相关领域的影响,以及可能颠覆这一范式的当前挑战。本文旨在为读者提供一个易于理解的该主题历史介绍,并促使读者思考理论与实验之间的互动如何塑造了当前的神经科学研究格局。
2. 学习理论中预测误差的起源
虽然之前已有重要的相关研究(James,1890;Twitmeyer,1905),但现代学习理论研究的兴起通常被认为始于19世纪末和20世纪初,其中伊万·巴甫洛夫的经典条件作用描述和爱德华·桑代克的效果律是基础性工作。巴甫洛夫证明,一个中性刺激(线索)与一个无条件刺激(具有动机相关性的结果,如食物)结合可以引发条件反射(与无条件刺激相关的习得行为)(巴甫洛夫,1927)。这确立了条件作用的概念,即动物会根据它们预测的结果来学习对刺激的反应,并且这种学习遵循一定的规则。例如,在没有无条件刺激的情况下呈现条件刺激会导致条件反射的消失;如果同时呈现两种刺激并随后出现无条件刺激,那么更具显著性的线索会成为条件反射的主要驱动因素;如果另一个线索与先前已条件化的线索结合,它也可以获得该线索的条件反射(二级条件作用)。这一框架为系统探索线索与结果之间关联的学习规则奠定了基础。桑代克的效果律受到猫解决复杂谜题实验的启发(即操作性学习),提出动物通过试错学习,导致积极或愉快结果的行为更有可能重复,而导致消极或不愉快结果的行为则不太可能重复(桑代克,1927)。这一基本规则成为了强化学习的基础,确立了动物行为旨在最大化奖励和最小化惩罚的思想(Skinner,1938,1963)。对于这种学习,关于世界的大部分信息都可以归结为学习结果的“愉悦度”或可取性。这些基础性研究依赖于无条件刺激(即奖励和惩罚)的动机相关性,以根据这些结果的性质来驱动行为,例如对食物的预期引起的唾液分泌,这使得基于试验的任务中的学习可以直接量化。这使得许多人将学习定义为可观察行为的渐进变化(Skinner,1963)。然而,托尔曼、布罗格登和卢博等人的研究表明,即使没有直接强化,学习也可以发生(Brogden,1939;Tolman,1948;Lubow,1973)。这包括证明在自由探索中偶然学到的中性刺激和关联可以指导未来的行为。换句话说,学习可以是潜伏的或行为上沉默的,动物可以在非强化刺激之间形成关联。这些关键发现表明,学习并不完全依赖于直接强化价值,我们将在后续部分进一步讨论这一主题。另一个最初不清楚的问题是,学习是否仅依赖于时间上的连续性和顺序,正如最初假设的那样。这意味着只要线索或行为与无条件刺激在时间上接近呈现,它们之间就会形成关联。然而,阻塞现象的发现排除了这种假设。莱昂·卡明首次在大鼠身上证明了这一点:如果动物已经对某个线索进行了渐进式条件作用,那么覆盖一个新的线索不会引发新的学习(Kamin,1968,1969)。实际上,先前对一个线索的学习会“阻塞”对新线索的任何额外条件作用。后续研究进一步表明,改变无条件刺激的属性(如增加或减少强化物的数量或改变其感官属性)可以解除这种阻塞(Rescorla和Colwill,1983;Holland,1988;Holland和Kenmuir,2005)。因此,如果一个无条件刺激的所有属性都被一个线索完全预测了,那么该无条件刺激就不会支持对另一个线索的学习;但如果结果发生了变化,那么促进学习的能力就会恢复。阻塞现象的发现是学习理论发展中的一个重要里程碑,因为它巩固了这样一种观点:定义学习的是线索与结果之间的预测关系,而预测的违反或预测误差是学习的主要驱动因素。
3. 学习中预测误差的形式化
预测误差可以用数学方法来表达,即预测与体验之间的简单差异,这激发了新的学习理论模型的发展。这一点非常重要,20世纪70年代和80年代提出了多个将预测误差作为学习驱动因素的模型。其中最具影响力的是Rescorla-Wagner模型(Rescorla和Wagner,1972;Siegel和Allan,1996;Holland和Schiffino,2016;Soto等人,2023)。该模型通过强调预测误差决定了强化物能多大程度地推动学习来描述预测误差对学习的影响——结果越出乎意料,它对预测线索关联强度的改变就越大。该模型能够很好地解释阻塞现象,因为它预测当一个线索始终预测相同的结果时,会降低可用于学习其他线索的预测误差,从而限制它们的关联增强。该模型还解释了为什么更显著的线索和结果会导致更强的关联强度,提出了独立的显著性术语来乘以由特定预测误差引起的更新,从而解释了诸如掩盖现象(Pavlov,1927)。Rescorla-Wagner模型通过提供一个基于数学的形式框架,深刻影响了联想学习的研究,帮助人们理解预测误差如何驱动关联强度的变化(Miller等人,1995;McNally和Yau,2023;Soto等人,2023)。它的引入引发了该领域的广泛响应,开启了学习研究的新时代(Siegel和Allan,1996;Soto等人,2023)。尽管该模型能够解释学习的关键特征,但它也存在显著的局限性,这些局限性在其提出的当时就已显现。这些局限性包括“关联强度”除了无条件与条件反应之间的关系外没有明确定义,模型没有时间概念,因此只能应用于基于试验的任务,且无法解释某些基本的学习现象,如潜在抑制(即没有强化的线索呈现会减少后续学习)(Lubow,1973)。其他模型,如Bush和Mosteller(Bush和Mosteller,1951)、Mackintosh(Mackintosh,1975)以及Pearce-Hall(Pearce和Hall,1980)模型,虽然提供了重要的贡献并解释了一些Rescorla-Wagner模型无法解释的实验观察结果,但影响力相对较弱。可以说,Rescorla-Wagner模型的成功是由于其概念的简洁性、历史时机以及它能够以跨任务和物种的方式解释多种基于预测误差的学习现象(Costa和Schoenbaum,2021;Soto等人,2023)。
4. 从动物学习到机器学习
前一节最后的观点是Rescorla-Wagner模型在实验心理学之外(包括当时尚处于起步阶段的计算机科学和人工智能领域)变得如此重要的一部分原因。学习理论家的发现和数学形式化为人工学习算法的发展奠定了基础(Neftci和Averbeck,2019)。其中最成功的算法之一是时差强化学习(TDRL),由Sutton和Barto在20世纪80年代提出(Sutton和Barto,1981,1998;Sutton,1988)。TDRL可以被视为Rescorla-Wagner学习规则在实时事件中的扩展。与基于试验的结构不同,TDRL模型可以为任何数量的连续“状态”建立预测,包括代表线索和结果的状态。为此,TDRL提出了一个重要的概念性假设——学习涉及价值函数的创建和更新,即表示当前或预测状态的好坏。本质上,如果一个智能体处于某个状态,那么该状态的价值由该状态内任何潜在体验的强化特性(如奖励,或在经典学习理论中的无条件刺激)以及在该状态下可以预测的所有后续状态的价值来决定。关键在于,这种预测价值会根据智能体等待结果所需的时间进行折扣,时间越近的状态价值越高。因此,状态的价值被定义为所有当前和预测奖励的折现总和。这意味着,在每个时间点都被视为一个状态的任务中,TDRL模型能够实时预测并更新智能体的价值函数。此外,TDRL算法不仅将价值预测与当前状态的价值进行比较,还与所有未来预测状态的价值进行比较——这就是“时间差”一词的由来。该模型中的预测误差因此是奖励预测误差(RPEs),因为它们明确涉及价值,同时也是时间预测误差,因为它们由预测的时间点定义。
通过摆脱模糊的联想强度概念,将学习简化为单一变量,并使用实时规则,TDRL能够解释Rescorla-Wagner模型无法解释的几种现象,例如二级条件反射以及动物如何学会调整其条件反应以最佳匹配无条件刺激的呈现(Sutton和Barto,1998;Ludvig等人,2012)。这种算法在无监督机器学习应用中取得了巨大成功,远远超出了传统用来测试动物学习的经典巴甫洛夫和操作性任务。它被用来训练算法以大师水平玩复杂的游戏,如西洋双陆棋和国际象棋(Tesauro,1994;Baxter等人,1998),并且是许多现代机器学习和人工智能算法的基石(Mnih等人,2015;Silver等人,2018;Alkam等人,2025)。因此,TDRL是受心理原理启发的学习算法如何应用于人工系统多种任务的自学习的典型案例。
5. 多巴胺革命:对奖励预测误差的神经生物学证据
在20世纪90年代中期,最初从实验心理学实验中得出的基于预测误差的学习规则,由学习理论家进行了形式化,并由计算机科学家进一步扩展和完善,最终在神经科学中得到了确认。在一项具有里程碑意义的论文中,Schultz、Dayan和Montague(Schultz等人,1997)提供了令人信服的证据,表明行为猕猴的中脑多巴胺神经元中的很大一部分具有与TDRL学习模型中提出的RPEs非常相似的活动模式。简而言之,大多数记录下来的灵长类多巴胺神经元(在这些实验中占55%到80%)在出现意外奖励或预奖励线索时会增加放电频率,在未出现预期奖励时减少放电频率,在出现完全预期的奖励时放电频率不变,几乎完全符合TDRL RPE的预期。他们提出的假设是,大脑执行某种形式的TDRL计算以驱动适应性学习,而多巴胺是一种关键的价值强化信号。这一大胆的提议基于十多年的精心记录实验(Schultz,1986;Schultz等人,1993;Mirenowicz和Schultz,1994, 1996)以及平行的理论发展(Montague等人,1996)。此外,这些神经元活动与所提理论的高度吻合令人印象深刻,至今仍让该领域的新人感到震撼。很少有神经相关性像多巴胺RPE那样具有如此显著的“第一印象”合理性,其效果可能仅被海马体位置细胞的观察所匹敌(O’Keefe和Dostrovsky,1971)。
多巴胺RPE假设引发了该领域的一场重大概念革命。其之所以如此有影响力,部分原因在于多巴胺神经元对RPEs的编码在机制上是有道理的。多巴胺作为一种儿茶酚胺类神经调质剂,当时已经被认为与突触可塑性、奖励和学习有关(Robbins和Everitt,1992;Costa和Schoenbaum,2022)。多巴胺信号传导的异常已在多种疾病中得到广泛证实,例如药物成瘾(Koob,1992;Nestler,1992)和精神分裂症(Carlsson,1988)。事实上,几乎所有神经和精神疾病都观察到多巴胺功能障碍(Costa和Schoenbaum,2022),并且有一个计算原理可以统一这些不同疾病中的某些组件的想法非常吸引人。多巴胺RPE很快成为计算精神病学的核心,该领域将精神健康疾病视为特定计算过程的障碍。例如,多巴胺在成瘾中的作用可以解释为无限制的RPEs(Redish,2004;Lehmann等人,2025),而在精神分裂症中的作用可以解释为导致虚假关联的不适应预测误差(Millard等人,2022)。当然,关于这些假设是否成立存在广泛的讨论,但关键在于,这些假设只有在多巴胺的行为作用有明确计算假设的情况下才能存在并可能被证伪。
拥有一个强有力的正式假设的主要优势是,实验者可以设计针对该假设特定预测的实验,并测试这些假设在不同实验情境下的适用性(Costa和Schoenbaum,2021)。在关键的多巴胺RPE研究之后,发现大多数多巴胺神经元以及在某些目标区域的多巴胺释放传递类似RPE的信号这一发现确实在不同任务(Tobler等人,2003;Bayer和Glimcher,2005)、物种(Cohen等人,2012;Hart等人,2014;Kishida等人,2016)和多巴胺活动记录方法(Pessiglione等人,2006;Day等人,2007;Patriarchi等人,2018)中得到了验证,尽管也有例外情况(我们将在下一节中讨论)。遗传工具和光遗传学操作的发展也使得对该假设进行因果验证成为可能。在一项“即时经典”研究中,Steinberg及其同事证明了对大鼠的多巴胺神经元进行光遗传学刺激足以解除学习的障碍(Steinberg等人,2013)。这一效果证实了该假设的一个关键预测,即预测误差驱动学习,这与本文前面讨论的经典Kamin阻断实验形成了完整的循环。同样,抑制多巴胺神经元也被证明可以模拟负面预测误差(Chang等人,2016, 2018),这些工具还提供了关于塑造类似RPE信号计算的细胞类型特异性电路的见解(Cohen等人,2012;Eshel等人,2015, 2016)。
6. 超出经典RPE:最新进展、挑战和新方向
多巴胺RPE假设非常强大,其影响如此广泛,以至于在该领域的研究几乎不可避免地会涉及到它,而发现多巴胺信号与RPEs非常相似可能是整个神经科学中最常被复制的发现之一。然而,也有一些关于多巴胺功能的现象无法通过标准的TDRL框架完全解释(Costa和Schoenbaum,2025;Zhang等人,2025)。首先,研究发现多巴胺神经元并非全部相同。在本世纪的前二十年里,逐渐证明了投射到不同区域的多巴胺神经元具有不同的基因特征和活动模式,其中许多并不表现出RPEs特征(Roeper,2013;Lammel等人,2014;Menegas等人,2017;Farassat等人,2019;Poulin等人,2020;Azcorra等人,2023;Knowlton和Canavier,2023)。这种多样性在TDRL假设的最初提出时就已经被预见,因为只有部分多巴胺神经元显示RPEs样的活动模式(Schultz等人,1997)。这或许并不令人惊讶,因为多巴胺和其他神经递质一样,其在不同系统中有不同的功能是自然的。对于大多数其他神经递质来说,这种简单的启发式观点是不可想象的,也许只是因为RPE假设的影响而流行起来。随着过去二十年的研究,现在看来,多巴胺RPEs模式最明显的途径是中边缘途径,即投射到腹侧纹状体区域(尤其是伏隔核)的多巴胺神经元(Hart等人,2014;Menegas等人,2017;Mohebi等人,2024;Costa等人,2025a)。
然而,即使在表现出经典RPEs的同类型多巴胺神经元中,也存在着与经典TDRL模型的差异,这些差异是通过在不同任务中逐步测试RPE假设而揭示的。实际上,如果在可以用简单TDRL模型解决的任务中记录多巴胺信号,那么这些信号大多符合简单TDRL模型的预测。只有当动物表现出超出TDRL范围的行为时,该模型在解释多巴胺功能方面的局限性才变得明显。这是因为初始版本的TDRL模型有很多假设,限制了其解释复杂行为的能力,例如学习涉及单一价值函数的更新,且这种更新仅通过直接体验到的价值变化发生(Schultz等人,1997;Sutton和Barto,1998;Costa和Schoenbaum,2025)。在这些限制之外,需要对经典TDRL框架进行扩展和修改。例如,2013年的研究显示,当动物接近完全预期的奖励时,伏隔核中的多巴胺释放会增加,这与经典TDRL RPE的定义不符(Howe等人,2013)。这引发了关于这些波动含义的激烈辩论,目前仍在继续,因为这些持续的反应似乎更反映了价值或动机而非RPEs(Hamid等人,2015;Mohebi等人,2019;Guru等人,2020;Kim等人,2020;Costa等人,2025b;Floeder等人,2025;Priestley和Akam,2026)。然而,从理论角度来看,TDRL规则可以通过假设接近目标的凸变换来解释这些波动——这是对经典模型的简单调整(Gershman,2014)。这是如何修改或更新基本TDRL模型以符合实验发现的一个例子,而不会改变TDRL RPE的核心规则。
其他无法用经典TDRL RPE解释的观察包括:多巴胺神经元可以对相似幅度奖励之间的识别误差作出反应(Lak等人,2014;Takahashi等人,2017;Stalnaker等人,2019);多巴胺信号决定了关于奖励特征的学习(Chang等人,2017;Keiflin等人,2019);在不同的基于奖励的任务中,不同的多巴胺神经元似乎跟踪不同的奖励相关变量(如运动动力学和强化历史)的变化(Engelhard等人,2019);以及对特定强化物的贬值会立即减少对该刺激的多巴胺RPE反应(Papageorgiou等人,2016)。在最近的研究中,几个团队提出了存在多个并行价值函数和状态表示的概念,这些函数和表示由不同的多巴胺神经元编码(Millidge等人,2023;Takahashi等人,2023;Lee等人,2024)。因此,TDRL关于多巴胺信号RPE的假设并不是静态的,这一核心提案已经并且一直在更新以解释新的实验观察结果(Costa和Schoenbaum,2025;Zhang等人,2025)。当然,有些情况下调和似乎是不可能的,这些发现需要根本不同的计算框架。对多巴胺RPE假设的最大挑战来自那些明确测试TDRL与价值关系的基本假设的研究。这些发现包括多巴胺在没有任何强化作用的情况下也能介导学习(Sharpe等人,2017年;Kutlu等人,2022年;Costa等人,2025a年),以及它可以控制刺激之间的关联性(Morrens等人,2020年;Kutlu等人,2021年,2022年)。这些发现以及其他许多未在此列举的发现,从根本上挑战了多巴胺仅表示基于价值的RPE( rewarding perception)这一观点。因此,替代性解释必须超越TDRL(temporal difference reinforcement learning)的框架。当前的替代性观点包括多巴胺编码重要性(Matsumoto和Hikosaka,2009年;Kutlu等人,2021年)、因果推断(Jeong等人,2022年),或是关于价值以外的特征的预测误差(Takahashi等人,2017年;Gardner等人,2018年;Langdon等人,2018年;Corlett等人,2022年;Costa等人,2025a年)。后一种观点回顾了Tolman等人关于独立于直接强化的学习的研究(Tolman,1948年),并建立在计算模型的发展基础上,这些模型不仅涉及创建价值函数,还包括建立可观测状态与潜在状态之间转换概率的模型,即所谓的“基于模型的学习”(Langdon等人,2018年;Akam和Walton,2021年;Costa和Schoenbaum,2025年;Costa等人,2025a年)。在这个框架下,多巴胺仍然会传递预测误差信息,但这些预测误差不仅仅是关于价值的,还包含了定义动物内部状态的信息。这一点很有趣,因为它保留了多巴胺传递预测误差的概念,但这些误差比之前认为的更为复杂,并激发了人们对哪些类型的信息可以用于计算这些误差的探索。
7. 结论
预测误差这一概念被证明在心理学、机器学习和神经科学中具有广泛的应用。多巴胺信号通过特定类型的预测误差——TDRL RPE(temporal difference reinforcement learning rewarding perception)来体现这一概念,这一观点激发了数十年的研究突破。目前该领域围绕这一主题展开了激烈的讨论,我们很可能正处于一个向新范式过渡的时期,在这个新范式中,TDRL框架将会得到显著改进或被完全抛弃。详细讨论支持或反对任何更新或替代性观点的证据超出了本综述的范围,但我们要向读者强调的是多巴胺RPE假设作为这些最新发展的基准和灵感来源的重要性。即使最终这一假设被放弃,其在历史上的重要性也是无可争议的。它是理论与实验神经科学之间成功协同作用的典范,也是其他仍缺乏强烈规范性假设的神经科学领域应该借鉴的榜样。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号