前额叶对纹状体激活的调节:一种用于目标导向行为的层次框架
《Communications Biology》:Prefrontal modulation of striatal engagement: a hierarchical framework for goal-directed behavior
【字体:
大
中
小
】
时间:2026年05月07日
来源:Communications Biology 5.1
编辑推荐:
摘要
我们回顾了前额叶-纹状体在目标导向行为中的相互作用,重点关注前额叶(PFC)和纹状体在处理目标、策略和行动时的宏观和微观层面的互动。这一双重控制框架认为,纹状体矩阵在行为选择的自动化过程中起着作用,而前额叶则通过调节纹状体的参与度来提高行为的灵活性。前额叶-基底节环路包
摘要
我们回顾了前额叶-纹状体在目标导向行为中的相互作用,重点关注前额叶(PFC)和纹状体在处理目标、策略和行动时的宏观和微观层面的互动。这一双重控制框架认为,纹状体矩阵在行为选择的自动化过程中起着作用,而前额叶则通过调节纹状体的参与度来提高行为的灵活性。前额叶-基底节环路包括腹侧、背内侧和背外侧纹状体,分别对应于目标、策略和行动。纹状体的“交换机”功能实现了不同宏观领域之间的统一协调,而前额叶对其的调节则通过两种机制实现:一种是直接通过矩阵输入的快速切换,另一种是通过纹状体-多巴胺通路进行的基于学习的缓慢适应。
引言与概念综述
前额叶皮层(PFC)和纹状体作为基底节(BG)的主要输入核,对目标导向行为的多个方面至关重要。尽管这些区域已得到广泛研究,但理解它们如何协同工作以驱动灵活的决策仍然是一个挑战。历史上,这一差距主要是由于方法论的限制,但近年来多硅探针记录、细胞类型特异性表达方法和光遗传学等技术的进步开始揭示了这些复杂的相互作用。要全面理解这一过程,需要将前额叶和纹状体回路视为一个整体系统,同时考虑几乎所有前额叶和纹状体的子领域。
本文重点讨论了啮齿动物和灵长类动物中具有同源结构的前额叶和纹状体区域(详见表1)。在啮齿动物中,前额叶包括前边缘皮层(PrL, A32)、前扣带回(ACC, A24)、内侧-腹侧和外侧眶额皮层(m/v/lOFC, MO A14, VO A13a, LO A13l/m)以及下边缘皮层(IL, A25)。纹状体功能上分为三个宏观领域:背内侧(DMS)、腹侧(VS)和背外侧(DLS)。这些宏观领域内部进一步划分为纹状体小体(striosomes)和矩阵(matrix)。纹状体的这种组织结构使得不同宏观领域能够协同工作,而前额叶对其的调节则通过两种机制实现:一种是直接通过矩阵输入的快速切换,另一种是通过纹状体-多巴胺通路进行的基于学习的缓慢适应。
目标导向行为的特点
目标导向行为具有刻意性和信息性,它与习惯性行为的区别在于其对当前结果价值的敏感性以及生成新行动序列以实现期望结果的能力。这种行为依赖于一个“内部世界模型”,该模型能够模拟环境的因果结构,帮助个体预测后果并指导行动。
为了研究前额叶和纹状体在支持目标导向行为中的相互作用,我们提出了一个基于五个核心概念的整合框架:
1. **层次选择**:目标、策略和行动通过串联连接的前额叶-基底节环路同时被选择和激活。
2. **统一矩阵功能**:所有纹状体宏观领域中的矩阵集合共同维持对选定行为选项的持续参与。这一机制使得特定行为(无论是目标、策略还是行动)的自动化成为可能,即使在稳定状态下也无需持续关注。
3. **联想学习**:所有纹状体宏观领域中的学习都依赖于两个关键因素:来自不同皮层和皮下区域(包括丘脑)的突触输入在高密度棘状神经元(MSN)上的高度汇聚,以及这些突触处的多巴胺依赖性可塑性。
4. **评估学习环路**:前额叶通过向纹状体小体提供评估信息来影响学习过程,进而纹状体小体调节中脑的多巴胺神经元,从而影响矩阵内的可塑性。
5. **实时切换**:前额叶对矩阵的直接突触输入能够实时控制行为。这些输入可以激活特定的学习关联,或者迅速切换到另一个关联,从而决定当前选择和激活的行为选项。
通过整合这些概念,我们构建了一个理论模型(见图1),在该模型中前额叶和纹状体持续协作,以实现行为的稳定参与与灵活适应的平衡。我们批判性地评估了支持这一整合模型的证据,并指出了未来研究的关键方向。
图1:通过前额叶皮层-基底节环路实现的目标、策略和行动的层次选择与参与。
前额叶-纹状体通信在目标导向行为中的作用
我们提出,前额叶-纹状体通信有助于优化行为选择的参与度。这一概念源自层次强化学习,即一种随时间发展的闭环控制策略。在这种框架下,选择某个行为选项意味着启动并维持其执行,直到满足特定的终止条件。这一机制不仅适用于动作和策略,也适用于目标,且超越了基底节(尤其是其主要输入核纹状体)的范畴,将纹状体视为一个可编程的“交换机”,代表整个行为空间。纹状体的主要作用不仅是启动行为,还包括选择和维持对特定行为选项的参与,从而调节行为的开始、持续时间和结束。这种选择主要通过皮层-纹状体和丘脑-纹状体的突触输入模式实现,这些模式通过解除对竞争性选项的抑制来选择行为选项。
前额叶通过两种主要途径调节这一“交换机”,以实现行为适应:
1. **缓慢学习途径**:前额叶对纹状体小体的投射提供评估信号,这些信号通过与中脑多巴胺能神经元的连接间接调节矩阵中的突触可塑性,使纹状体能够学习、重新学习并适应刺激、行动和结果之间的关联。这一过程依赖于多巴胺能突触可塑性(强化学习),需要几分钟到几小时的时间来巩固新的关联。
2. **快速切换途径**:前额叶对纹状体矩阵中密度棘状神经元的直接投射能够快速切换行为选项,这一过程基于突触传输和群体动态的时间尺度(毫秒到秒级),实现实时灵活性,例如在试验间切换预先建立的策略,而无需立即依赖突触可塑性。此外,皮层-丘脑超直接通路也可以并行作用于这些纹状体回路,提供额外的行为抑制机制。
这种双重前额叶-纹状体行为控制架构既保证了在不需要调整时的高效自动化,又在需要调整时增强了行为的灵活性。这种自动化不仅限于传统的刺激-反应(S-R)习惯;一旦建立了关联,特定的皮层-纹状体和丘脑输入模式就可以直接触发相应的行为,无需意识层面的参与。我们预测,这种将特定输入模式与特定纹状体集合活动关联的神经生物学机制适用于所有纹状体宏观领域,从而可能扩展到其他行为选项领域。
这种层次化的参与机制分为三个层次:
- **目标参与**:腹内侧前额叶(vmPFC)-腹侧纹状体(VS)环路根据当前情境选择并维持对目标的参与。
- **策略参与**:背内侧前额叶(dmPFC)/外侧眶额皮层(lOFC)-背内侧纹状体(DMS)环路选择并执行实现目标的最佳策略。
- **行动参与**:运动皮层/背侧前扣带回(ACC-DLS)环路选择并执行实现策略的行动。
这种层次化的参与结构确保了不同物种之间基底节核团结构和相对重要性的变化,包括皮层核团向丘脑核团的投射在解剖学和组织学上的物种特异性差异。
我们的分析聚焦于目标导向行为,这种行为具有刻意性和信息性,与习惯性行为不同。它依赖于一个“内部世界模型”来预测环境后果并指导行动。通过研究前额叶和纹状体之间的相互作用,我们提出了一个整合框架,该框架有助于理解它们如何协同工作以支持目标导向行为。两种形式的自动化都对结果贬值保持敏感性,这强化了一个原则,即自动化并不一定消除目标依赖性或功能适应性;这两种机制都可以与建议的三环参与框架的元素结合使用。不同的纹状体宏观区域支持与目标、策略和行动的参与。哪些纹状体宏观区域支持与目标、策略和行动的参与?VS(伏隔核)、DMS(背侧纹状体)和DLS(腹侧纹状体)被假设为纹状体内负责与目标、策略和个别行动参与相关的解剖学基础。VS可能代表目标,DMS代表实现这些目标所需的策略,而DLS代表构成行为反应的具体动作序列(由当前参与的策略决定)。值得注意的是,我们将啮齿动物的宏观区域称为DMS,因为它通常被认为与灵长类动物的尾状核类似,将啮齿动物的DLS称为后壳核,将啮齿动物的VS称为伏隔核。将纹状体划分为三个宏观区域是一种简化,基于皮层输入的其他命名规范提供了更高的解剖学分辨率。纹状体的特点是皮层和丘脑突触输入从腹内侧向背外侧逐渐变化。这种梯度可能支持在不同时间尺度上与行为选项的参与;从腹内侧区域的长期目标到策略,最终到背外侧区域的毫秒级动作序列。尽管如此,我们在本综述中仍然坚持使用标准的三个区域命名法,原因有两个。首先,它很好地符合目标、策略和行动之间的概念区分;其次,因为大多数现有文献都使用这种术语,这限制了我们将功能映射到更精确的子区域的能力。
腹侧纹状体
VS和DMS最腹内侧部分(vmDMS,这些区域受到vmPFC(腹侧前额叶皮层)投射的强烈支配)在选择和维持目标参与中的作用,为许多与其经典相关的功能提供了一个统一的框架。例如,对人类和动物的VS进行电刺激、药物刺激或光遗传学刺激可以增强目标的动机显著性,以及与目标及其相关线索相关的动机欲望,并能诱导自我刺激行为。这种增加的动机显著性与持续的目标参与一致,因为对特定目标的更强参与自然会导致接近或实现该目标的动机增加。以下来自人类VS深部脑刺激(DBS)受试者的报告说明了如何通过刺激这一脑区激活非常具体和复杂的目标。“在开启刺激后几乎立即(60秒),一名患者无法识别任何变化,但他自发地报告说他意识到自己现在在科隆,他从未参观过著名的科隆大教堂,并计划在未来不久去参观,实际上他在手术后第二天就去了。第二名患者对刺激的即时反应也非常相似;她没有报告任何抑郁症状的急性变化,但自发地提到她希望重新开始打保龄球(这是她12年前的一个爱好活动)。”与人类研究不同,动物实验中的目标必须从选择行为中推断出来。尽管如此,研究表明腹侧纹状体活动对于启动和重新启动大鼠的目标追求是必要的。此外,VS活动在大鼠和灵长类动物中代表预测的结果,并预测或先于与目标的行为参与。
背内侧纹状体
DMS被认为参与选择和持续参与实现选定目标的策略。DMS的失活会损害逆转学习和策略切换,表明其在基于反馈调整策略中的关键作用。DMS神经元在概率决策任务中代表动作价值和有利策略,表明DMS编码了选择和维持特定策略方法所需的信息。此外,包括DMS中的神经元在内的背侧纹状体神经元在经典和工具性条件反射范式中表现出与刺激价值相关的放电率相关性,表明其在学习和表示不同感官线索基础策略的价值中的作用。最近的证据表明,DMS沿前后轴存在功能分化,后部DMS参与基于积极结果的学习和策略承诺,而前部DMS参与利用预期奖励的缺失,可能促进切换到新策略。这些报告进一步表明,VS刺激促进了对特定长期目标的参与,而不仅仅是特定奖励的寻求。同样,VS在成瘾中的作用可以被视为通过优先考虑药物诱导的结果状态而病理性地缩小和强化目标参与,以牺牲其他目标。VS损伤会损害由奖励价值变化驱动的学习,可能表明其在目标参与和更新目标表征中的作用。最后,除了与中脑多巴胺系统的连接外,VS与腹侧苍白球、黑质网状部分的连接,以及通过它们最终与多个PFC(前额叶皮层)区域的连接,为将目标参与传达给其他脑区提供了解剖学基础,影响下游的策略和行动选择。
背外侧纹状体
DLS被认为负责按正确的顺序和持续时间参与行动,这可以由当前参与的规则或策略决定。DLS神经元系统地编码关于形成行动的亚秒级动作成分的身份、时间、持续时间和顺序的信息。DLS的损伤会阻止序列中的适当动作成分顺序。DLS MSN(多突触核)集合独立于运动速度编码动作身份,表明DLS代表选定的动作本身,而不是其执行方式。MSN集合活动表示动作,多个MSN群体——包括在整个承诺期间改变活动的细胞以及在开始或结束时增加活动的细胞——共同决定了动作参与的时间。因此,DLS作为一个整体可以被视为代表所有可用动作空间的交换机。
矩阵和纹状体微区支持不同的功能
在目标导向行为中,纹状体微区的假设功能是什么?在每个纹状体宏观区域内,称为纹状体微区(或斑块)及其周围的矩阵表现出不同的组织化学特性和连接性,因此被假设具有专门的功能角色(见图2)。只有来自纹状体微区部分的MSN(多突触核)有强烈的直接投射到评估性中脑多巴胺细胞群(VTA、SNc),而来自矩阵的MSN仅投射到非评估性BG(基底节)核(GPe、GPi和SNr),并且它们在微区边界内的交流比跨边界更多。基于这些电路差异以及纹状体微区相比矩阵在奖励预测、预期结果相关信号方面的更强表征,我们采用了基于演员-评论家框架的微区概念,预计这种框架可以推广到VS、DMS和DLS宏观区域。
当环境条件稳定时,活跃的矩阵MSN群体代表当前参与的战略。PFC通过两种主要机制调节这种参与:(1)直接矩阵调节:PFC将关于当前内部模型状态的信息直接发送到矩阵MSN。这种输入可以迅速改变活跃的MSN群体,导致参与的策略切换。(2)纹状体微区介导的学习:PFC向纹状体微区提供基于模型的奖励预测信息。这种输入通过多巴胺系统传递,调节矩阵中的突触可塑性,促进长期学习和策略选择的适应。该图表示图1中的中间层次循环,即策略选择和参与;这里只显示了参与概率决策的关键脑区(在没有关于策略的感觉线索指示的情况下)。虽然在2D切片中表现为斑块,但纹状体微区应被概念化为一个3D网络。
矩阵内的MSN集合活动被认为代表当前参与的行为选项。Houk、Adams和Barto提出,矩阵模块作为演员,生成命令动作的信号或表示计划。在演员-评论家架构中,演员被定义为“以概率方式将状态映射到动作的传统动作选择策略”。同样,Joel及其同事建议,小规模的纹状体矩阵神经元能够根据Suri及其同事提出的演员模型引发动作。Ito和Doya重新表述了矩阵区域,特别是在背侧纹状体中,实现了学习动作选择的“演员”角色。他们进一步建议,矩阵神经元学习候选动作的“动作价值”,有助于基于模型的动作选择和灵活的目标导向行为。重要的是要认识到,支持矩阵区域在表示动作参与中的具体作用的文献主要是理论和计算性的。据我们所知,目前缺乏直接实验证据来隔离矩阵区域对动作参与的贡献。然而,正如Crittenden和Graybiel指出的,矩阵占背侧纹状体体积的80-85%,表明大多数MSN位于这个区域内。因此,现有数据支持背侧纹状体MSN在动作选择和执行中的作用很可能是反映了矩阵MSN的活动。未来的研究应优先直接评估矩阵和纹状体微区对行为参与和其他目标导向行为方面的具体贡献。
纹状体微区代表关于当前参与的行为选项的评估信号。纹状体微区神经元对奖励预测活动、奖励预测线索的放电更多,并在学习过程中编码更多关于预期结果的信息。此外,纹状体微区一致地表现出比矩阵更强的强化结果表征,并介导基于价值的学习。与这些证据一致,演员-评论家模型的一个版本认为纹状体微区通过整合并提供奖励预测信息(“状态价值”及其衍生物如RPE)来实现评论家角色,通过多巴胺循环传递给演员。在演员-评论家架构中,“评论家对应于一个传统的状态价值函数,将状态映射到预期的未来奖励”。纹状体微区是否仅通过中脑多巴胺细胞系统和学习再学习来影响基于矩阵的行为选项参与,或者是否存在其他机制,仍是一个开放的问题,需要更多研究;有证据表明MSN在纹状体微区-矩阵边界之间的交流较少。
另一种演员-评论家模型将评论家角色分配给VS或伏隔核,将演员角色分配给DS,而不是纹状体微区和矩阵。然而,几条证据支持本综述所青睐的纹状体微区-矩阵划分。首先,VS中的纹状体微区/矩阵比率显著高于DS,可能会混淆VS中的评论家相关活动和DS中的演员相关活动的识别。其次,如这里提出的分层参与框架,对于目标和策略有不同的评论家是有益的。因为即使是最优策略也可能不会在每次试验中都实现预期目标,所以策略的预测值通常会低于目标的预测值。因此,独立评估目标(由VS纹状体微区)和策略(由DMS纹状体微区)允许更精确的适应性学习。
不同的关联机制支持不同宏观区域中的纹状体参与
哪些关联机制可以支持不同宏观区域中的纹状体参与?现有数据支持这样一个框架,即MSN集合活动本身可以表示对行为选项的承诺时间,其中多个MSN群体——包括在整个承诺期间改变活动的细胞以及在开始或结束时增加活动的细胞——通过重叠而不是离散的MSN集合在神经活动空间中表示特定动作。纹状体电路架构使得胜者通吃(WTA)MSN集合的出现成为可能,这些集合代表参与的选项;这些电路模式包括基于快速放电的中间神经元(158,159)和基于MSN侧向抑制的竞争MSN集合的抑制(160,161),以及iSPN介导的竞争BG输出核集合的前馈抑制(162)。WTA集合活动由来自各种皮层和皮下区域的汇聚突触输入驱动,其中皮层是最大的来源,丘脑是第二大来源(163,164),突显了皮层-纹状体和丘脑-纹状体输入在确定时刻WTA集合中的重要性。汇聚的输入信号与突触可塑性相结合,使得纹状体成为联想学习和在不同行为选项之间切换的强大基础165。这一学习过程建立了特定输入模式与行为选项之间的映射关系。在这个框架下,我们将“参与”定义为学习到的关联的体现,即特定的突触输入模式驱动相应的MSN集合的突触后活动。因此,“联想学习”是创建输入-输出映射的过程,而“参与”则是实时使用该映射的过程。基于这些定义,我们现在将研究每个纹状体宏观区域内的联想过程,以阐明纹状体如何实现参与(见图3)。传统的命名法将关联描述为刺激-反应(S-R,在DLS中)、刺激-结果(S-O,在VS中)或反应-结果(R-O,在DMS中),但从MSN输出的角度来看,这些命名法并不适用于所有宏观区域。特别是DMS中的R-O关联,将结果作为关联的最后一个元素,并不能很好地解释与策略参与相关的MSN活动。我们建议采用一种更符合生物学原理的命名法,强调纹状体的输出,即MSN集合的活动本身。因此,我们提出了一种修订后的命名法,其中缩写的最后一个元素代表突触后MSN集合的活动,前面的元素代表驱动该活动的突触前输入。
图3:纹状体宏观区域内的不同关联介导与特定行为选项的参与。
学习发生在树突突触和棘突上,改变了哪些输入能够有效地驱动哪些MSN集合。这些MSN集合的活动代表了当前参与的行为选项,从而实现了自动化。在每个纹状体宏观区域内,从一系列学习到的关联中,通过(B)展示了基于反应类型和奖励历史的概率决策过程,以及(C)展示了由感官线索驱动的目标导向决策过程。
**腹侧纹状体:通过S-O和C-O关联与目标参与**
腹侧纹状体(VS)在啮齿动物和灵长类动物中都扮演着表示刺激-结果(S-O)关联的角色166,167,其中感官刺激作为特定结果的预测因子。我们建议通过将情境-结果(C-O)关联纳入VS的功能范围来扩展这一框架。这一补充反映了更广泛的环境情境对结果预测的影响,使得VS能够更全面地表示与目标相关的信息。VS中的MSN活动代表了结果(O),而这种活动是由代表特定刺激(S)或更广泛情境(C)的输入所驱动的。例如,VS活动对于大鼠基于刺激的目标参与是必要的113,114,而在灵长类动物中,40%的VS神经元能够根据视觉线索区分不同的预期奖励液体结果168;这种区分也可以解释为与特定目标的神经元关联。多项进一步的研究证实了VS MSN在编码期望结果属性中的作用103,115,116,169,170,171,172,支持S-O和C-O关联的观点。在这里,结果被定义为依赖于所选动作的具体外部事件(环境变化)——例如,一个有奖励的物体(食物颗粒、硬币)、环境状态的变化(门打开),或感官反馈(听觉线索);而目标则是当前追求该结果时的主动内部表征。
**背内侧纹状体:通过O-C-S和O-C-RT关联与策略参与**
背内侧纹状体(DMS)被认为支持与策略的参与,以实现选定的目标。其在策略调整中的作用通过其失活后的逆转学习和策略切换缺陷得到了证明125。DMS神经元编码了维持策略性行为所需的信息,例如在概率任务中的动作价值以及在条件反射范式中的刺激价值6,100,126,127。我们认为这是通过结果-情境-刺激(O-C-S)和结果-情境-反应类型(O-C-RT)关联来实现的,这些关联比传统的R-O模型更能捕捉到灵活的、基于规则的行为所需的信息处理。在这种修订后的命名法中,DMS MSN代表感官引导任务中的关键刺激(S)或在概率任务中的反应类型(RT),这些是由传达期望结果(O)和当前情境相关元素的输入所驱动的。这一观点得到了研究的支持,即在视觉决策过程中,刺激响应的MSN集中在DMS中(O-C-S关联的最后一个元素),并且在概率任务中,DMS神经元代表有利的反应类型(O-C-RT关联的最后一个元素)6,100,173,174,175。
**背外侧纹状体:通过S-R和A-A关联与动作参与**
最后,背外侧纹状体(DLS)介导与动作的参与,根据所参与的策略控制动作的顺序、时间和持续时间95。DLS神经元系统地编码动作音节的身份和时间结构,并独立于执行速度代表选定的动作本身33,34。这一功能与刺激-反应(S-R)关联一致,其中MSN集合的活动代表了由皮层和皮下刺激(S)相关输入驱动的动作参与66,67,68,69,70,71,72。我们进一步提出,DLS还支持动作-动作(A-A)关联,这是将动作链接成熟练序列的关键机制。在这个机制中,代表当前动作的DLS MSN活动是由传达关于前一个动作信息的突触输入所驱动的,这一机制得到了DLS神经元中动作编码顺序性的强烈支持34,36,37。
这个修订后的关联框架包含了可能不全面的扩展关联类型集合,有助于更全面地理解纹状体亚区域如何参与目标导向行为的选择、执行和参与。
不同的前额叶皮层(PFC)区域支持目标、策略和动作的选择与参与
不同PFC区域的功能特化和优先的纹状体投射拓扑结构引发了这样一个问题:哪些前额叶区域支持目标、策略和动作的选择与参与?在关联皮层层次结构的最高层,PFC在表示动作(最广泛意义上的行为选项)方面起着关键作用,这是通过短期记忆和预期集合等机制组织目标导向行为的基本要求176,177。PFC提供了执行控制和工作记忆的神经基础178,179,180;此外,它还生成目标,根据环境情境预测结果181,182,183,并通过内部世界模型实现灵活的目标导向行为3,30,31,184,185,186,187。尽管在整个PFC中普遍存在与任务相关变量的神经元表征188,189,190,但大量研究支持PFC内的功能专业化。这种专业化也体现在不同PFC亚区域向不同纹状体宏观区域的拓扑投射上,这表明在选择目标、策略和动作方面存在分工84(参见表1和框1;后者通过特定的行为范例说明了多个前额叶区域如何在串联连接的PFC-BG环路中支持行为选项的层次选择)。
这里提出的框架与统一的皮层-丘脑系统观点一致,而不是将这些结构视为独立的功能实体,这是基于它们广泛的双向连接性191,192、互补的电路模式191、长距离的丘脑-皮层中继功能以及广播式枢纽操作193。一个特别有趣的发现表明,PFC表现出循环性的兴奋性电路连接194和对环境的高维、混合选择性表征195,196。互补地,前馈电路模式(没有循环性兴奋)使丘脑能够从这些高维的PFC表征中提取抽象的、低维的表征197,198,199,200,201,并将这些抽象信息广播到其他皮层区域或返回到原始区域。进一步的证据表明,丘脑可能在规则表征中扮演更重要的角色202,因为丘脑中的抽象规则编码比PFC更早出现(尽管应该注意的是,只调查了两个而不是所有潜在的PFC亚区域)。支持整合性皮层-丘脑功能的进一步论据还包括通过一致性进行的通信203,204,205,其中丘脑在协调这种一致性方面可能起着关键作用206,207,208,209。因此,在这篇综述中,丘脑被视为整合的皮层-丘脑系统的一部分。也有研究表明丘脑将前额叶的计算传递给纹状体211;然而,纹状体本身也表现出没有循环性兴奋的电路模式159,212,并被认为可以从皮层表征中进行维度降维145。
**框1:将层次化参与框架应用于特定的行为范例**
A) 注意力集合转换范式325,326,327,328(啮齿动物示例):在这个范式中,受试者必须根据感官维度(例如气味或介质)学习规则以获得单一的结果类型(食物)。
- 第1循环(目标):vmPFC/OFC计算环境情境和潜在结果的评估。VS集合活动保持对目标的参与,从而维持任务的动机。
- 第2循环(策略):mPFC/OFC根据内部世界模型预测/跟踪受试者在任务状态空间中的位置,检测任务状态的变化和策略/集合的转换(例如,“气味A不再有奖励;切换到挖掘介质A”);进而它使DMS倾向于参与当前有利的策略(例如,“专注于气味”)。DMS集合代表与这一特定规则或注意力集合的参与。
- 第3循环(动作):运动皮层和相邻的A24根据参与的策略和当前试验线索计算当前有利的反应(例如,“策略表明气味A是正确的;气味A在左边;因此,向左移动”)。DLS保持对这一选定运动反应及其组成动作音节的参与。(注意:在这些引用的研究中,功能证据主要来自mPFC/OFC和DMS的损伤效应。VS和DLS对这一范式的具体贡献是从更广泛的文献中推断出来的;详见正文)
B) 概率选择/强盗任务6,84,222(啮齿动物和灵长类动物示例):受试者在多个选项(例如2个或3个端口/目标)之间进行选择,其中奖励概率随时间变化,需要持续的价值更新。
- 第1循环(目标):vmPFC/OFC计算所选选项的预期价值。VS集合活动在整个试验过程中编码并维持这一价值信号,代表对目标的持续承诺(参与),从而驱动持续的动机。
- 第2循环(策略):mPFC跟踪动作-结果历史(内部模型)以检测奖励条件性的变化;进而它使DMS倾向于参与当前有利的策略(例如,“将偏好转向左边”)。DMS集合编码特定的动作价值(例如,左边与右边的价值),以选择最佳策略。
- 第3循环(动作):运动皮层和外侧PFC计算即时的运动动力学。DLS/DS活动代表对选定动作的具体执行的参与(例如,到达方向或端口选择),这比VS的目标信号在试验中出现得更晚。(注意:这一条目综合了跨物种的研究结果:灵长类动物研究84直接证明了目标(VS)和动作(DS)参与的区分,而啮齿动物研究6,222阐明了mPFC-DMS循环中的策略/动作-价值更新。)
C) 基于商品的经济决策215,216,329(灵长类动物示例):在这个范式中,每次会话中有两种预测的愉悦结果类型(果汁,以不同的数量提供)。
- 第1循环(目标):vmPFC/OFC计算环境情境和基于感官线索的预测、评估和潜在结果的比较;VS集合活动代表对每次试验所选目标的参与(例如,选择2×65微升的葡萄汁而不是3×65微升的稀释蔓越莓汁)。
- 第2循环(刺激选择):mPFC/OFC维持选定的价值信号和结果身份,并将这些信息发送给DMS,使其倾向于与期望结果相关的感官线索;根据参与的目标,DMS集合活动代表与期望结果相关的感官线索的参与(例如,亮绿色方块代表葡萄汁)。
- 第3循环(动作):运动皮层和相邻的A24根据参与的感觉线索和当前试验的空间配置计算当前有利的反应(例如,参与的感觉线索是亮绿色方块,而亮绿色方块在左边,因此选择左边的反应),并将这些信息发送给DLS,使其倾向于有利的反应;根据参与的感觉线索,DMS集合活动代表根据当前试验线索对当前试验选择的反应的参与(例如,选择左边作为与期望结果相关联的线索——亮绿色方块),并在后续的层次化子循环中,逐时刻参与当前动作音节。(功能证据来自OFC的电生理学和光遗传学研究;但在引用的研究中没有记录VS、DMS、DLS、mPFC和运动皮层/A24,因此框架中的目标参与(第1循环的纹状体部分)、刺激选择(第2循环)和反应执行(第3循环)阶段需要通过其他研究进行直接测试,详见正文。)
D) 固定选择和自由选择的概率决策100(啮齿动物示例):在固定选择任务中,特定的频率音调指示大鼠用指定的左孔或右孔进行操作,以获得固定的奖励概率。相比之下,自由选择任务使用了一个白噪声提示,该提示不提供方向信息,要求老鼠根据不同区块中的奖励概率来选择一侧。循环1(目标):VS集合活动在任务开始时显示出最强的激活,编码了状态值和任务类型(固定选择与自由选择情境)。这代表了对于获得奖励的目标的参与以及当前行为情境的一般激励价值——为后续的动作选择奠定了基础。循环2(策略):DMS集合活动在动作选择阶段最强烈地编码了动作价值——即在当前奖励条件下选择左或右的预期价值;在自由选择试验中(当动物必须计算和比较价值时),DMS的动作价值编码比在固定选择试验中更为显著(当提示直接指示响应时),这与DMS根据参与的目标偏向于当前有利的选择是一致的。循环3(动作):DLS活动编码了动作指令(左或右),在执行前达到峰值。即使选择重复,这一信号也依然明显,这与DLS保持特定的运动参与是一致的。(注意:功能记录来自所有三个纹状体宏观区域(VS、DMS和DLS),为纹状体各站之间的层次梯度提供了直接证据。PFC区域没有进行记录,因此每个循环的皮层贡献仍需在此任务中直接测试,并且有其他研究的支持,详见正文。)
目标选择
腹内侧前额叶皮层(vmPFC),包括内侧OFC、腹侧PrL-、IL-和前额极皮层(存在一些物种差异),与目标选择和参与有关。例如,Holton和Kolling证明vmPFC支持人类受试者的目标承诺213。内侧OFC在基于价值比较的目标选择中起着关键作用,可能通过将价值表示转化为一种通用货币来促进不同选项之间的比较214,215,216。当情感反应受到关于特定结果的概念信息的影响时,vmPFC至关重要188,217。这个腹内侧PFC区域与VS在目标选择过程中紧密合作,这一点通过解剖学连接得到证实97,101,102,并且可以提供结果预测的情境(C)信息,从而驱动VS MSN活动在提出的C-O关联和目标参与中发挥作用。此外,从这些vmPFC区域到VS的纹状体偏向性投射(稍后进一步讨论)被假设为提供评估反馈,影响纹状体的学习和目标表示的更新。同样基于他们的功能数据,Tang和Averbeck提出,代表参与行为目标的学习价值信息在整个腹侧皮层-纹状体回路中得到维持,其中包括OFC和VS84(另见框1,示例C)。
策略选择
与策略选择相关的PFC部分包括背侧PrL-、外侧/腹侧OFC-和ACC皮层2,4,218。腹侧/外侧OFC与基于感觉线索的结果预测和结果属性相关,进而与基于线索的策略相关181,182,219;而mPFC则更多地与基于结果历史的动作选择相关181,220。PrL神经元的活动在结果评估期间编码了后续试验的选择,光遗传学失活PrL皮层会损害基于最佳结果概率的决策221。mPFC神经元持续编码基于概率的价值决策变量222。mPFC和背内侧纹状体神经元在概率决策任务中代表有利策略(响应类型),其中一小部分是假定的单突触连接的mPFC-DMS神经元对6。mPFC在复杂规则和策略的情况下也很重要,这些通常可以被视为基于内部模型的决策30,223,224。外侧/腹侧OFC在各种形式的基于感觉线索的目标导向行为中也很重要3,31,218,225。OFC到DMS的投射对于适当的经济决策是必需的1(另见框1示例A和B)。
动作选择
高级运动皮层,包括次级运动皮层和可能的ACC的邻近背侧部分(背侧区域24, ACAd),主要与选择和计划即将到来的动作相关85,226,227,228,229。这些区域反过来优先针对DLS来最终确定选择并安排与特定动作的参与时间。通常,由于方法学限制,大多数研究只在同一行为期间记录和分析了一个或几个相邻前额区域中的神经元反应。只有最近的方法学和分析改进才开始能够研究更大区域集合之间的信息表示差异230。这将有助于我们更好地理解目标导向行为在不同区域之间的差异。
不同的PFC输入如何驱动纹状体微区室
哪些PFC输入驱动纹状体微区室?PFC可能通过两条主要途径影响纹状体的参与:首先,纹状体介导的学习允许PFC通过提供评估反馈来随时间塑造纹状体关联——将特定输入路由到特定输出(图4A, B)。其次,直接矩阵调节允许PFC——以及其他皮层和丘脑输入——通过改变矩阵MSN中的活动模式来快速切换参与的行为选项(图4C)。这两种途径为长期适应和短期灵活性提供了互补的机制。
图4:通过学习和切换来调节纹状体参与的前额叶调节电路模型。
在目标导向行为中,PFC通过两种主要机制调节纹状体功能:纹状体介导的较慢学习(顶部和中间行)以及一旦相关关联被建立后通过直接矩阵调节的快速切换(底部行)。纹状体介导的学习(顶部和中间行):学习受到基于尖峰时间依赖性的可塑性的三因素规则的控制:当突触前输入、突触后MSN放电以及纹状体介导的相位性DA(黄色)释放同时发生时,突触连接到矩阵MSN的连接得到加强。(注意:D1-和D2受体表达的MSN之间的机制可能有所不同。)(顶部面板):展示了学习两个不同关联的过程。左侧,来自PFC/丘脑集合1、4和5的输入在DA依赖的教学信号期间驱动矩阵MSN集合X的活动,启动可塑性。右侧,来自集合2、3和6的不同输入模式驱动另一个MSN集合Y,启动另一个关联Y的学习。(中间面板):“学习到的关联状态”描绘了学习过程的结果。放大的绿色树突棘代表加强的突触连接(LTP/STDP),建立了新的输入-输出映射,或“纹状体路由”。直接矩阵调节和行为切换(底部面板):一旦关联被学习,PFC可以通过改变对矩阵的直接输入来快速切换它们。(左下角):特定的行为选项“扩展行为空间中的一个元素”被选中,因为来自PFC集合1的输入选择性地激活了现在被强化的MSN集合X。(右下角):为了切换输出,不同的皮层/丘脑输入模式(集合2、3和6)激活MSN集合Y。尽管集合4提供了支持集合X的竞争输入,但更强的一致输入使得集合Y赢得了竞争。这种赢家通吃的过程,通过MSN集合之间的侧向抑制得到促进,确保了单一主导行为选项的选择。这说明了皮层和丘脑输入的动态变化如何根据学习到的突触强度轮廓快速改变参与的行为表示。
纹状体介导的学习途径
特定的PFC区域优先投射到特定纹状体宏观区域内的纹状体,提供驱动学习和适应的评估信号。这些信号可能代表基于模型的奖励预测信息——即基于环境内部模型的未来结果预测,而不仅仅是基于过去的奖励100。这样的途径允许PFC影响在纹状体内学习和加强哪些关联,从而塑造长期的行为偏好。
来自不同PFC区域的纹状体偏向性连接的观察表明了一种可以支持功能专门化的组织结构。具体来说,来自某个PFC区域到特定纹状体宏观区域的纹状体偏向性可能仅在该PFC区域提供关键评估信号的情况下存在。来自同一PFC区域到其他纹状体区域的投射,在这些区域中该PFC区域的评估作用不关键时,可能不会表现出纹状体偏向性。
支持这一概念的是,Ragsdale和Graybiel发现前额-纹状体投射在很大程度上与纹状体微区域相对应231,更具体地说,PrL、ACC的部分和后部OFC向背侧纹状体的纹状体发送密集的神经支配,而在周围的矩阵中的标记较少232,233。向运动皮层和扣带回皮层部分的注射显示在矩阵中有优先的终止232。
更详细地说,多条追踪研究表明,具有纹状体偏向性纹状体连接的皮层区域并不是以相同的方式投射到纹状体的所有部分;而是只投射到纹状体的某些区域232,233。同样,Waugh和Blood发现,由一个皮层区域主导连接的类似纹状体的体素被组织成不同的区域234。
Ragsdale和Graybiel在猫身上观察到了类似的组织原则,其中皮层-纹状体投射模式可以根据从纹状体偏向到避免纹状体的背腹位置沿单一轴线排序235。这个轴线包括来自后顶叶皮层、背内侧PFC、vmPFC、岛叶皮层和前颞叶皮层的投射。综合来看,观察到的皮层-纹状体投射中的纹状体偏向性可以反映一种功能组织,其中不同的皮层区域为特定的纹状体区域贡献不同的评估信息。
内侧OFC、IL皮层和PrL皮层的腹侧部分强烈投射到VS的伏隔核97,101,102。这些脑结构与与目标选择一致的功能相关,表明这些皮层区域的纹状体偏向性可能主要存在于参与目标选择和随后策略选择的纹状体宏观区域中,如VS,但不在DMS和DLS中。同样,背侧PrL皮层和腹侧ACC强烈投射到DMS102。这些区域与与策略选择一致的功能相关,表明这些皮层区域的纹状体偏向性可能主要存在于参与策略选择的纹状体区域中,如DMS,但不在伏隔核或DLS中。最后,运动皮层(M1和M2)和背侧ACC强烈投射到DLS98,101,102。这些区域与与动作选择一致的功能相关,表明这些皮层区域的纹状体偏向性可能主要存在于参与动作选择的纹状体区域中,如DLS,但不在伏隔核或DLS中。
直接矩阵调节
除了通过纹状体的较慢的学习影响外,PFC还可以通过投射到矩阵MSN(图4C)或连接到纹状体中间神经元55来直接控制纹状体活动。这些投射可以传递关于内部模型当前状态的信息,允许PFC根据内部模型的当前状态快速切换参与的行为选项3,30,31,56,57。这种快速调节对于根据内部模型的当前状态灵活调整行为至关重要,无需等待较慢的多巴胺依赖性可塑性。例如,来自运动皮层(M1/M2)到DLS矩阵的投射非常适合直接影响动作的选择和参与85,226,227,228,而来自关联PFC区域到DMS矩阵的投射可以根据新的情境信息快速更新参与的策略3,30,31。重要的是,选项之间的切换不仅仅依赖于PFC作为中央控制器。相反,切换是前额叶-BG系统合作的一个涌现属性,其中PFC提供基于内部世界模型的状态预测作为关于最佳行为选项的偏向信号,由纹状体执行赢家通吃的选择和参与212,236。当检测到状态转换并且PFC的最佳选项预测偏向信号发生变化时,对活跃矩阵MSN集合的输入驱动减少,破坏了当前的参与。这允许由新的情境PFC输入驱动的替代选项克服侧向抑制并成为新的主导选项。
维持对目标或策略的参与能力受到潜在内部模型的认知成本的限制。PFC中的工作记忆过程提供了维持特定矩阵集合活动所需的自上而下的“情境”信号。关键的是,生成和维持这些依赖情境的偏向信号的能力受到工作记忆资源的限制。当认知负荷很高时——例如在双任务条件下、复杂规划中,或者需要同时维持多个任务相关表示的情况下——PFC到矩阵信号的准确性和稳定性可能会下降237,238。这种下降降低了系统维持目标导向参与的能力,并可能导致行为控制的平衡转向之前强化的、较少依赖于活跃PFC维护的习惯性反应模式239,240。因此,直接矩阵通路不仅代表了一种灵活的、基于上下文的切换机制,也是一个脆弱点——资源限制可能会削弱目标导向的控制,转而支持更自动的、由刺激驱动的反应。纹状体细胞通过中脑的多巴胺能回路发挥其评估和教学功能。纹状体细胞是如何在纹状体内发挥这种评估和教学功能的呢?来自纹状体细胞的投射是纹状体向VTA/SNc的主要输入来源,它们提供了一种多巴胺能机制,用于评估正在进行的行为并更新相邻矩阵区域中的行为选项选择。这种反馈回路使纹状体能够学习和适应,最终在不同情境中精炼出适当的行为选项选择。纹状体细胞主要通过向VTA和SNc中的多巴胺能神经元投射来发挥其评估影响。这些多巴胺能神经元反过来又向纹状体投射,形成了一个回路,通过改变突触权重来学习或重新学习(见图2和图4)。不同的纹状体区域在中脑多巴胺能系统中具有不同的拓扑投射,而这些多巴胺能神经元的主要返回投射决定了它们对纹状体的影响,从而在每个纹状体宏观区域内形成了多个平行的回路。除了这些拓扑定义的“封闭”回路外,层次化的纹状体-黑质投射模式还允许从腹侧到背外侧纹状体区域的级联多巴胺能影响,从而实现跨领域的通信。纹状体直接通路神经元向GP、SNr和SNc发送大量的侧支投射。纹状体细胞和矩阵直接通路神经元之间的一个关键区别在于它们的投射目标;虽然两者都投射到SNr,但只有纹状体细胞直接支配SNc。使用Cre依赖性GFP表达在patch-Cre小鼠(Sepw1-NP67)中进一步证实了纹状体对SNc的直接支配。Evans和Khaliq观察到大量起源于纹状体的突触末端延伸到SNr的树突上。这些发现表明,纹状体对SNc的多巴胺(DA)神经元具有强大的抑制作用,随后是一个抑制后的兴奋期。体内光遗传学研究展示了这种影响的功能后果:激活纹状体向SNc的投射会抑制DA的释放,并调节习惯形成和运动。重要的是,纹状体还可以通过两种已知的机制增加DA神经元的活动。第一种是通过苍白球和外侧缰核的多突触通路;第二种则来自表达D2R的纹状体细胞,涉及苍白球外层的单一抑制性中继。这表明纹状体直接和间接通路神经元可以双向调节DA的释放。这种源自纹状体输入的多巴胺能反馈驱动了皮质-纹状体突触的长期突触可塑性,决定了哪些输入最终会触发矩阵中代表的特定行为选项的参与。强烈的、阶段性的DA释放增强了同时活跃的皮质-纹状体突触与活跃的MSN之间的连接(通过尖峰时间依赖性可塑性实现长期增强),这种效应依赖于D1受体的激活。尽管本综述强调了DA对纹状体学习的贡献,以及皮质-纹状体和丘脑-纹状体输入在快速切换中的作用;但多巴胺能信号的多功能性可能允许其具有更多功能。基线多巴胺通过D1受体增加了dSPN的兴奋性,这可能对行为选项的选择和参与具有促进作用。尽管纹状体DA的波动(包括基线DA水平、阶段性释放和持续性释放)被认为与多种功能相关,包括运动控制、动作启动、运动强度和动机;但无论是阶段性还是缓慢上升的多巴胺似乎都为优化的适应过程提供了奖励预测误差信号。虽然DA还对皮质-纹状体突触强度产生即时的短暂影响,并调节MSN的兴奋性,从而筛选出活跃的MSN群体;但纹状体参与的主要驱动因素是直接的皮质-纹状体和丘脑-纹状体输入,因为它们决定了哪些特定的矩阵MSN群体被激活。证据表明,DMS和DLS之间的DA信号动力学和突触可塑性机制存在差异,背侧和腹侧纹状体之间也存在差异。波浪状的DA动态可能设定模型预期,并允许提前预测即将到来的行为输出调整,这可能受到直接皮质输入的影响。然而,DA信号在纹状体中支持哪些多样化的功能仍然是一个未解之谜。一般来说,在我们的框架中,可以预测腹侧与背外侧纹状体区域的时间动态存在梯度差异。这种梯度与每个区域的不同计算需求相符——腹侧区域需要更慢的整合以实现目标相关更新,而背外侧区域则需要更快的处理速度——这与最近的研究结果一致。多个评估性脑系统对纹状体表现出偏向性的投射,以实现对纹状体学习的综合控制。为什么多个评估性脑系统会对纹状体表现出偏向性投射?多个评估性脑系统对纹状体的偏向性投射表明,这一微区域在整合多样化的价值信号以指导适应性学习和行为更新中起着关键作用。这种信息的汇聚使纹状体能够创建一个全面的表征,考虑到当前参与和潜在行为选项的总体价值,不仅包括即时奖励,还包括长期目标、情感背景和潜在风险。人类MRI连接数据显示,来自多个前额叶皮层区域(前极皮层、内侧前额叶皮层、OFC、ACC)、岛叶皮层、杏仁核和中背侧丘脑的输入偏向于纹状体。相比之下,矩阵接收了更多来自次级运动皮层和视觉皮层的输入,反映了其在表示和执行特定动作和策略中的作用。参与价值和效价处理的多个脑区域向纹状体发送偏向性的投射,解剖追踪研究证实了这一点。这些区域包括mPFC、OFC、杏仁核、BNST、下丘脑以及前部和网状丘脑核。值得注意的是,其中一些皮下输入——特别是杏仁核、BNST和下丘脑——在处理威胁、风险和情感显著性方面起着关键作用,表明纹状体是一个汇聚点,在这里潜在的危险和负面结果与奖励相关信息被整合在一起。我们假设,多样化的评估性输入在纹状体的汇聚允许对这些信号进行加权整合。这种整合的价值信号通过纹状体-黑质通路传递,调节DA的释放,从而驱动矩阵中的突触可塑性,进而更新与特定目标、策略和动作相关的关联。进一步的证据来自不同的多巴胺动力学:与矩阵中负面线索降低DA浓度不同,纹状体中的DA释放是由预测奖励和负面结果的线索引发的。这种对效价的双向敏感性表明,纹状体专门用于处理广泛的动机相关信息——包括潜在风险和威胁——使系统能够根据吸引性机会和负面后果来更新行为策略。重要的是,这些不同输入对纹状体的影响平衡可能会发生变化。在情绪高度兴奋、感知到威胁或奖励-惩罚冲突的情况下,杏仁核和下丘脑等皮下结构对纹状体活动的影响可能相对于前额叶皮层变得更加显著。这种变化可能会使整合的评估信号偏向于规避风险或情感驱动的行为模式。例如,当潜在的负面结果显著时,杏仁核对纹状体的增强驱动可能会促进倾向于避免或谨慎策略的学习,即使基于前额叶皮层的成本-效益分析可能倾向于接近。在慢性压力、焦虑或创伤等病理条件下,这种不平衡可能会根深蒂固,导致适应不良的回避行为或由威胁检测系统驱动的冲动反应。需要更多的研究来确定在不同稳态和情绪状态下纹状体中是否存在整合或赢家通吃机制。预计皮下评估性输入对纹状体的影响会沿着腹侧-内侧到背外侧纹状体轴逐渐减弱,这反映了情绪和先天驱动力在目标选择中的更强作用。结论与展望这篇概念性综述综合了一个理解目标导向行为中前额叶-纹状体相互作用的框架,重点关注层次化参与的概念(见图1)。我们认为纹状体充当“交换机”,在前额叶皮层的调节影响下选择并维持与行为选项(目标、策略和动作)的参与。VS、DMS和DLS分别被认为介导与目标、策略和动作的参与。我们提出了一个修订后的关联框架(例如DMS中的O-C-S和O-C-RT关联,见图3),这可能更准确地表示从突触输入到MSN输出的信息流,适用于特定类型的行为参与。前额叶皮层通过两条主要途径影响纹状体参与:通过纹状体介导的学习,通过评估反馈塑造长期关联;以及直接的矩阵调节,实现参与行为选项之间的快速切换(见图2和图4)。纹状体细胞接收来自多个评估性脑系统的输入,整合多样化的效价信号以指导决策。这种层次化的参与框架为理解前额叶-纹状体功能提供了新的视角,并为研究目标导向行为的神经基础提供了新的途径。尽管前额叶皮层和基底节研究仍有许多未解之谜,但一个关键任务是确定前额叶皮层通过纹状体介导的学习和直接矩阵投射精确调节纹状体活动的机制。这包括前额叶皮层如何将关于内部世界模型不同状态的身份和转换的信息传递给不同的纹状体细胞类型。这将需要进一步改进和结合方法,以便在明确的行为任务中同时记录和操作特定前额叶皮层和纹状体亚区域的活动。此外,准确的位置追踪和功能数据的报告将有助于更好地界定区域和亚区域之间的功能梯度或边界。一个有趣的问题还涉及第24区的皮质-纹状体投射的功能相关性,因为它与前额叶皮层的多个区域的投射模式有重叠,特别是在灵长类动物中。先进的计算建模对于整合这些数据并测试关于前额叶-纹状体回路内动态相互作用的假设至关重要。其他评估性区域(如杏仁核、缰核、BNST或下丘脑)如何与前额叶皮层输入竞争以调节目标导向行为,目前了解较少,需要大量的新研究。最后,研究这些回路在目标导向行为障碍(如成瘾、强迫症、精神分裂症、抑郁症)中的破坏情况,不仅将为这些疾病的病理生理学提供关键见解,还将确定潜在的治疗靶点。对前额叶-纹状体参与机制的更深入理解将有助于推进基础神经科学和这些疾病的治疗。