综述：作为内稳态韧性机制的内驱力推断：想要存在与存在以想要

《COGNITIVE, AFFECTIVE & BEHAVIORAL NEUROSCIENCE》：Conative inference as a mechanism of allostatic resilience: wanting to be and being to want

　　

稳定性，尤其是心理稳定性，是适应性功能发挥的必要条件。存在于变化环境中的动力系统必须通过解决稳定性与灵活性之间的辩证张力来适应环境，这一概念体现在韧性中。内稳态被视为一种系统性的韧性机制，近来被纳入主动推断（Active Inference, AIF）这一感知行为理论的框架中。内稳态系统被认为运行在自组织临界性（self-organized criticality）原理之上，该原理与自由能最小化（free energy minimization）相关，而后者是主动推断理论的核心要义。基于这一框架，研究人员提出了一种支持内稳态的大脑功能层级。在该层级中，欲望和情感（通过情感推断框架）起到整合和调节认知内稳态与生理内稳态之间相互约束的作用。研究人员进一步提出，随着内稳态有机体进化出情感，它们会发展为内驱力主体（conative agents），其内驱力调节着情感动态。在该调节层级的顶端，研究人员提出了原始欲望（raw desire），这是一种领域通用的对积极情感（或仅仅感觉更好）的全局欲望。这种功能层级使得原始欲望—情感电荷调节回路成为内稳态和心理稳定性的核心机制。它也意味着内驱力有机体在情感失调方面存在固有的脆弱性。因此，大部分精神病理学可被视为受损的内驱力推断，这可作为治疗干预的靶点。

To be is becoming

认知的故事与存在密不可分，始于关于存在意义的哲学核心问题。自组织的最初举动被视为混沌或随机性中涌现统计规律的自发过程。主动推断和自由能原理（Free Energy Principle, FEP）在此基础上更进一步，指出存在的自然种类表现出韧性，因而看起来仿佛有动机去存在——类似于自然选择筛选的表型看起来有适应生态位的动机。马尔可夫毯（Markov blanket）是关键概念，它是一种统计安排，系统的变量（毯下）与其环境条件独立，这意味着系统的内部状态由其内部变量的动态内在决定，不受环境动态直接影响。这种独立性是条件性的，因为环境通过马尔可夫边界间接影响系统状态，系统也通过向外行动影响环境。马尔可夫毯可视为自主性的统计意义。一旦建立马尔可夫毯，系统若要存在，必须抵抗热力学第二定律（根据积分涨落定理适用于开放系统），否则将随机化回归混沌。为此，系统必须执行两项相关功能：维持与马尔可夫毯内自主存在兼容的内部状态，以及维持与第一项功能兼容的外部状态。这意味着系统必须分别是自身及其环境的模型，根据良好调节器定理，存在即推断。对于此类系统存在，必须保持与环境的（条件）独立性。无条件依赖会消除马尔可夫边界，无条件独立则使系统无法控制环境，两者均导致系统衰败。维持条件独立性和完整性的机制由FEP规定为变分自由能（variational free energy）最小化。持续处于表型典型状态的系统通过避免惊奇状态（即其模型未推断/预测的状态）来实现。此类系统被视为概率或生成模型（Generative Model, GM），执行贝叶斯推断，生成关于其状态的推断（也称为信念或预测）并根据感觉信息更新。由于马尔可夫边界外的状态无法直接被模型访问，此类推断代表模型关于引起感觉信息的原因或产生感觉信号的状态的最佳猜测或假设。预测与实际感觉信息之间的差异被视为预测误差。因此，最小化预测误差的系统避免惊奇状态或惊奇。此过程计算上难以处理，因为需要整合所有可能状态的概率。在AIF中，通过近似贝叶斯推断最小化可处理的变分自由能量来解决这一挑战。变分自由能评分贝叶斯惊奇（近似后验与真实后验的差异）与模型证据（其负对数等于惊奇）之间的差值，因此变分自由能大于等于惊奇，作为惊奇的上界，最小化它使其接近惊奇。在AIF中，自由能最小化通过两条路径实现：感知推断和主动推断。前者更新模型以更好地拟合感觉信息（信念更新）；后者系统作用于环境使感觉信息符合模型。实际上，这些过程整合在递归的感知-行动循环中，通过信念更新最小化贝叶斯惊奇使变分自由能接近惊奇（模型负对数证据），而惊奇本身通过行动寻求确认模型的感官输入来最小化。GM可通过梯度下降接近最小变分自由能状态，这也是最低惊奇状态。梯度下降可视为预测误差的试错渐进减少。在物理世界中，此类统计过程由物理粒子和机制体现和编码，马尔可夫边界由物理边界表示，尽管物理与统计边界不一定一一对应。动态物理环境中的非平衡自组织系统必须以保持完整性和自主性的方式变化，这意味着作为自我和环境的GM，它必须在FEP规定的 unsurprising 状态下变化。这建立了变化与稳定性之间的辩证关系，根据FEP，通过自由能最小化解决。在生物有机体中，这一辩证关系体现在内稳态或“通过变化实现稳定”的概念中。内稳态已在主动推断范式中被构建，有机体通过建模环境动态并在自身内部实施变化以及作用于环境以最小化预测误差来避免惊奇状态。这种双重性——作为自我和环境的GM——是有机体作为自主内稳态主体在变化环境中持续存在的必要条件。这种持续性基于避免内在和外在惊奇，例如著名的“离水之鱼”例子。一条离水的鱼处于惊奇状态，不仅因为在海滩上提供惊奇的外感受感觉，还因为其身体处于生理惊奇状态（例如缺氧）。鱼也可能在水中（太深）缺氧。因此，内稳态由相互约束且条件独立的自我和环境GM支撑。从AIF角度看，存在或生成可视为自由能最小化的过程，引导有机体沿着使其接近表型典型的非惊奇状态的轨迹发展，这些特征状态被称为回拉吸引子（pullback attractor），即系统被吸引到的状态集或统计流形，由有机体完整性的物理约束及其进化历史决定。从观察者角度看，此类行为显得有目的，目的即是存在。这成为一个同义反复：存在是存在的目的，这是FEP的本质。由此视角，自组织非平衡系统（包括所有生物有机体）的进化可视为内稳态机制的进化，如下文所述，但首先需要根据FEP明确这些机制是什么。

Active inference as a mechanism of allostasis

关于内稳态作为主动推断的文献广泛。此处仅强调内稳态机制如何遵循并从FEP必然产生。马尔可夫边界的出现和保存是有机体（非平衡、自主、意向性动力系统）长期存在的必要充分条件，这意味着马尔可夫毯下统计动态与外部动态的（条件）独立性。这需要在变化环境中维持自我GM的稳定性，同时更新该环境的GM，否则有机体会变得与环境无条件独立，并可能发现自己处于惊奇状态（如离水之鱼）。在最简单情况下，两个GM是同一的，即它们不被马尔可夫边界分隔。那么，有机体的GM如何同时变化和保持稳定？主动推断作为过程理论旨在回答此问题。它提供了最小化变分自由能（对存在必要）的必要性与通过生物合理神经机制实现该过程之间的联系。简而言之，为避免惊奇，有机体可通过感知推断内在更新其GM，使惊奇状态变为不惊奇（例如鱼开始期望沙地为其自然环境）。否则，它可作用于环境，使其只遇到不惊奇的环境（例如鱼游回海中）。主动推断指感知和主动推断的过程，因为它们形成统一的感知-行动循环。没有感知（拥有模型）就不可能非随机地作用于环境。主动推断被形式化为贝叶斯推断，通过减少预测误差来最小化惊奇，等同于最大化模型证据。因此，通过最小化GM的惊奇，有机体最大化其存在的证据，称为自我证明（self-evidencing）。重要的是，它在自我GM的固有（表型典型）约束内进行自我证明。鱼无法在可持续氧合范围外生存，即使其GM的外部参数允许极深或极浅水域（基于氧水平以外的变量）。通过最小化GM的总体惊奇，有机体优化内在和外在约束之间的平衡，从而协商响应环境需求所需的灵活性与内部环境连续稳定性之间的需求。这意味着自我证明的有机体在其表型典型状态下最大化其存在证据。因此，AIF容纳并形式化了通过变化实现稳定的过程，即内稳态。在AIF中，有机体被建模为概率GM，推断环境隐藏状态作为接收感觉输入的起因。水被鱼推断为含有其呼吸的氧气；因此，无水对鱼GM意味着无氧气，尽管空气中氧气丰富。推断、感觉输入和预测误差被视为概率分布。预测误差被视为某些概率（贝叶斯）信念的充分统计量，精度（precision）是对这些信念的置信度或信任度。精度的倒数可视为伴随概率分布的方差或离差。精度是AIF的核心概念，因其在推断过程中的决定性作用。感觉输入（其本身是行动的后果）产生预测误差，该误差根据预期/推断精度进行加权，充当过滤器区分噪声与统计规律。这种精度加权调节信念更新和行动策略。AIF中的行动也呈现为概率概念，行动或行动策略（行动序列）由精度参数化，表示行动/策略的可能性。从这一简要介绍得出，在AIF中，内稳态被视为调整和微调有机体GM精度不同方面的过程。有机体如何找到坚持表型典型状态与适应性响应环境变化需求之间的最佳平衡？从精度角度看，一种答案是优化其精度估计以准确区分噪声与信号。然而，这可能不足，因为大多数环境固有的不可预测性，噪声信号比本身高度可变，可能需要更通用的不变策略。在临界性附近或混沌边缘运行被提议为这样一种策略。它基于自组织临界性的概念，其特征是缓慢衰减的振荡动态。此类动态在某些状态（例如接近相变）下是动力不稳定的特征，并且是自由能景观属性的结果。其最小值由于构造而浅，因为自由能梯度越接近最小值越趋于平缓。这为在最小值周围游荡或巡回振荡提供了机会，系统动态被吸引到这些最小值。直观地说，可以想象一个球在手掌中心滚动。如果手掌弯曲，增加系统动态的精度，球会陷入中心，即吸引子状态。形式化描述见相关文献。因此，接近自由能最小值的系统经历临界减慢并进入多稳态吸引子空间中的巡回动态，使其对环境扰动高度敏感。一个恰当的例子是心率变异性，在放松的休息状态下较高，但在压力下变窄。具有可变心率别无目的，只是使有机体具备内稳态能力，即准备好响应环境挑战而变化。因此，自组织临界性系统被认为更具适应性，并且可能违反直觉地更稳定。这些猜想表明自组织临界性是一种优化稳定性与变化之间权衡以适应不确定环境的不变策略。内稳态系统在临界性附近运行的概念似乎与内稳态自我效能（allostatic self-efficacy）概念相关，后者指有机体关于其行动能多好地适应内稳态负荷的信念。这意味着内稳态自我效能是对有机体在临界性附近有效范围的推断，可作为防止达到相变临界点的保护。以心率变异性为例，内稳态自我效能会适应心跳方差，但防止例如纤维性颤动。从这个意义上，内稳态自我效能可被视为高阶或元推断（meta-inference）。在下一节中，研究人员将在FEP和内稳态框架内考虑元计算进化的原因，但首先需承认AIF视角下内稳态的局限性。AIF内稳态框架在很大程度上仍是概念性的，造成了理论与实证研究之间的差距。认知与生理内稳态相互调节的实证研究有悠久传统，从耶基斯-多德森定律到当代神经内脏整合等研究。将AIF建模应用于这些研究中建立的实证任务有助于弥合这一差距。

The evolution of allostasis

生命的一个标志是有机体在变化环境中保持其表型典型形式并避免衰败的能力，即适应。另一个标志是它们能够自我复制并随时间进化。有人认为，远离平衡的动力系统配备马尔可夫毯并执行贝叶斯推断和自由能最小化，将不可避免地表现为自组织的类生命适应性实体。此外，自然选择也被视为贝叶斯推断过程。计算分析表明，为AIF系统配备元认知/认知深度可使其行为更具适应性，这意味着从简单反应有机体到复杂认知系统的进化轨迹。应用于大脑时，这一思想被称为层级机制心智理论（hierarchically mechanistic mind theory）。总之，这将生命呈现为统一的主动推断过程，其中自我复制系统通过自由能最小化适应环境，同时自身受自然选择的贝叶斯推断支配。在此背景下，内稳态机制的进化是生命进化的组成部分。下文将说明内稳态机制从其最简单形式到认知的可能连续性。内稳态可从不同维度考虑，其中之一是生态维度。内稳态（和临界性）的辩证关系为占据生态位提供了两种适应策略。一种是密集生态位探索，根据新的稀疏且资源丰富的生态位条件更新有机体的内部模型；另一种是广泛的，通过增加内稳态范围/自我效能，从而占据更宽的生态空间。前者的例子是狭温性，后者是广温性古菌。在进化时间尺度上，此类内稳态可被视为AIF中的参数学习（parameter learning），因为有机体调整其生成模型的参数以更好地适应预期的环境方差。这种“横向”策略在进化上成功，因为简单的单细胞有机体（如细菌和古菌）是地球上最丰富、分布最广的生命形式。然而，本文重点放在可视为结构学习（structure learning）的“纵向”进化策略。首先需要解决的是为什么以及如何进化会 favor 结构学习。尽管先前已论证结构学习在AIF中自然涌现，但仍需解释其选择优势。结构学习的一种方式是从低阶二分范畴中出现高阶元范畴。考虑一个有机体面临广泛温度范围，将其建模为“冷”和“热”的二分法，元范畴将是（温度）“范围”。这将创建一个更深的环境温度GM，其中较高（“范围”）水平隐式反事实。这种深度具有将较低水平温度动态模型置于有机体自适应范围的自我模型背景下的优势，从而通过衰减相关预测误差的精度来折扣噪声。元水平还决定了临界性范围，从而建立有机体稳定性的界限。深度模型也更具适应性，因为它可以通过在不同时间尺度上建模环境动态来更有效地参数化，从而解释更一般的趋势。除了感知推断（根据感觉输入更新自身），深度反事实GM可以作用于环境并寻求与其由表型典型自我模型决定的内部设定点相对应的最佳条件。它还允许根据预期变化对有机体的自我模型进行预测性调整。这一发展代表了内稳态从反应式到主动式的进化，建立了AIF感知-行动循环，这可视为进化突破，因为它从单纯适应生态位进展到共同构建。简而言之，能够选择和调整其生态位的有机体有更好的机会处于非惊奇状态，因为它对环境有更好的控制。因此，能够进行元计算的深度反事实GM将受到自然选择的青睐。重要的是，随着GM增加其环境模型的深度，它必然通过在其GM层级中创建额外层来增加其自我模型的深度。例如，为了将环境温度动态建模为范围，有机体必须对其温度感受器动态建模。从内稳态主体到反事实认知的进化已有前人描绘；然而，研究人员要指出，反事实GM即使以隐式形式也存在于最简单的生物系统水平。在大肠杆菌趋化性中，直线游动与随机翻滚交替，细菌为有利营养梯度采样替代方向，这可视为隐式反事实信念。因此，内稳态的进化可视为日益加深的反事实GM的发展，允许在更大的时间和空间尺度上建模环境和自我。在人类（和一些其他哺乳动物）中，它达到显式符号可交流模型并存储在记忆中的水平。虽然“横向”进化使细菌物种掌握了广泛的生态位，“纵向”进化则使个体GM掌握了这种能力。这些进化轨迹不是替代的，而是齐头并进，因为结构学习为参数学习开辟了新水平，提供了可以说无限的进化潜力。在结构进步方面，运动性是一个重大飞跃，使运动有机体能够在更大的空间尺度上探索状态空间。因此，即使是最早的生命形式如古菌和细菌也具有这种能力并不奇怪。然而，运动性并不是单细胞有机体唯一的行动模式。它们还能够构建生物膜生态位并通过分泌活性化学物质修改其环境。生命GM日益增加的层级深度自然导致分层组织，其中各层由马尔可夫边界区分，导致有机体由嵌套的马尔可夫分区（Markov partitions）层级组成。在生命形式中可靠地复制马尔可夫分区的唯一方式是自创生（autopoiesis），这是生命的标志过程。这意味着这样的分区必须在结构上被体现和编码。因此，内稳态进化的另一个主要阶段可确定为深层内稳态（deep allostasis），其中有机体具有在功能上与整体条件独立的结构。这种安排的最简单例子是细胞器，例如线粒体，被认为起源于真核细胞与细菌的共生。在下一个进化阶段，有机体的子结构在功能和解剖上分化为专门以元感觉模式表示环境和行动的GM。该子结构是神经系统，相应的进化阶段可称为表征性内稳态（representational allostasis）。这也是内稳态主体变得显式反事实的阶段，因为神经系统可以以神经信息传递的形式建模/模拟其环境。内稳态的进一步进化随着大脑及其分区的发展而发生。从内稳态角度看，这一阶段可以说最重要的进步是边缘系统的发展，负责表示情感和情感推断，因此可称为情感性内稳态（affective allostasis），下节将深入讨论。情感GM将有机体的状态建模为从感觉状态中抽象出来的二阶变量，因此相对于感觉信息处理是元计算的。内稳态的进一步进化与皮层的扩展和大脑的元认知能力有关。支持决策的元认知功能与前额叶和前扣带回皮层有关。同时，计算分析表明，元认知的发展是AIF假设下进化的预期结果。因此，皮层扩展可能是由元认知内稳态的选择优势驱动的。这一阶段可称为认知性内稳态（epistemic allostasis），有机体推断其知识的参数。简单来说，它试图决定“我知道什么以及我需要知道什么才能行动？”相关行动不必是物理的，也可以是心理的。这是个体有机体水平内稳态进化的最高点。然而，这一进化在向社会性内稳态（social allostasis）方向平行进行——即朝向集体智能——从细菌菌落人类社会。人类集体智能的层级结构很好地由现代政府体系的模块化结构说明，政府结构之间以及政府主体之间具有条件独立性。人工智能（AI）的发展在此背景下尤其有趣，因为AI有望成为内稳态进化的最终阶段，构建泛生成模型（pan-GM），基于社会编码的GM进行推断。将内稳态构建为由层级GM实现的AIF，与将生命及其进化视为嵌套的马尔可夫分区层级的观点一致，支持内稳态进化即元计算进化的思想。这一观点的重要推论是，在层级每个水平，模型都有置信度或精度，决定其行动实现预测目标状态的可能性。在内感受性内稳态情况下，这种置信度被概念化为内稳态自我效能。基于此思想，自我效能被提议为跨越大脑GM层级所有水平的行动精度推断系统。因此，随着内稳态GM进一步进化为分层层级，自我效能也随之进化。对于行动（外显、心理或自主），自我效能定位为调节行动策略的精度。感官模态多样性的增加和GM深度的增加带来了计算和整合所有信息流以将自由能保持在低水平的挑战。多种感觉模态及其处理的许多层级水平可能使有机体的状态空间指数级增加，优化所有潜在状态组合以找到有效的自由能最小化轨迹在计算上变得具有挑战性。这类似于GM的惊奇在计算上难以处理，因此需要变分自由能作为可处理的约束（上界）来保持低惊奇。因此，进化中的有机体必须学习约束结构和机制以减少GM的累积自由能（和惊奇），否则日益增加的复杂性会导致失调和瓦解。这将需要局部GM上的高阶元推断。大肠杆菌趋化性就是这种原型架构的例子。大肠杆菌化学感受器组织在跨膜分子簇中，感知特定环境化合物。这些簇自调节其敏感性，使其仅对配体浓度的变化作出反应，这意味着它们对配体动态建模。来自不同类型感受器的信号汇聚到效应蛋白，其活动调节控制细菌运动的运动器。效应蛋白还从评分细菌代谢状态的内感受性感受器获得输入。因为细菌代谢依赖于其环境，这种安排形成了一个封闭的自动调节回路，代谢动态作为对环境条件的元推断。这与Hohwy的建议一致，即GM将始终选择具有最高层级最小预测误差的推断。重要的是，没有单一的“主”控制器或代谢度量；相反，它是一个变量系统，包括ATP/ADP比率、膜氧化还原链状态和质子动力等。大肠杆菌趋化性GM的层级架构使其能够朝预期有利梯度方向移动，同时将其代谢保持在内稳态范围内，使细菌不会因追逐某一化学物质的特别陡梯度而发现自己处于高惊奇状态。值得注意的是，大肠杆菌代谢范围可波动十倍，这反映了其临界性附近的范围。如果细菌达到临界性低端，它会经历向休眠的相变，在高端则进入溢流代谢，这也与休眠相关；在极端情况下，两者都可能导致细胞死亡。这一简要回顾表明，在内稳态范围临界性内的稳定性以及存在本身依赖于整合的自我和生态GM的二元性，其组件施加相互约束。将内稳态概念扩展到大肠杆菌代谢的调节可能看似牵强，稀释其解释力。此处旨在说明内稳态机制从最基本到最先进体现形式的连续性，其中原始机制可称为原内稳态（proto-allostasis），类比于为大肠杆菌趋化性分子机器创造的“原脑”（probrain）一词。在本文剩余部分，研究人员提出主要论点：在大脑中，情感系统扮演的角色类似于细菌代谢动态。具体而言，情感电荷（affective charge）动态整合不同时间尺度的内感受和外感受信息，从而引导主体走向自由能最小值。这些动态决定了主体的临界性附近范围和内稳态，达到情感临界性可能导致精神病理学。下文将考虑情感如何使行为成为内驱力的，以及内驱力和情感电荷如何相互约束以防止主体达到临界性。

From counterfactual to counterevidential allostasis

处理情绪的大脑结构已存在于所有羊膜动物中。然而，只有在哺乳动物大脑中，情感和情感系统才达到最先进的形式，通常与杏仁核、岛叶、前扣带回皮层等皮层下和皮层结构相关，但也包括脑干核团、下丘脑、海马体、腹侧纹状体、导水管周围灰质和眶额皮层，这使其成为相对较晚的进化发展。情感网络的架构和进化历史本身暗示其作为大脑GM整合枢纽的作用，其中外感受和内感受信息流构成自我对环境的马尔可夫二元模型，条件依赖于其建模的环境。此外，在人类中，如下文所述，大脑GM的深度与其情感性质相结合，允许从反事实主体进化到反证据主体（counterevidential agents）。

Affective inference as a mechanism of allostasis

具有嵌套的生理和形态子系统层级、多种感觉输入模态以及更复杂的大脑网络层级的复杂有机体的生成模型，面临着在变化环境中跟踪和最小化其自由能的艰巨任务。为使此任务可处理，如上所述，此类GM需要一种跟踪其总体自由能并协商局部领域特定GM相互约束的方法。几位研究人员提出，一个二阶的、领域和模态通用的变量，对GM在最小化预测误差方面的表现进行评分，可以发挥此功能。这些建议汇聚于情感作为此类变量。情感作为内感受推断的功能及其在情绪概念意识学习和中的作用已分别被强调和研究。更具体地说，随着结构和行为复杂性的增加，有机体的存在和能量动态更多地依赖于长期战略性规划的行动策略，而不是对代谢需求和波动的即时反应（极端条件如饥饿、脱水、体温过低等除外）。因此，内稳态调节需要一个时间上深度的反事实GM，能够计算未来行动的价值以满足预期的生态需求和可供性。在AIF中，该价值由预期自由能（expected free energy）决定，它是作为预期行动结果函数的估计变分自由能。该行动的可能性与预期自由能负相关。此类评估与二阶参数精度相关，精度对GM性能置信度进行评分。这种置信度被概念化为“grip”（掌控感）或“主观适合度”（subjective fitness），与情感动态相关。