基于主动推断与自我先验的目标导向行为涌现机制研究

《Developmental Science》：Emergence of Goal-Directed Behaviors via Active Inference With Self-Prior

　　

**论文摘要翻译**

婴幼儿即使在没有提供外部奖励标准的情况下，也经常表现出目标导向行为，例如伸手触碰感觉刺激。这些内在驱动的行为促进了早期发育阶段对身体和环境的自发探索与学习。尽管计算建模可以为理解此类行为的潜在机制提供洞见，但许多现有关于内在动机的研究主要关注探索如何有助于获取外部奖励。本文提出一种针对智能体自身多模态感觉经验的新型密度模型，称为“自我先验”(self-prior)，并研究其能否自主诱导目标导向行为。该方法集成于基于自由能原理(free energy principle)的主动推断(active inference)框架内，自我先验完全通过一种内在过程生成行为参照，该过程最小化平均过去感觉经验与当前观察之间的不匹配。该机制也类似于通过与环境的持续交互来获取和利用身体图式(body schema)的过程。研究人员在模拟环境中检验了该方法，并确认智能体自发地朝向触觉刺激伸手。本研究实现了由智能体自身感觉经验所塑造的内在驱动行为，证明了早期发育过程中意向行为的自发涌现。

**论文解读**

**一、研究背景与问题**

婴幼儿在无外部奖励的情况下，会自发表现出伸手够物、主动探索等目标导向行为。这类行为由内部满足感驱动，被称为内在动机行为，能促进早期发育阶段的无监督学习。计算建模为定量解释和预测行为发展提供手段，但现有机器人学及机器学习领域的模型多将内在动机视为在稀疏奖励环境中提高奖励获取效率的探索机制。此类方法无法充分解释当未设定外部奖励目标、没有绩效标准或信息增益时，全新行为如何涌现。为回应这一根本挑战，本研究提出一个基于期望自由能的新型内在动机计算模型，即“自我先验”，让智能体学习传入多模态感觉信号的统计表征，当学习到的概率模型与实际观察出现失配时，无需显式奖励标准即可涌现目标导向行为。

**二、研究内容与核心结论**

研究人员将自我先验整合于主动推断框架中，通过最小化平均过去感觉经验与当前观察之间的失配，自主生成行为参照。该机制类比身体图式的获取与利用。在离散环境和连续环境两种计算机模拟中，研究人员确认模拟智能体在手臂上的贴纸产生感觉失配时会自发朝向该刺激物伸手并最终将其移除。实验表明，行为设定点完全来自智能体自身经验，而非由外部预定义；特定目标导向行为（如伸手）独立涌现，而非仅作为奖励探索的辅助机制；即使在没有信息增益的情况下，只要与熟悉状态存在失配，行为仍持续存在。该机制提供了一种对发育心理学中刺激驱动意向行为的计算解释，并对自由能框架下外部动机与信息寻求动机的整合研究具有理论推进意义。

**三、关键技术方法**

该研究采用基于自由能原理的主动推断框架。在离散环境中，研究人员使用类别分布作为生成模型并采用经验频率归一化的最大似然估计进行学习。在连续环境中，研究人员采用深度神经网络方法，将PlaNet中的循环状态空间模型(RSSM)解读为变分自由能优化，利用规整化流(Normalizing Flow)密度估计器学习自我先验，并使用策略梯度方法最小化期望自由能，上述构建遵循Dreamer与对比主动推断算法的实现基础。连续环境实验在Ubuntu系统运行，使用Intel Xeon E5-2698 v4 CPU和NVIDIA Tesla V100-SXM2 GPU，基于PyTorch实现，其中规整化流采用“zuko”库。训练数据通过回放缓冲区存储，每集轨迹中50%由随机动作生成、50%由主动推断策略生成，贴纸存在与不存在的回合各占半数；自我先验学习数据集中仅约5%的回合含贴纸以模拟自然经验分布。

**四、研究结果**

**1. 离散环境的模拟：自我先验的形成与行为变化**

实验开始时，自我先验在所有可能的观察上均匀初始化，期望自由能对所有策略相等，因此即使贴上贴纸，智能体也无特殊反应。经过10,000步无约束运动哗语后，智能体学到“右手位于左臂上方时出现单点触觉信号、离开左臂时无信号”的模式。此时在位置1贴上贴纸，该触觉信号与自我先验失配，自由能上升，智能体规划出朝向贴纸位置的行动，产生目标导向移动；将贴纸移至位置3时同样出现即时伸手行为。随后在贴纸持续位于位置3的情况下再经历20,000步运动哗语，自我先验逐渐更新以纳入位置3的触觉信号。此后将贴纸移回位置1仍引发伸手行为，但放回位置3时不再出现持续的目标导向行为，因为此时自我先验已适应该状态，各策略期望自由能无明显差异，智能体行为随机化。在该实验条件下模型参数完全精确、无新增信息增益，因而未产生知识驱动探索，证明了自我先验驱动的行为可以在无信息增益情况下事后生成。

**2. 连续环境的模拟：多模态集成与自发伸手行为**

在连续环境实验中，智能体感知连续本体感觉与触觉输入，将各模态嵌入后按元素相加整合为统一观察表征。经过2,000集的数据采集与训练后，在左臂贴上贴纸，智能体表现出朝向贴纸的伸手行为，并持续触碰直至将其移除，且此行为在右手初始并未接触手臂时也能发生。由于仅基于触觉信息无法区分“右手触摸左臂”与“贴纸附着于左臂”这两种情况，该伸手行为的涌现表明自我先验是通过触觉与本体感觉的整合而学习形成的，类似身体图式的功能特性。此外，即使轨迹中途出现额外触碰所造成的瞬时失配，智能体仍然接受该短期偏差以实现整体自由能最小化的最终目标，显示出对噪声的鲁棒性和连贯意图的维持能力。

**五、讨论与结论总结**

在讨论部分，研究人员从内在动机计算模型分类的角度审视其方法。外在体内稳态强化学习虽能使智能体无需环境目标即产生行为，但参照值由实验者事先固定，本质仍是外部设定的标准。奖励辅助型内在动机主要用于促进外部任务探索，鲜少关注智能体自主生成并维持目标的过程。异稳态内在动机强调持续寻求新奇状态，一旦不确定性降低则探索衰减。本研究定位于体内稳态内在动机，区别于上述各类方法：其奖励标准由智能体根据自身经验自主形成而非服从外部准则；行为生成独立于探索辅助角色；在面对与熟悉状态的失配时，即使不存在信息增益，行为仍能持续；且因定义于主动推断框架之中，可与现有外部动机和异稳态内在动机在理论上整合。

关于早期意向行为的起源，婴儿早期依赖反射机制，之后逐渐形成包含动机系统与目标导向执行能力的有意向行为。刺激驱动意图先出现，随后随经验积累涌现更内生的意图。研究人员指出，现有研究尚未充分说明意图及其行为通过何种结构发展而来。本研究所提出的自我先验与“自我相关预测”一致：当新输入无法满足这些预测时，系统启动行为。即使没有外部设计目标，维持从过往经验习得的自我先验的内在驱动力即可表现类似婴儿反复触碰手臂上新发现的贴纸的行为，这为婴儿意向行为起源的计算研究提供了理论根基。讨论部分亦指出未来可探索灵活学习速率对行为风格的影响。

研究人员指出当前自我先验机制仅在离散环境和三自由度连续环境中得到验证，真实婴儿或机器人存在更复杂的感知运动交互，因而需向高维状态和动作环境扩展。自我先验原理上独立于模态，可推广至视觉等模态。现有方法将自我先验的独立学习与变分自由能学习分开进行，未来可通过层级主动推断架构，让高层隐藏状态在长时间尺度上整合经验并为低层提供自我先验。多重动机（熟悉性维持、外部目标、信息寻求）如何在统一自由能框架下相互作用仍需系统实验评估。

研究结论表明，基于自由能原理和主动推断框架，智能体学习和维持“自我先验”的内在驱动力可以在没有外部指定奖励的情况下诱发目标导向行为。该工作凸显了主动推断文献中常被忽视的体内稳态内在动机形式——主动维持熟悉感觉经验的驱动力。研究以模拟婴儿触摸和查看手臂贴纸为例，展示内部衍生的自我模型与输入之间的失配消解驱动力可以表现为伸手和移除贴纸等行为，且全程不需要显式奖励标准。该机制为发育心理学中的刺激驱动意向行为提供了计算解释，并与后扣带回皮层处理自我相关错误信号的神经生物学文献相呼应。