无动作感知智能体的主动推理

《Neurocomputing》：Active inference for action-unaware agents

　　菲利波·托雷萨尼|铃木圭辅|金井亮太|曼努埃尔·巴尔蒂耶里
英国布莱顿法尔默，苏塞克斯大学，BN1 9RH

摘要
主动推断是一种用于研究认知的正式方法，它将适应性智能体视为不断进行近似贝叶斯推断的过程，通过最小化变分自由能和期望自由能来实现这一目标。这样一来，智能体就能在给定环境生成模型的前提下，最大化出现偏好观测结果或状态的概率。虽然现有文献中的大多数实现都采用期望自由能作为评估策略——即行动序列——优劣的合适标准，但关于过去动作经验对智能体未来行为的影响，也存在不同的考量方式。在一些方法中，假设智能体知晓自己所执行的动作，并利用这些信息来规划未来的行动；而在其他方法中，智能体并不知道自己的动作，必须推断自身的动作行为才能为未来做规划。这种差异反映了基于是否存在传递智能体自身动作信息的传出副本信号，运动控制领域两大主流框架之间的一个核心分歧。在本研究中，我们比较了在两项导航任务中，具有动作意识与没有动作意识的智能体的表现，结果表明，尽管处于明显劣势，没有动作意识的智能体仍能取得与有动作意识的智能体相当的性能。

引言
主动推断最初是在认知科学和理论神经科学领域发展起来的框架，旨在解释适应性智能体及其神经系统的作用[1]、[2]、[3]、[4]、[5]。其核心思想已有多种数学表述形式，被用来正式阐述不同领域中智能体的适应性行为，同时也被用于计算认知神经科学中对神经与行为数据的建模[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]。该框架在心灵哲学与认知科学领域也受到了广泛关注，其核心观点通过预测处理和预测误差最小化等概念得到了普及[21]、[22]、[23]、[24]、[25]。

主动推断的核心理念是，大脑中的信息处理可以通过预测活动来解释，这种预测活动本质上是对环境隐藏状态的层次化动态贝叶斯推断过程，而这些隐藏状态正是为智能体产生感官输入的根源[3]、[26]、[27]。根据这一观点，大脑状态的动态变化实际上实现了与隐含生成模型一致的近似贝叶斯推断更新，该生成模型指的是感官信号（观测结果）、动作指令（行动）以及内部状态之间的联合概率分布。这些更新使得智能体能够推断当前的处境（感知），确定达到理想状态的最佳行动序列（策略，即以目标为导向的决策制定），并了解其在所处生态环境中可能发生的情况（学习相关的感官运动关联）[18]、[21]、[28]、[29]、[30]、[31]。

关于主动推断、其各种实现方式以及由此产生的应用，已有大量文献进行了介绍和综述。例如，[7]对连续时间状态空间模型中的主动推断进行了综述，而[8]则基于离散时间的部分可观测马尔可夫决策过程框架，对主动推断进行了综合阐述。这两种表述方式的主要区别在于，前者需要根据相关量的动态变化来实现（变分）贝叶斯推断，而后者则适用于离散时间步骤下的情况。近期，[32]为初学者提供了一篇较为通俗 yet 具有一定技术深度的离散时间框架教程，重点介绍了如何将主动推断模型应用于行为与神经数据分析。此外，还有用Python[33]和Julia[34]实现的主动推断版本，以及相应的论文和教程，这些都是理解该理论数学实现方式的良好入门资料，可与[8]一起阅读以获得更深入的认识。另外，[35]对该方法进行了综述，特别关注了其在机器人学中的应用（尤其是连续时间框架的应用），而[36]则进行了类似综述，但更详细地探讨了其与深度学习方法的关联。还有一些研究，如[37]，从数学角度对自由能最小化进行了深入阐释，比较了截至2018年出现的各种主动推断机制，并将其与其他用于适应性决策制定的贝叶斯方法，如“作为推断的控制”[38]、[39]、[40]、[41]进行了对比。另一方面，[42]介绍了自由能原理这一更为基础的概念（即将自由能最小化与某些动态系统中的自组织现象联系起来），从这一原理出发，可以理解像主动推断这样的感知行为理论是如何形成的[另见43]，而[4]则对该方法及其应用进行了全面且易于理解的阐述。

受这些及其他相关研究的启发，在本文的“2. 形式化智能体与环境交互”“3. 基于近似贝叶斯推断的序贯决策制定”两节中，我们提供了离散状态主动推断框架的完整介绍。附录A和B中进一步详细阐述了感知、动作选择以及学习（包括状态转移动力学和发射映射的学习）相关的主动推断方程式，并分析了其中一些较少被研究的方面。我们的目标是探讨主动推断文献中出现的某些假设，以及它们对适应性行为研究的影响。具体而言，我们将重点比较两类智能体的实现方式：一类是我们依据“作为推断的控制”相关研究[38]、[40]、[41]定义的具有动作意识的智能体，另一类则是与经典主动推断框架更为接近的没有动作意识的智能体，后者源自平衡点假设和参照控制方面的研究[44]、[45]，这类研究认为包括人类在内的生物智能体并不需要，甚至无法获取有关其动作信号的明确信息[6]、[9]、[46]、[47]、[48]、[49]、[50]。第一类智能体清楚知道自己过去采取了哪些动作，因此只需规划未来；而第二类智能体则不清楚，因此必须推断出最符合其过去行为的动作序列，同时结合目前的观测结果，以此作为推断未来最佳行动的依据。这意味着具有动作意识的智能体可以利用更多信息，因为它们无需推断自己过去的动作。

我们将重点说明这两种策略之间的主要差异，包括智能体在感知推理中如何处理策略以从观测结果中提取相关信息，如何利用这些策略进行规划以评估和选择未来行动，以及在学习阶段智能体如何了解自身动作的效果。没有动作意识的智能体则基于[4]、[8]中的论述进行操作。这类智能体不知道自己过去执行了哪些动作，通常必须根据过去和现在的观测结果来推断目前最可能遵循的策略。之后，它们需要决定未来是否继续采用相同的策略。而像[33]、[51][??]中所提出的方法，则采用了一种不同的、具有动作意识的思路。这类智能体清楚地知道自己迄今为止采取了哪些动作（参见传出副本概念[52]），因此策略就简化为未来的一系列动作。尽管后者已成为在离散环境中模拟主动推断智能体的最常用方法，但目前仍缺乏两者之间的直接实验对比。

因此，我们提供了这两种主动推断变体的Python实现代码。借助这些代码，我们可以展示对比两种智能体模拟结果的分析，详细说明智能体在简单导航任务中学习了什么，以及它们如何了解自身动作的效果。这将有助于揭示智能体对其过去动作轨迹的意识对其学习与适应性行为的影响程度。具体而言，我们将通过实验证明，那些需要推断当前最可能遵循的策略的“普通”没有动作意识的智能体——我们将其称为回顾性策略推断——无法了解自身动作的效果，因而无法完成给定任务。因此，我们的研究结果将凸显出没有动作意识的智能体在“进行回顾性策略推断”与“学习可用动作的效果”之间的矛盾。

在第二节中，我们首先简要概述了如何在主动推断框架内以严谨的方式对智能体与环境之间的交互进行形式化建模。随后，我们详细说明了主动推断智能体需要解决的优化问题（第三节），以及解决该问题所涉及的主动推断算法的各个组成部分。通过两个实验，我们展示了在简单网格世界环境中，没有动作意识与具有动作意识的智能体的典型学习轨迹（第四节）。最后，我们将讨论关于主动推断的一些一般性观点，以及与实验结果相关的若干具体问题（第五节）。

片段摘录
**形式化智能体与环境交互**
主动推断提出了一种从几个基本前提出发，用于描述认知与适应性行为的正式方法：
1. 生物智能体与人工智能体只有在将感官信号维持在一定可行范围内时，才能在复杂且不断变化的世界中生存下去，这一范围是根据一组偏好状态（或观测结果）的定义确定的；
2. 智能体的内部状态构成了对其周围环境的隐含生成模型；
3. 构成智能体的所有过程……

**生成模型**
如前文所述，主动推断智能体通过与用POMDP描述的環境进行交互，试图朝着由概率分布所编码的一组偏好状态（及对应的观测结果）前进。为此，智能体只能依靠从环境获得的观测结果以及当前的生成模型。这可以被看作是对描述环境的POMDP的一种或多或少准确的“复制品”[4]、[8]，其定义为……

**实验1：在T形迷宫中的学习**
在第一个实验中，智能体在图1所示的T形迷宫中移动，起点为第5号格子，其目标是到达左臂处的目标状态，即第1号格子。我们简化了问题结构，使其成为一个完全可观测的MDP（严格来说，矩阵并非单位矩阵，但它是对角线形式且智能体能够知晓），状态转换是确定的但未知的。我们训练了10个每种类型的智能体，其中一部分知晓过去的动作（即具有动作意识的智能体），另一部分则不知情（即没有动作意识的智能体）。

**关于策略与策略推断的解释**
强化学习与大多数主动推断研究之间的一个重要区别在于，“策略”一词所具有的特定含义。在强化学习中，策略通常被定义为一个概率函数，通常写作，表示在给定状态下，执行某一特定动作的概率。而在这里所讨论的几种主动推断算法中，策略仅仅是一个按时间顺序排列的动作序列。

**结论**
作为用于研究多种情境下适应性决策制定的建模框架，主动推断在计算神经科学领域越来越受到重视。在本研究中，我们详细介绍了该框架的核心内容，展示了如何将自由能最小化作为指导原则，从而理解在简单网格世界环境中移动的适应性智能体的感知、规划、动作选择以及学习过程。

**主动推断的没有动作意识与具有动作意识的表述方式**

CRediT作者贡献声明
菲利波·托雷萨尼：写作——审稿与编辑，写作——初稿撰写，软件开发，概念构思。
铃木圭辅：写作——审稿与编辑，监督工作，资金筹集。
金井亮太：监督工作，资金筹集。
曼努埃尔·巴尔蒂耶里：写作——审稿与编辑，监督工作，概念构思。

**利益冲突声明**
作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

**致谢**
F.T.、R.K.和M.B.获得了日本科学技术振兴机构“Moonshot R&D”项目的资助，项目编号为JPMJMS2012。F.T.和K.S.还获得了东京电子公司的部分资助。K.S.的研究得到了日本医学研究开发机构（AMED）的“多学科前沿脑科学与神经科学发现计划，Brain/MINDS 2.0”项目（资助编号JP24wm0625407）以及日本学术振兴会（JSPS）的“KAKENHI”项目（资助编号26H00494）的支持。菲利波·托雷桑在英国布莱顿的苏塞克斯大学获得了认知科学博士学位。他的研究兴趣包括认知科学哲学，以及各种用于理解自然和人工智能体中智力与意识的数学和计算框架，尤其关注强化学习与主动推理领域。目前，他是Araya Inc.的研究顾问。