基于主动模拟功能的知觉-运动整合新理论框架

《Cognitive Systems Research》：New Theoretical Framework for Perceptual-Motion Integration Based on Active Simulation Function

　　

• 生物体基于自身运动内部模型的主动模拟功能是整合感知与运动的关键。
• 感知的动力学在数学上被描述为一种约束条件，即生物体在主动模拟从环境中接收的感官信息时应满足的约束条件。
• 生物体利用主动模拟功能主动感知环境，以引出表征环境的时不变量。
• 这些时不变量揭示了他人运动的目标与意图，以及在工具使用过程中身体伸展的方向。

引言

所有生物活动的基础是感知与运动。生物体从环境中感知感官信息作为产生运动的基础，同时因自身产生的运动而从环境中感知到新的感官信息。对感知与运动之间这种相互关系的研究，被称为"感知-运动整合"，其有望阐明生物体在环境中产生适应性行为的生物学功能（Flanders, 2011; Wolpert, Ghahramani, Jordan, 1995）。中枢神经系统的许多区域参与了感知-运动整合，但这些区域如何执行信息处理以整合感知与运动的全貌仍不清楚。为了揭示感知-运动整合的潜在机制，需要理论框架以及实验方法。识别和理解这一机制有望促进基础研究和应用技术的进步，例如阐明与运动控制和运动学习相关的神经机制（Makino, Hwang, Hedrick, Komiyama, 2016; Wolpert, Diedrichsen, Flanagan, 2011）、自我意识（包括能动感和拥有感）（Abdulkarim, Guterstam, Hayatou, Ehrsson, 2023; David, Newen, Vogeley, 2008）、一般意义上的非语言交流和语言交流（Hasson, Ghazanfar, Galantucci, Garrod, Keysers, 2012; Noordzij, Newman-Norlun, de Ruiter, Hagoort, Levinson, Toni, 2009; Vogeley, 2017）、社会认知（Deroualle and Lopez, 2014），利用VR/AR技术创建改善老年人和运动障碍人士运动功能的程序（Adamovich, Fluetb, Tunikb, Merians, 2009; Wright, 2014），以及推动人工智能编程机器人技术的发展（Duan, Yu, Tan, Zhu, 2022; Nguyen, Georgie, Kayhan, Eppe, Hafner, Wermter, 2021; Pfeifer, Bongard, 2006）。

迄今为止，对生物体感知-运动整合的理论研究提出了两大主要理论。一个主要框架是动态系统理论，源于具身认知科学的背景。具身认知科学是认知科学的一个分支，其根植于一种观念，即生物体通过与环境直接交互而自适应地行动，无需中枢神经系统中产生的神经表征的干预（Held, Hein, 1963; Menary, 2010; No?, 2004; Varela, Thompson, Rosch, 1991; Willson, Foglia, 2013）。动态系统理论的数学基础是一组微分方程，描述了由身体、中枢神经系统和环境组成的生物系统的时间演化，其中这些组分被定义为状态变量（Beer, 2000; Beer, 2003; Haken, Kelso, Bunz, 1985; Kelso, 1995; Smith, Thelen, 1993; Thelen, Gregor, Christian, Smith, 2001）。根据该理论，感知-运动整合涉及通过三个组分之间的交互作用，在广义上实现状态变量的时间同步化。该理论的优势在于，可以在统一的数学框架下分析身体、中枢神经系统和环境。然而，由于用一组微分方程编写的动态系统的数学模型是根据感兴趣的现象构建的，因此三个组分之间交互作用的数学形式必须针对每种现象适当定义。此外，这种交互作用是复杂的，通常是非线性的。因此，很难在各种生物体参与的现象中识别感知-运动整合的共性机制。

另一个主要框架是预测编码理论，源于计算认知科学的背景。计算认知科学是认知科学的一个分支，专注于大脑（尤其是中间神经元）作为将感官信号转换为运动信号的信息处理器官。大脑构建一个内部模型来预测可能从环境输入的感官信号，然后计算预测误差，即预测的输入感官信号与实际输入感官信号之间的差异。根据这一近年来引起大量关注的理论，大脑的作用是主动感知来自环境的感官信号，以最小化预测误差（Adams, Shipp, Friston, 2013; Barrett, Simon, 2015; Clark, 2013; Millidge, Seth; Mumford, 1992; Rao, Ballard, 1999）。预测编码理论的数学基础是一种变分贝叶斯方法，用于最小化预测误差，该误差以从一对概率分布计算出的自由能量来描述：生物体接收的感官信号与引起感官信号的环境因素的联合概率分布；以及生物体识别的环境因素的概率分布。该理论在自由能原理下系统地组织起来（Friston et al., 2006）。许多研究人员目前将这一原理作为统一理论来研究感知、认知、情绪、注意力和决策等大脑功能（Feldman, Friston, 2010; Friston, 2010; Friston, Keibel, 2009; Friston, Kilner, Harrison, 2009; Friston, Schwartenbeck, FitzGerald, Moutoussis, Behrens, Dolan, 2013; Seth, Friston, 2016）。从这一原理的角度来看，运动体现了为最小化感官信号预测误差而进行的主动推理，而感知-运动整合则是旨在最小化在环境中感知的感官信号预测误差的自愿运动。该理论在将感知-运动整合置于预测框架下方面具有意义。然而，由于主动推理不是自由能原理的必要条件，主动推理的理论框架在这方面是不清楚的。换言之，该原理没有推导出感知与运动之间的任何具体关系。因此，自由能原理不能直接提供解释生物体如何在环境中产生适应性运动以最小化预测误差或如何感知自身运动对环境影响的框架。

因此，动态系统理论提供了基于身体、中枢神经系统和环境之间交互作用的感知-运动整合机制的动态框架，而在预测编码理论中，预测充当解释原理。将这些理论完全整合到单一框架中可能证明是困难的。然而，鉴于每种理论的重要含义，需要新的研究来克服这一困难（Constant et al., 2020）。因此，本文的重点是模拟功能，作为具有动态特性的预测的重要形式。

接下来，我们首先简要总结眼跳抑制，作为感知-运动整合的典型示例。研究人员的共识是，中枢神经系统内的一种神经机制基于给定运动命令的副本（称为"传出副本"）来模拟如果执行运动将产生的感官信息，然后将运动实际产生的感官信息与模拟预测的感官信息进行比较（Duhamel, Colby, Goldberg, 1992; Friston, Adams, Perrinet, Breakspear, 2012; Parr, Friston, 2018; Poulet, Hedwing, 2006; Wolpert, Flanagan, 2001）。传出副本最初作为中枢神经系统内神经机制的功能模型被提出，该神经机制通过向中枢神经系统发送运动命令的副本来对眼轮匝肌进行前馈控制，移动眼球，以防止眼跳期间视网膜图像的模糊，从而稳定视野（von Host, Mittelstaedt, 1950; Sperry, 1950）。这意味着传出副本应用于预测性修正以稳定视野。事实上，传出副本的存在已被实验证实，其形式为随动放电（Crapse, Sommer, 2008a; Crapse, Sommer, 2008b; Sommer, Wurtz, 2002）。从这个角度来看，这一神经机制用于确定运动的结果是否与基于自身运动内部模型的模拟结果一致。传出副本发挥重要作用的另一个现象是能动感，其神经机制一直是许多研究的焦点。能动感被定义为生物体感到自身身体或外部环境的变化是由自身引起的体验（Haggard, 2017）。这种主观体验是由一种神经机制产生的，该机制识别基于运动命令传出副本的感官信息与作为实际运动结果感知的感官信息之间的差异，产生这种主观体验，并进一步识别运动背后的意图（Synofzik et al., 2008）。如果这种机制起作用，当误差很小且意图被识别时，就会产生能动感。这意味着传出副本被用作区分自愿运动和非自愿运动的准则，从而区分自我与他人。传出副本不仅投射到视觉系统，还投射到听觉系统和体感系统，其功能是调节与运动相关的多模态感官信息的处理。因此，理解传出副本的关键是模拟。

此外，一种特殊的神经细胞被称为"镜像神经元"，近年来引起了相当大的关注，因为在生物体中，它们不仅在执行运动时发放，而且在观察到其他生物体执行相同运动时也会发放。因此，镜像神经元的存在被认为是与他人交流的重要前提（Rizzolatti and Craighero, 2001）。镜像神经元最初是通过侵入性实验在猕猴的额叶运动皮层中发现的（Pellegrino, Fadiga, Fogassi, Gallese, Rizzolatti, 1992; Rizzolatti, Fadiga, Gallese, Fogassi, 1996），此后通过无创实验在人脑的额叶运动皮层、初级运动皮层和顶下叶中被识别出来。这些区域被统称为"镜像系统"，认知科学家和神经科学家将其作为可能为人类社会性提供基础的生物实体进行了深入研究（Buccino, Binkofski, Riggio, 2004; Fadiga, Fogassi, Pavesi, Rizzolatti, 1995; Flanagan, Johansson, 2003; Grezes, Decety, 2001）。

镜像系统并不一定对所有作为视觉信息输入的运动信息做出反应；相反，它显示出"运动选择性"，这似乎基于自身运动（Calvo-Merino, Glaser, Glaser, Passingham, Haggard, 2005; Cross, Hamilton, Grafton, 2006）。镜像系统还显示出"目标导向性"，即它不是对他人运动本身的视觉信息做出反应，而是对运动背后的意图做出反应（Fogassi, Ferrari, Gesierich, Rozzi, Chersi, Rizzolatti, 2005; Iacoboni, Molner-Szakacs, Gallese, Buccino, Mazziotta, Rizzolatti, 2005; Rizzolatti, 2014; Umilta, Kohler, Gallese, Foggasi, Fadiga, Keysers, Rizzolatti, 2001）。具有这两种特性的镜像系统选择性地对他人目标导向的运动做出反应，并在从他人的机械运动中筛选出生物学上有意义的运动中起核心作用。因此，生物体将使用自身运动的内部模型来理解他人运动背后的意图。具体而言，镜像系统将根据自身运动的内部模型模拟他人的运动，以理解其运动背后的意图，即理解他们为什么要执行这些运动。同时，镜像系统的存在意味着生物体可能以比单纯分析相关感官信息更深层次的方式体验他人当时的情感。"模拟假说"描述了这种可能性（Gallese, 2007; Gallese, Goldman, 1998; Goldman, 2008）。从进化的角度来看，这一假说是合理的，因为产生自身运动的神经机制被重用来理解他人运动背后的意图。因此，理解镜像系统的关键是模拟。

感知-运动整合作为生物体最基本的功能，通过模拟功能与镜像系统的功能密切相关。

基于这一关联，在感知运动整合中，除了利用自身运动的内部模型来模拟由自身运动产生的躯体感觉信息外，生物在镜像中也会利用自身运动的内部模型来模拟由他人的运动产生的视觉信息。从这一视角来看，感知运动整合与镜像之间存在着功能二重性的关系，二者都涉及对自我的感知和对他人行为的感知，并通过基于自身运动内部模型的感官信息模拟来实现（见图1）。以功能二重性为特征，生物的感知系统会将自我和他人同等地感知为环境的一部分。自我出现在个体生物的内部环境与外部环境之间的界面上。内脏等内部器官属于内部环境的一部分，"内感受"或"内脏感觉"一词描述的正是内部环境状态变化所产生的感官信息，包括躯体感觉信息。相比之下，他人则构成个体生物外部环境的一部分，"外感受"或"外部感觉"一词描述的正是外部环境状态变化所产生的感官信息，包括视觉信息（Damasio, 2003, Sherrington, 1906, Vaitl, 1996）。根据认知科学中的观点，运动体现了对环境的主动感知，即任何感知都涉及某种形式的运动，因此可以合理假设，生物使用相同的模拟功能对内部环境和外部环境中存在的物体执行感知运动整合。此外，模拟的本质在于利用一个模仿目标对象的模型来体验该对象的动态行为，并隐含地假定该模型遵守与被分析对象的运动产生定律类似的规律。然而，基于前述讨论，模拟的范围已扩展至环境中更一般的物体。因此，生物通过执行某种运动来主动感知环境中存在的物体状态作为感官信息，然后将所感知到的感官信息与基于自身运动内部模型进行模拟所得到的感官信息进行比较。在此过程中，感知运动整合必须涉及感官信息的感知，使得决定物体状态的动力学规律与决定自身状态的动力学规律保持一致。澄清这一一致性条件是发展生物中感知运动整合机制的理论解释的重要一步。因此，我们将模拟的传统功能扩展为：生物主动感知环境中随时间按特定动力学变化的普通物体状态，并将感知所得的感官信息与自身运动内部模型预测的感官信息进行比较。我们从扩展模拟功能的视角出发，提出了生物感知运动整合的新理论框架。在第二节中，我们用数学方法描述扩展模拟功能，并提出基于扩展模拟功能的感知运动整合数学模型。在第三节中，我们将该框架应用于展示该数学模型能够统一地描述镜像和身体延伸等具有生物学意义的现象。然而，本文的目标并不包括解释或再现特定的生物现象，这将是下一阶段研究的重点。最后，在第四节中，我们讨论了基于扩展模拟功能的感知运动整合理论框架的意义。在以下部分中，为了简化的目的，我们将"环境中存在的观察目标"简称为"环境"。章节片段：扩展模拟功能对于生物中感知运动整合的数学建模，我们首先需要用数学方法表达扩展模拟功能。该功能的本质在于，个体生物利用自身运动的内部模型来模拟一般环境的动力学。更具体地说，个体生物主动感知遵循特定动力学的感官信息以确认该信息的一致性，Mirror作为感知运动整合到特殊外部环境，外部环境Y包含两类特殊的外部环境，其状态演化算子TY(t)满足条件TY(t)∈TX。其中TX是定义如公式(1)所述的个体生物X的状态演化算子集合TXi(i=1,2,?,N)。第一类特殊外部环境是"他人"。正如第一节所述，镜像系统提供了感知他人的神经基础。该系统不仅对单纯的机械运动作出反应，而是基于通过主动感知所识别的时间不变量进行扩展，我们将基于自身运动内部模型的模拟范围扩展至环境中的普通物体，由此推导出公式(18)，该公式表示感知算子的动力学，作为生物实现感知运动整合的约束条件。这些动力学用数学方法表达了生物感知算子与运动产生算子以及变化产生算子之间的特定代数关系。CRediT作者贡献声明：小川健一郎：写作—审阅与编辑，写作—初稿撰写，方法论，资金获取，形式分析，概念化。冈部邦久：写作—审阅与编辑，监督。利益冲突声明：作者声明不存在可能影响本文所报告工作的已知经济利益或个人关系冲突。小川健一郎 | 冈部邦久。