《Physics and Imaging in Radiation Oncology》：Cross-modal invariants as the foundational basis of emerging brain circuitry representations
研究人员对来自一种感觉模态的输入感知会受到其他感觉模态输入的影响，即使这些输入在时间上不同步。这种功能在整个进化过程中对生存至关重要。其产生机制可能揭示大脑运作的基本原理，并为设计更直观的人机界面和虚拟现实（VR）提供信息。本文概述了大脑如何获取所谓的跨模态不变量（cross-modal invariants），即适用于任何情境以整合来自多种模态信息的脑表征。研究人员首先回顾了证据，表明在皮层之前的中枢神经系统（CNS）中，对触觉输入的早期单模态脑回路处理是围绕运动学不变量（kinematic invariants）组织的。已发表的数据也支持视网膜处理中存在运动学不变量。研究人员展示了这些不变量如何自然构成先前引入的全触觉函数（plenhaptic function）和全光学函数（plenoptic function）的生物适应版本，以及一个拟议的匹配全听觉函数（plenauditory function）的组成部分。研究人员认为，行为观察表明跨模态不变量还依赖于在工作记忆中记录前向信息的能力，因此这一功能应由皮层主导。单模态不变量似乎存在于前皮层结构中，并在物理学中具有真实基础，而研究人员解释了为什么跨模态不变量没有这种基础。因此，跨模态不变量需要个体学习。这可能使得它们仅从该学习产生的回路操作的内在功能组织角度才能被理解。因此，可以预期跨模态不变量更具个体变异性，并且在皮层回路的表征空间中普遍存在，这可以解释为什么大脑中的跨模态整合在绘制和理解方面如此难以捉摸。
1. 引言
本文旨在利用跨模态视角，为皮层功能的潜在统一理论奠定基础，该理论源于对皮层需解决挑战的基本、普遍性描述，可从早期脑进化中激发其存在，并扩展至更大动物更复杂的行为。研究人员将这种纯功能视角与通常具有公理基础的皮层功能理论进行对比，后者源于特定假设，如区域或细胞类型水平的功能定位，或来自数学或统计学领域的强加解释，并使用有时任意参数化的实验观察来寻求统计支持。研究人员认为，神经系统早期进化的压力可能是协调肌肉细胞激活，以实现更快、更协调的运动，掌握更困难的环境。然而，为了控制运动并在营养搜索和避免与其他动物及环境接触损伤方面实现更成功的导航，神经系统只能依赖其可用的任何感觉信息来获取“世界模型”，以指导行为选择。这一见解将传感器输入及其处理的性质置于中心位置，同时探讨皮层如何在进化中以可扩展的方式处理感觉信息，以最有效地实现这些目标。一个相关的重要问题是皮层增加了什么功能，而其他感觉运动系统（如顶盖脊髓束、前庭脊髓束、网状脊髓束以及脊髓本身）尚未具备的功能？
在生物学中，模态指感觉品质，由用于提取信息的传感器类型定义。信息通过不同的输入通道（即不同的神经通路组）进一步传递至中枢神经系统（CNS）。可检测的感觉模态示例包括光、声、味、嗅和机械皮肤接触。味觉和嗅觉涉及化学信号世界，而光、声和皮肤接触均可与机械动力学世界相关（此处排除温度传感器和伤害感受器）。自然，所有生物传感器在转导过程的某个阶段都依赖于生物化学，包括机械传感器，但传感器报告的量要么与化学空间相关，要么与物理动力学空间相关——即我们看不到或听到化学物质，但可以看到和听到周围发生的机械效应。本文仅处理机械动力学领域，因为三种模态（躯体机械感觉、听觉和视觉）可形成丰富的系统性相互关系，对大脑在物理环境中行为导航极为有用，并可能成为所有能进行此类行为导航动物感知的重要组成部分。当然，许多动物在整体行为动机方面可能还受嗅觉强烈驱动，但这被认为与在时间和物理空间中更局部的导航问题不同，后者自然更受物理动力学主导。
跨模态整合是广泛动物物种（包括人类）自然和直观行为的重要组成部分。由于这些物种从发育初期就需要学习这种整合，因此无论以何种方式解决，它必须足够容易让大脑在未成熟的神经元回路中学习。研究人员指出，用于反应性反应的多模态整合（至少部分可无需皮层处理）与用于感知的多模态整合（需要皮层，下文将进一步解释）之间存在区别。为本文讨论目的，研究人员将感知定义为一种过程，该过程在持续交互中允许记录（感觉）信息而不必直接对其采取行动，目的是在稍后时间点利用记录的信息形成预期。研究人员首先说明几种陆生动物共有的行为情境，其中预期性跨模态整合对生存至关重要。因此，研究人员认为，在脑早期进化中，高效快速地跨时间尺度解释跨模态效应可能已成为一个基本特征。如果大脑在发育初期就开始投入学习能力来表征跨模态不变量，即无论哪种模态在信息价值上占主导，都可应用于从感觉输入解释任何持续现实世界互动的无模态表征，那么快速跨模态解释即可实现。儿童学习时看似随意的跨模态探索观察与从生命早期建立此类无模态表征的需求完全一致。
术语“不变量”源于数学，指在施加任何变换下保持不变或恒定的特征，因此更可能代表对象或现象的本质。在大脑神经元网络的表征方面，不变量指一种网络结构，能识别感觉数据中跨多种情境一致的特征或关系。即不变量是传感器数据中跨情境的规律性。不变量有助于大脑回路学习抽象并更高效地表征更多样化的情境，例如为决策提供信息。基于一组不变量表达的信息组合可用于描述先前未经历的现实世界互动。在信息方面，严格来说，不变量应彼此独立或正交。学习多个此类不变量的表征，并应用情境特定组合来解释感觉信息，将有助于确保感觉信息无论获取情境如何，都能在一定程度上得到解释和关联，无论哪种模态在该情境中占主导，下文将详细说明。
不变量与历史上重要的全触觉函数（plenhaptic function，与触觉相关）和全光学函数（plenoptic function，与视觉相关）概念密切相关，本文将对两者进行回顾和扩展。研究人员还将引入全听觉函数（plenauditory function，与听觉相关）的新概念。每个全函数是一个包罗万象的函数，可描述或表征各自模态内所有理论上可能的现实世界互动，跨所有情境。不变量对应于这些全函数中最常用的子表征或特定子函数。下文从生物感知和感知角度进行的阐述揭示了一个跨单个全函数的惊人且深刻的统一原则，这有助于理解跨模态不变量的潜在性质。
从VR应用领域来看，已知跨模态效应可强力增强VR体验。例如，有多种方法通过音频输入影响视觉运动感知，获取的效果取决于跨模态时间。多模态信息（触觉和视觉）已被证明在模拟如VR手术等临床任务时对生成真实体验至关重要。这些及其他定制解决方案实现了情境特定的跨模态效果，正朝着有效操纵人类感知机制以获取沉浸式VR体验的目标迈进。从神经生理学角度看，这也很有趣，因为理解大脑处理的一种终极证明是能够设计系统性幻觉，可预测地操纵其感知机制。但缺乏创建高效跨模态VR感知效果的普遍适用原则。本文旨在提供核心原则的鸟瞰视角，这些原则适用于大脑对跨模态输入的感知，有助于激发对皮层机制操作（普遍及感知功能）更深入理解的研究，并因此帮助VR技术实现沉浸式跨模态体验。
2. 自然生活中的跨模态感知
在生物大脑中，日常行为需要不同模态持续相互交流，各种行为也全局性地激活大脑。考虑到生物大脑进化所解决的问题类型，这种串扰可以说是其默认操作模式。例如，在行走或跑步时，无论是四足或两足步行者，视觉系统可传达关于地面坡度、不平整度和湿滑度或未来步道中障碍物的预测性信息。触觉系统可根据皮肤、肌肉和肌腱中机械感受器的信息，为每一步提供该预测准确性的事后验证。相关传感器位于脚和腿，但也包括身体更近端部分，如髋关节甚至上半身的关节和肌肉。自然界的运动是一项高度要求任务，预测性地防止滑倒或绊倒应是任何陆生动物的首要任务，因为这是在追逐（无论是捕食者还是猎物）中以及防止身体运输过程中可能致命损伤的关键能力。视觉信息有助于预测未来步态及其可能产生的触觉反馈，而听觉信息可用于提取触觉反馈的补充信息，例如根据步态撞击产生的声音检测地面状况（评估例如顺应性和空洞性，从而评估潜在地面稳定性）。自然界中一个重要目标也可能是使每一步产生尽可能少的声音，为此听觉当然重要。
除了运动，利用触觉进行物体操作也可以受益于听觉和视觉信息，因为这些模态可提供触觉感觉信息的预期线索。在视觉方面，它可以类似运动示例的方式产生预期。由于触觉通常不会产生大量声音，听觉在此情况下作用更间接。例如，两个不同物体相互作用时可能产生声音，从而提供关于物体表面纹理、内部顺应性和质量的线索，特别是如果相互作用运动学也可以估计（通过视觉）。由此产生的声音可被大脑用于形成对当日后与其中一个物体物理接触时皮肤中可能产生的机械效应的预期。在这方面，听觉信息可提供视觉信息单独无法提供的运动学效应线索。
3. 视觉、听觉和触觉输入的神经通道
在生物学中，模态指感觉品质，由一组感知类似量的特定传感器提取。例如，皮肤的机械感受器、眼睛的光感受器和耳朵的听觉感受器。给定传感器组通过不同的神经通路将其信息提供至CNS。图2示意了视觉、听觉和触觉感受器的信息如何到达皮层进行处理。听觉和触觉感觉传入首先到达脑干，分别于耳蜗核和楔束核形成突触。这些预处理核至少在某种程度上充当各自模态的特征提取器。尽管在触觉感官的楔束核中已证明类似的特征提取，但听觉预处理系统尚未有类似证明，但视网膜神经元群体中存在此类功能性的证据，其中处理相同动态输入的单个输出神经元对该输入的表征具有多样化或分离性，即单个视网膜输出神经元从相同感觉数据中提取不同特征。在视觉系统情况下，预处理似乎发生在眼睛内而非CNS内，这合理，因为视网膜胚胎起源为CNS。还应注意，听觉输入的预处理涉及耳蜗核以外的其他脑干核团，尽管耳蜗核也直接投射到丘脑。这些核团中发生并传播到丘脑的任何特征提取都值得在本文背景下考虑。
来自不同模态的预处理信息通过丘脑进入皮层。由于广泛、分布广泛的皮层、丘脑皮层和皮层丘脑连接，所有这些信息最终将汇集到皮层网络的一个共享信息池中。具体而言，多项证据表明，初级感觉皮层（S1、A1、V1）中的神经活动受到其他感觉输入的显著影响，例如，视觉输入激活体感皮层和听觉皮层中的神经元，反之亦然（所有方向）。此外，一旦感觉输入通过丘脑皮层突触进入皮层网络，皮层回路的解剖组织使得在2-3个突触内，该信息几乎可用于任何其他解剖定义皮层区域的任何神经元。因此，这是一种“大多数层级架构中代表性不足的神经解剖学证据”的变体，其中他们的论点还补充说，皮层的任何部分都有到脑干等下皮层投射。甚至更近，组织学技术的进展揭示，历史上甚至皮层-皮层连接的程度也被大大低估，现有示例表明，来自给定区域的少量皮层神经元的组合轴突投射可覆盖几乎所有其他皮层区域。这些发现似乎暗示，位于皮层任何位置的任何皮层神经元都可被视为潜在的跨模态关联神经元。因此，它们质疑了“关联皮层”作为区域约束现象的概念，当这似乎是可以归因于大多数皮层神经元（无论区域位置）的属性时。更可能是，如果一个神经元靠近介导直接感觉输入的丘脑皮层突触入口，它将相对更受该输入主导，反之，离该初级输入区域越远，受该类型输入的影响越小（相对意义）。因此，图2中研究人员将整个皮层称为“感官之海”，即一个全局递归网络。
值得注意的是，多模态感觉整合也发生在CNS的非皮层结构中，如整合视觉和体感信息的上丘，以及整合前庭与皮肤和肌肉体感信息的脊髓。然而，这些系统主要介导反射性或快速自动化矫正反应，而本文范围是跨模态信息如何以更反思的方式使用，例如形成跨模态的时间依赖性预期的基础。由于本文将感知定义为一种潜在反思性过程，在持续交互中允许记录（感觉）信息而不必直接对其做出反应，目的是在稍后时间点利用记录的信息，如形成跨模态预期，焦点将放在皮层系统（关于为何皮层系统可能需要此类功能性的论证详见第5节）。当然，可以想象，非皮层结构更反射性多模态感觉整合的某些方面也可能反映在皮层表征的子集中。
在进入皮层表征主题之前，下一节将首先聚焦于一个有趣观察，即CNS中的预处理结构及其神经通路在不同物种中得以保留并共享许多相似性，范围从5亿年前进化的最早脊椎动物一直延伸到人类。因此，与哺乳动物一样，最早脊椎动物也有楔束核和薄束核（也称为背柱核）、耳蜗核和视网膜。这些结构的系统发育保守性表明它们贡献了一些有用的预处理，因此理解皮层跨模态整合用于感知的重要一步是首先理解单模态预处理的意义。
4. “全函数”概念的阐述
这三种模态的共同点是物理学定律，这些定律定义了物理世界如何运作。因此，这些定律定义了约束各自传感器群体如何被激活的时空模式的条件。因此，它们也可形成跨模态适用预期的创建基础。从一般进化角度看，理解与机械动力学相关的定律可能是大脑需要学习的最重要方面之一。这是因为，如第2节所述，对生存最关键的许多方面取决于对机械动力学的良好理解，以便能够实现身体在高度多变地形和条件下的无伤害导航，并且理解其他个体（如捕食者或猎物或社会同伴）如何解决此类导航，以便理解如何与之互动。
“全触觉函数”、“全光学函数”和“全听觉函数”的概念直接与物理学定律相关。这些“全”函数是针对触觉、视觉和听觉感官的包罗万象函数，描述各自模态内所有理论上可能的现实世界互动（“plen”是拉丁语“full”的意思，即包罗万象）。每个全函数又由许多特征组成，每个特征都是传感器激活的时空演化，即单个传感器元素之间的活动关系。一个跨多种情境足够一致的特征可称为“不变量”。如果数据中存在正交分量，则可能存在多个不变量。一个更易理解的术语可能是“独立”变量与“依赖”变量。即在一个假设的简化示例中，想象一组物体，已知每个物体的颜色、重量和体积。物体的重量可能独立于其颜色，但并非独立于其体积。然后我们可以考虑一个将重量和体积组合成一个新变量（X）的不变量，用于描述整个物体集。现在我们需要更少的参数来描述物体集：X和颜色。然而，如果重量与体积之间的关系并非完全一致，则在过程中会丢失一些关于物体的信息。但出于简单性考虑，例如在大脑（用有限神经资源表征外部世界）中，这可能是一个可接受的牺牲。如果随后遇到一个在现有集合之外的新物体，神经系统已有X的表征，沿该轴可放置新物体。现在，X是大脑中的一个表征基底或基函数，可用于表征未来可能遇到的任何新物体。数据中的这种静态结构也可通过主成分分析捕获。
但本文的论点是皮层主要进化以帮助控制运动（即行动）以及控制何时执行它们。因为行动是动态的或随时间演化的，相关感觉特征随后将由其特定时间演化来表征。因此，与静态不变量或变量不同，我们需要考虑“运动学不变量”（kinematic invariants），或传感器激活模式的时空演化函数（相当于“输入特征”），作为每个全函数的组成部分。然而，即使对于有限数量的传感器，响应模式的可能组合数量也可能随时间呈指数增长。因此，运动学不变量的组合在原则上是无限的。因此，生物神经系统需要限制自身仅表征全触觉函数的最有用子集，即其最有用的运动学不变量或子函数。
对于生活在自然界的动物，体感信息（即身体机械感受器的活动）反映机械身体状态（即骨骼、韧带、结缔组织、皮肤、骨骼肌和肌腱的组合状态；简言之，躯体“运动装置”）以及身体与外部世界任何接触点的状态。对于陆生动物，重力意味着总是存在一些接触点，并且肌肉总是需要一定程度活动。因此，机械感受器总有动态效应可报告，所有这些传感器信号均可称为“触觉”性质，因为它们具有主动成分。由于生物组织通常动态顺应，即并非刚性，而是在机械负载下会一定程度屈服然后弹回，局部接触点的动态效应会因惯性作为机械波穿过身体组织传播，其中骨骼可能是长距离传播的特别有效介质。这意味着例如肌肉纺锤体也报告接触状态变化，以及关节囊传入。皮肤传感器除了报告接触信息外，还报告例如皮肤拉伸程度，这一信号显然适用于报告运动过程中肌肉状态变化的影响。远程感受器如何报告局部接触状态变化取决于变化的性质以及中间组织对不同频率机械波的阻尼效果。局部组织张力因此可能影响局部传感器的频率调谐或灵敏度，这意味着肌肉状态可用于间接调谐传感器，类似于对肌肉纺锤体传感器施加的更直接神经调谐。因此，外感受器和本体感受器的经典区分逐渐变得模糊，这也由综述所暗示，其中所有类型的机械感受器都被视为潜在本体感受器——此处反之，研究人员认为它们也可被视为潜在外感受器。听觉和视觉系统是远程感觉，可报告现实世界运动事件的信息，而无需身体直接与之互动。相反，这些感觉可用于预测或独立于机械感受器评估或预期可能在与身体接触时产生的机械效应。因此，研究人员从全触觉函数开始。
4.1. 全触觉函数
先前提出的全触觉函数是一个理论函数，考虑任何两个物体之间任何可想象的动态相互作用。它涵盖了用于探索物体表面的探针上无限多个点的运动与被探索/触摸物体无限多个接触点运动之间的关系，前提是此相互作用中至少有一个物体是顺应的（即在触觉交互中，至少“探针”的皮肤是顺应的）。
相关物理定律是机械动力学和接触力学。构成全触觉函数的不变量对应于接触状态的特定时间演化。在皮肤中，接触状态演化将转化为随时间动态演化的差异组织隔室运动。一个简单示例可能是假设的触觉不变量“接触开启”，对应于与物体接触的皮肤逐渐变宽的圆周边缘。由于皮肤传感器对局部皮肤差异变形或由这些变形产生的剪切力做出响应，全触觉函数的运动学不变量对应于机械感受器激活的时空模式，由依赖于皮肤机械动力学的皮肤组织隔室差异运动驱动。
这种分布式动态皮肤变形导致色散机械波穿过组织传播。机械波可分解为频率和每个频率的强度或功率。在任何时刻，可能有多个重叠的频率和强度，随皮肤空间位置变化，并且频率和强度会动态变化，因为皮肤组织充当此类机械波的色散滤波器。基于此逻辑，研究人员提出对原始全触觉函数公式的重新解释。在此处提出的生物全触觉函数中，将包括6个维度：频率、振幅、时间以及皮肤中的3D空间位置（图3，顶部）。
此处描述的生物全触觉函数以及原始论文均适用于被动感知。在此条件下，CNS中触觉输入的预处理阶段——脑干的楔束核，确实被发现分离了这些理论定义触觉运动学不变量的子集。然而，在实验室环境外，被动感知通常不会发生。由于神经系统需要处理自然情境而非实验室情境，需要考虑主动感知作为触觉系统组织的主要进化驱动力。那么运动学不变量将不仅取决于物体运动，还取决于我们自身进行的运动。动物身体高度驱动，运动装置的所有肌肉将能够独立于物体本身的任何运动来调节触觉传感器信号。因此，驱动身体是另一个高维系统，大脑可将其用作工具，从动态触觉交互中提取更多信息。
4.2. 全光学函数
全光学函数，其灵感来源于全触觉函数的概念，用于计算机图形学领域，被视为一个7维函数。七个维度包括3D视觉空间中的位置（x、y和z坐标）、球坐标θ和?、波长λ和时间t。然而，在生物视觉内，可以认为皮肤在全触觉函数中的对应物是视网膜的光感受器板。因此，对于生物学，全光学函数的相关格式将是影响视网膜传感器板上信息的因素。视网膜的光感受器可通过表达不同视锥蛋白组合来区分波长，这些分子对特定波长光做出响应（事实上，视杆蛋白也有波长调谐）（图3，中间行）。基于单个感光细胞内这些视蛋白的特定组合以及视网膜内网络对感觉信息的处理，视网膜可提供关于波长、每波长强度以及时间的信息。由于视网膜传感器板是二维的，光可在2D传感器空间中具有位置，从而产生用于生物视觉的5维全光学函数（图3）。
然而，此外，生物视觉系统持续且快速地调节焦平面、孔径（瞳孔大小）和注视方向（x、y、眼球旋转），这引入了视觉感觉信息的运动学分量。这些持续活跃的传出运动控制效应影响存在于视网膜传感器群体中的视觉感觉信息。这些因素会独立于外部世界中存在的视觉信息而改变视网膜传感器板上的信息。要充分解释动态生物视觉中的潜在信息，包括眼睛的驱动（图2），则需要一个10维全光学函数。
关于视网膜神经元感觉调谐的神经生理学实验通常使用高度受控的刺激。此类刺激通常是固定和低动态输入，例如旨在识别静态感受野特性和适应率。但现实世界视觉体验可能更复杂且快速演化，尤其是由于上述传出眼控制的动态性。到目前为止，从这一角度研究视觉系统的实验数量有限。有可能视觉神经科学受到一定限制，因为只能获得所提出问题的答案，如果预期不到某种潜在组织，则不会在分析中寻找。这种观点并不否定给定实验设置会揭示视网膜细胞的经典感受野类别，而是意味着如果重新表述实验问题，可能会出现额外的组织。一种拟议实验设计，用于研究全光学函数的生物表征，因此是使用更复杂的感觉输入，即有时被称为感觉输入的“自然场景”，但具有动态分量，并研究具有重叠感受野和适应率特性的神经元是否会差异化编码该感受野内时空输入的动态方面。这种方法导致认识到，在具有相同触觉感受野和适应率的楔束核神经元群体中，触觉输入的自然场景显示这些神经元编码了触觉输入特征的特定组合。到目前为止，已有证据表明，当暴露于同一组动态视觉输入时，视网膜神经元确实以神经元特异性动态尖峰放电特征编码这些输入，初级视觉皮层中的神经元也是如此。未来实验的拟议下一步是应用对应于10维全光学函数内不同特定运动学不变量的刺激，并研究给定视网膜神经元是否对特定不变量组合表现出选择性响应性。
4.3. 全听觉函数
尽管研究人员不知道文献中是否有全听觉函数的公式，但上述原则可扩展到为听觉感官也制定这样一个函数。类似于全触觉函数的不同维度，可分解为其组成接触状态动态，人类语言的音素也是感觉信息时空模式的示例，在这种情况下由三个维度组成：声音频率、振幅（强度）和时间。在自然界中，其他声音也主要是时空模式（声音环境或声景），而纯音不存在。后者可能很重要，因为它定义了听觉系统进化压力的预期偏差。
耳蜗只有一个入口点——卵圆窗，所有声压波通过鼓膜转换成机械波。在其最简单形式中，全听觉函数因此将具有三个维度：频率、强度和时间。尽管研究表明我们可以区分声音源的水平、垂直甚至距离位置（x、y、z），但这是通过操纵声音的三个基本维度实现的。因此，水平定位被认为是通过对强度（或相位）的耳间差计算实现的，垂直定位被认为是由外耳结构引起的频率内容滤波所致（不清楚没有此类外耳结构的动物是否没有垂直声音定位，或它们是否可以通过外耳运动实现这一点）。除了外耳结构的潜在滤波，头相关传递函数（HRTFs）也主要影响不同频率的相对强度，因此不独立于该数量（图4）。此外，由于声音在传播介质（主要是空气）中广泛衍射，理论上声音定位比例如光定位困难得多，且仅比视觉更近似地工作。
暂行地，全听觉函数因此只有3个维度。在传感器中，位于耳蜗展开的一维基底膜上的毛细胞，位置和频率是等效量。有可能在距耳蜗卵圆窗每个距离处存在的3-4个平行毛细胞，尽管主要感知相同声音频率，但具有略微不同的输入-输出函数，但这尚未在研究人员所知范围内建立。但就像视觉和触觉一样，大脑施加传出控制，可独立于现实世界输入本身改变任何给定现实世界输入产生的传感器信号。一个易观察的大脑传出控制是耳朵的运动，在许多哺乳动物中发达，但在人类中较少。此外，大脑可以控制耳蜗内传感器细胞的调谐。因此，传出控制将为全听觉函数增加两个维度，从而至少为5维。
然而，其他观察到的现象可解释为全听觉函数这些维度内的特定效应。首先，根据欧姆声学定律（又称为声学相位定律），人们通常对声音信号的相位不敏感。基频与其较低分辨率谐波之间的相位关系变化没有可听效应，尽管相位极大地影响这些声音信号波形的时域特性。缺乏相位灵敏度表明听觉系统是波频率和强度检测器而非压力检测器。音色和空间感是与频率和感知声音方向相关的品质，其中声音的频谱和时间包络对应于音色的两个物理因素。音色有助于识别不同乐器和说话者之间的差异。然而，音色并不代表任何额外维度，而是已由提出的全听觉函数包含。此外，听觉距离信息可通过两种方式量化：声学tau和绝对运动视差，前者指随着听者移动声音强度的变化率。绝对运动视差是由声音源相对于听者运动引起的声音方向变化。这两个量都代表了已经存在于上述全听觉函数中元素的组合。
然而，可以注意到，HRTF（图4）以及其他依赖于头部和耳朵结构解剖学的频率或强度滤波效应的影响，可以通过相对于声音源重新定向或重新定位头部来操纵。由于头部位置基本上可由身体的每个肌肉独立控制，如果要将其纳入全听觉函数，这将成为一个非常高维的函数。这也适用于生物全光学函数。
与上述关于全光学函数映射到已知视网膜编码特征的讨论类似，一种拟议实验设计，用于将前皮层神经元的编码映射到全听觉函数，是使用更复杂和动态的感觉输入，即听觉感觉输入的“自然场景”，并研究具有重叠感受野和适应率特性的神经元是否仍会差异化编码该感受野内时空输入的动态方面。在听觉系统中，自然场景将是纯音的对立面，如上所述。相反，更自然的声景可能是音素或来自自然的等效时空/动态听觉特征。
5. 跨模态映射与不变量
如前一节所述，全函数是包罗万象的函数，可描述与物理世界的每一种理论上可能的互动。每个全函数又由许多不变量组成，这些不变量至少在某种程度上在信息到达丘脑和皮层之前已在神经元回路中分解。从自然行为观察以及陆生动物必须解决的功能（第2节）来看，某种形式的跨模态映射似乎不可避免。然而，这些自然行为也需要能够以非即时/非反应性的方式运作，即它们需要依赖某种形式的工作记忆，以形成跨模态的时间依赖性预期。例如，在运动中，视觉可用于规划将在五步之后发生的步伐，这段时间可以长达数秒。事实上，这种视觉记录的工作记忆对障碍物的规避已被证明在猫的后腿步态中可持续超过半小时。然后，前瞻性视觉信息仅在获取后很长时间才变得相关，当它用于预测例如第五步的条件时，以便大脑可以基于对该步条件的预期进行身体预调整。即，如果第五步的踏脚石视觉上看起来湿滑，那么我们需要为该步执行时的触觉滑觉感做好准备，并在尽管有预期准备但仍发生滑倒时准备好触发情境依赖的补偿性身体运动。
因此，可观察行为要求大脑的跨模态不变量能够通过诱导和维持预期状态来运作，直到需要对该特定跨模态翻译采取行动的关键时间点。与此相比，前一节描述了物理定律可理解为全函数及其运动学不变量的一个基础。时间依赖的跨模态不变量还需要一个内部动作依赖的时间延迟函数和一个动作依赖的跨模态映射，即原则上等同于一个隐含获得的关于物理定律如何动态相互作用以定义物理世界互动元素的时间演化状态以及我们的行为选择如何与该过程互动的理解，即一个世界模型。
因此，跨模态不变量将是世界如何运作的某些方面的抽象表征（即其动态方面的“内在本质”）。要获得，跨模态不变量需要基于感觉信息，通过CNS首先基于模态特异性全函数（每个包含多个不变量）重新表达，但它需要源于对什么“正确或错误”的内部评估，即基本上是根据我们当前能力水平对外部世界如何运作的主观估计。叔本华（
1818年《作为意志和表象的世界》）的“物自体”（noumena，定义世界的内在本质）和“表象”（phenomena，我们用于描述它的主观获得表征）概念，在类似概念层面上是对此处所称跨模态不变量的表述。与单模态不变量不同，后者某种程度上基于物理学，因为它们由初级感觉输入驱动，而跨模态不变量将是由更多内部网络动力学而非感觉输入的低级结构驱动的抽象表征。然后，丘脑皮层神经元网络需要逐渐重塑，使我们更擅长跨时间尺度预期感觉输入（该过程的雏形已有描述），并且需要逐渐重塑其行为输出，使我们更擅长那些预期。由于它们存在于更抽象的领域，跨模态不变量也可解释物体恒常性现象，即当与给定操纵物体的特定触觉互动随时间变化，即使特定变化将极大影响皮肤和深层组织传感器中实际生成的感觉信息，我们仍感知物体特性相同。为此，处理网络需要能够进入不同操作模式或动态状态，矛盾的是，这也使得对给定感觉输入的解释将以状态依赖的皮层响应差异为特征，这确实已在皮层中观察到。因此，皮层需要能够持续适应其预期状态，而该适应的低级表达将是皮层预期此刻相关的特定跨模态不变量效应。获得的跨模态不变量的集合可称为跨模态全函数，即基本上是大脑已获得的所有关于外部世界如何运作的知识之和（在叔本华意义上），因此网络系统在跨时间以及跨情境下预期跨可用传感器（跨感觉模态）的输入。
5.1. 跨模态不变量的具体化示例
在两种行为输出（运输和操作）示例中，需要运作的最基本过程是什么？例如，皮层需要记录信息：第五步有特别困难的条件，需要将该信息存储在其当前活动状态空间中，然后需要一个内部过程“知道”何时即将执行第五步，然后利用存储的信息调整输出。当然，该过程需要并行运行于所有未来步态，或至少那些在可预见未来内发生的步态，其长度可能取决于从大脑角度看环境的不确定性，并且必须为每一步连续滚动更新。相比之下，在持续触觉操作中（其阶段比有腿运动更不离散且更连续），每个阶段都伴随着对接下来动态感觉信息将是什么的预期，作为所进行特定运动的函数。根据皮层如何想象运动阶段，它可以预期某些阶段信息量更大（即更不确定），并且大脑可以选择将行为输出导向这些阶段，以最大化信息增益，前提是这可以在不失去与物体操控接触的情况下完成。在这两种情况下，如果一切按计划进行，预期显然足够正确，大脑可以继续形成对其他未来事件的预期。但如果存在不匹配，即行为输出的感觉后果或意外事件，则内部“警报铃”应响起，以便大脑更剧烈地改变其活动，以快速实现与现实世界条件的新对齐。然后，这种感觉运动不匹配可能导致大脑启动对预期输入和改为执行何种运动以测试关于当前情境中可能存在何种动力学的新假设（即本质上物体的内在属性是什么，前提是我们自身生物力学在局部皮肤及以上部位的内在属性已足够了解）。
因此，如果跨模态不变量普遍存在于皮层处理中，那么可以预期与大脑预期在跨模态感觉领域发生的情况相比的任何不匹配将引起更深刻的反应，而不是感觉输入按预期发展。十多年前，一个惊人发现是，视觉“回放”在初级视觉皮层（V1）神经元中引起的神经激活相对较小，而完全无视觉输入的运动则产生更强大的激活。这表明行为输出是在皮层中广播的核心信号，使得可以形成跨模态的预期，在这种情况下测量视觉输入。然后，实验者以形状为与运动速度冲突的结构化视觉信号的形式引入了故意不匹配信号。这些感觉运动不匹配信号提供了迄今为止最高的神经活动水平。当探查初级听觉皮层（A1）中
