表征涌现的层级框架：从特征绑定到超模态涌现

《iScience》：A hierarchical framework of representational emergence: From feature binding to supramodal emergence

　　

多感觉整合（multisensory integration）传统上被概念化为瞬态的、刺激驱动的特征绑定（feature binding）过程。本研究提出一个层级框架，将多感觉处理重新概念化为跨越三个不同层级的表征涌现（representational emergence）连续体：层级I（多模态绑定，multimodal binding），特征通过概率因果推断（probabilistic causal inference）加以整合；层级II（超模态表征，supramodal representation），循环共激活（recurrent co-activation）与价值导向选择（value-guided selection）建立巩固的知觉-语义印记（perceptual-semantic engrams），其功能类似于涌现模态（emergent modalities）；层级III（无模态概念，amodal concepts），意义日益脱离感觉形式，并在跨模态语义网络（transmodal semantic networks）中得到表征。本研究借鉴近期哺乳动物跨模态联想记忆神经元（cross-modal associative memory neurons）及经验依赖性网络重组的证据，提出局部突触选择（local synaptic selection）如何扩展为日益自主的认知模块。最后，本研究描绘了一条实证研究路线图，并阐述了其对超模态人工智能（supramodal AI）的启示，旨在推动能够实现更自主语义表征与生成的架构发展。

论文解读

一、研究背景与问题

多感觉整合（multisensory integration）是认知神经科学中的一个长期核心问题。尽管人们对单一感觉通道的信息加工机制已有较为成熟的认识，但对于大脑如何将不同感觉通道的信息整合为统一知觉，其机制理解仍十分有限。传统主流模型将视听整合（audiovisual integration, AV-I）视为一种自下而上的、刺激驱动的特征绑定过程：当多个感觉信号在时间和空间上对应一致，或单一模态输入强度不足时（即逆有效性原则，inverse effectiveness），大脑通过概率因果推断（Bayesian causal inference, BCI）或贝叶斯整合原则，推断信号是否源自同一事件源并据此进行融合。大量行为和神经生理学研究支持这一框架，例如训练可以缩小时序绑定窗口（temporal binding window），而违背时空一致性会降低整合概率。神经影像学证据也表明，视听整合涉及早期感觉皮层和联合皮层（如颞上沟、顶内沟）的分布式汇聚节点。

然而，纯粹特征驱动模型难以解释大量表明学习联想、语义一致性和语境意义塑造多感觉整合的证据。例如，当听觉与视觉成分语义一致时，整合强于不一致时——即使时序条件完全相同（如面孔与对应声音的配对）。联想学习范式也表明，视听刺激的重复配对可以重组整合模式，使大脑开始将配对视为单一知觉单元。这引发了一个概念性问题：整合在不同表征层级上是否是一个统一过程，还是意义驱动的融合代表了一种性质不同的现象？经典特征绑定框架缺乏足够的表征词汇来解释两条相关感觉流如何成为单一语义实体，而不仅仅是共激活的特征集合。

二、研究内容与核心结论

为回应上述问题，研究人员提出了一个视听整合的层级框架，区分三个性质不同的表征层级：层级I（多模态绑定）——在时空一致性条件下对感觉特征进行在线概率融合；层级II（超模态表征）——通过选择和稳定化，经验依赖性巩固统一的知觉-语义印记；层级III（无模态表征）——跨模态语义网络中与模态无关的抽象概念结构。

研究人员的核心主张是：重复的、行为相关的跨模态配对不仅仅是更新在线先验，而是招募核心联想神经元并重组网络模块性，从而构建一个作为涌现模态运作的超模态表征单元。该框架整合了细胞神经科学、网络神经影像学和计算建模的汇聚进展：多感觉联想学习在微回路层面招募编码多种感觉模态信号的皮层神经元，形成超越初始共现的持久统一表征；在系统层面，多感觉汇聚区经历由联想强化原则支配的经验依赖性可塑性；图论和连接组学分析则表明多感觉处理运作于动态自组织网络中。

该框架的重要理论意义在于：它挑战了福多（Fodor）经典模块论中模块是固定、先天决定且封装的观念，支持选择主义和动态模块性——模块不是系统发育上解剖学确立的，而是通过经验依赖性重组在功能上创建的。同时，超模态表征为吉布森（Gibson）的“直接知觉意义”提供了神经基质：这些表征将可供性（affordances）编码为统一的知觉-语义实体，无需推断中介。在预测加工框架内，超模态组装体充当中间先验（intermediate priors），其巩固减少了对持续跨模态推断的需求，实现了预测精度的稳态优化。

三、关键技术方法

研究人员主要采用了以下关键技术方法：其一，任务定义的 multilayer 网络分析（task-defined multilayer network analysis），基于脑磁图（magnetoencephalography, MEG）数据构建多层网络拓扑，比较音乐家与非音乐家群体在视听不一致处理中的网络结构差异；其二，动态因果建模（dynamic causal modeling, DCM），用于检验初级听觉/视觉皮层与颞上沟/顶内沟之间的有效连接如何被刺激属性调节；其三，跨模态联想学习范式，结合行为训练与神经电生理记录，追踪多感觉配对从瞬态绑定到稳定表征的巩固过程；其四，图论指标分析，包括模块度（modularity）、参与系数（participation coefficient）和层间耦合（interlayer coupling）等，用于操作化区分不同层级的网络特征。研究还整合了来自哺乳动物单细胞记录、神经影像学元分析及计算建模的多层次证据。

四、研究结果

层级I：多模态绑定——特征绑定的自下而上规则

在第一层级，视听整合是刺激驱动的过程，绑定时空一致的感觉特征，并在单模态输入较弱时增强知觉可靠性。经典范式如麦格克效应（McGurk effect）和声音诱导闪光错觉表明，即使微小时序差异也会显著影响大脑推断两信号是否来自同一源。研究证据表明，层级I是一个概率性特征绑定阶段，通过时空一致性和可靠性加权运作。早期多感觉处理发生在皮层下和皮层汇聚区：上丘（superior colliculus）通过时空规则整合视听刺激，而颞上沟后部（posterior superior temporal sulcus, pSTS）作为动态连接点而非静态“融合区”运作。脑磁图和脑电图研究显示，初级听觉/视觉皮层与pSTS之间在刺激出现后100毫秒内即发生快速双向交互，表明整合依赖瞬态网络耦合而非串行处理。贝叶斯因果推断模型虽然成功预测了腹语后效（ventriloquism aftereffect）等知觉偏移，但仅限于决定“何时”和“多少”融合，而非融合后产生何种新表征。

层级II：超模态表征——涌现的感觉模态

从多感觉整合到超模态表征的转变基于知觉的质性重组：共激活的感觉特征合并为新的、稳定的表征实体，可作为统一的知觉-语义单元被检索，即使仅呈现部分多感觉输入也能整体性再激活。超模态表征不同于可独立于所有模态概念化的无模态语义概念，它们源于具体的多模态经验，作为混合的知觉-语义编码运作。在微回路层面，徐等人（Xu et al.）证明多感觉联想学习招募编码多种感觉模态信号的皮层神经元：胡须、嗅觉、味觉和热信号的重复配对使桶状皮层神经元对这些模态的信号产生响应，并通过neuroligin-3介导的突触发生与模态特异性皮层区域形成互联网络。在系统层面，帕拉斯凯沃普洛斯等人（Paraskevopoulos et al.）应用任务定义多层网络分析表明，音乐训练（一种强烈多感觉技能）重组了网络结构：训练降低了模态间（跨层）连接，同时增加了层内模块性。这种模式——跨模态依赖性降低而模态内凝聚力增强——构成了超模态涌现的预测性系统特征，即统一知觉在新建的自主模块内被加工。该框架还预测了层级I到层级II转变的独特时间特征：巩固前，对习得配置的违背涉及较晚的整合过程（约400毫秒范围），而巩固后的超模态表征触发早期自动反应（约100–250毫秒）。

层级III：无模态表征与层级拓扑

在最高表征层级，无模态概念作为脱离特定感觉实例化的语义结构涌现。层级II超模态表征由多模态经验产生并保留通过反馈再入信号再激活其组成感觉痕迹的能力，而层级III无模态表征在抽象符号层面编码意义，其中表征的知觉特征不再构成概念本身。神经解剖学上，层级III与异模态联合枢纽的支配相关，包括颞叶前部（anterior temporal lobe, ATL）、角回（angular gyrus）和额下回（inferior frontal gyrus, IFG）。每个层级显示独特的网络特征：多模态整合以高跨层连接为特征，支持分布式汇聚和不确定性下的实时推断；超模态和无模态阶段显示增加的层内模块性和减少的跨层耦合，反映表征自主性的增长。发展上，层级通过不同可塑性阶段展开：童年期跨模态连接促进系统性变化和快速超模态形成；成熟期表征稳定化；老化期感觉皮层去分化促进向无模态概括的转变。

五、讨论与结论

在讨论部分，研究人员将超模态表征框架与经典理论进行了系统比较。经典平面模型（如BCI）擅长解释在线特征绑定和逐试次不确定性，但缺乏解释结构印记巩固、网络模块重组或模式补全的表征词汇。该层级框架保留了BCI在在线知觉决策方面的优势，同时为自主超模态单元（层级II）的涌现及其最终抽象为无模态概念（层级III）提供了机制性解释。在临床意义上，该框架为学习障碍和神经康复提供了新视角：阅读障碍、发展性协调障碍和自闭症谱系障碍（ASD）等神经多样性条件与异常多感觉整合相关，这些缺陷可被理解为从瞬态多模态耦合到稳定超模态组装的转变受损。在人工智能方面，当前多模态AI（如CLIP、Flamingo、Gemini 2.5和GPT-5）能够实现层级I的信息整合，但缺乏生成新表征的能力，无法实现层级II的超模态涌现。实现人工系统的语义自主性需要超越梯度下降优化，转向体现变异、选择和保留原则的架构——即神经元达尔文主义的计算对应物。

研究结论部分指出：该框架勾勒了一个层级进展，从根本上将视听整合重新定义为表征自主性的连续体。多模态整合通过瞬态时空一致性绑定感觉输入；重复共激活将这些绑定稳定化为编码跨感觉规律性的超模态印记；语义概括将这些印记转化为超越感觉来源的无模态表征。视听整合因此不是一个单一过程，而是通过结构重组和日益增加的抽象连接知觉与认知的渐进路径。该层级框架统一了生物学、认知和计算视角，生物学上反映选择主义原则，认知上以后福多式术语重构模块性，计算上揭示了当前多模态AI的局限并提出了通往“超模态AI”的路径。