叙事理解中层级语言预测与跨层级信息更新的神经机制研究

《Communications Biology》：Hierarchical linguistic predictions and cross-level information updating during narrative comprehension

本研究通过结合自然语言处理（NLP）与功能磁共振成像（fMRI）技术，探讨了大脑在叙事理解过程中如何实现从词汇到句子的层级预测。研究发现，词汇预测主要激活双侧颞上回（STG），而句子预测则涉及默认模式网络（DMN）区域。通过计算建模，研究证实了稀疏更新假说，即跨层级信息更新主要发生在句子边界。该研究揭示了大脑层级预测的神经基础及其更新机制，对理解语言处理的高效性具有重要意义。

　　

当我们聆听一个故事时，大脑不仅在处理当前听到的词语，还在不断预测接下来会出现什么内容。这种预测能力使得我们能够快速理解高度动态的语言信息。然而，这种预测是如何在大脑中实现的？特别是对于更复杂的语言单位，比如整个句子，大脑是否也能进行预测？这些问题一直是神经语言学领域的核心挑战。

以往的研究多集中于较短时间尺度的预测，如音素或单词。神经成像和电生理学证据表明，音素预测主要涉及双侧初级听觉皮层，而词汇预测则涉及更广泛的脑区，包括双侧颞上回（STG）、左顶下小叶（IPL）、双侧额下回（IFG）以及双侧背外侧前额叶皮层（dlPFC）。然而，自然语言的理解远不止于单词层面。句子等更大的语言单位承载着更复杂的意义和隐含信息，对于理解社会情感线索或推断沟通意图至关重要。此外，有证据表明，大脑在不同时间尺度上整合过去的语境信息，从处理较短时间尺度的早期感觉区域（如STG）到处理较长时间尺度的高级区域（如前额叶皮层）。这引出了一个关键问题：大脑是否以及如何实现对未来语言单位的多层级预测，特别是超越音素和单词的句子层面？

近期研究开始探索大脑如何在不同时间尺度上预测即将到来的信息。例如，有研究发现，在重复观看电影时，大脑多个区域的活动模式会遵循从后到前的皮层梯度逐渐变化，这表明大脑在先前接触后能主动预测接下来的电影情节。另一项研究利用基于大语言模型（LLM）的方法，检验了在语言理解过程中加入“预测窗口”是否能提高神经编码性能，为语言理解中的预期层级提供了证据。然而，由于语言系统的时间尺度可以以不同方式定义（例如，基于语法的层级或基于语义的层级），目前尚不清楚这些研究捕捉的是预测层级中的哪个具体语言水平。

为了填补这一空白，周法新等人发表在《Communications Biology》上的研究，重点关注了大脑如何对即将到来的单词和句子进行语义预测。他们选择单词和句子作为研究水平，因为它们是大多数语言层级框架中公认的层级，并且都能作为独立的语义单位传达意义，尽管复杂度不同。这为研究自然语言理解过程中的语义预测层级提供了一个理想的框架。

此外，理解预测层级内部各水平之间如何更新信息也至关重要。目前关于信息更新方式存在两种竞争性假说：连续更新假说认为，随着低层级输入的展开，高层级区域会持续更新；稀疏更新假说则认为，高层级区域仅在其偏好时间尺度的边界处进行更新。先前的研究多关注较低层级，且大多基于相关性分析方法，难以清晰区分信息更新和累积效应。

为了研究预测层级并检验大脑中的信息更新模式，研究人员结合了自然语言处理（NLP）和神经计算建模方法，分析了参与者在进行叙事理解任务时通过功能磁共振成像（fMRI）记录的大脑信号。参与者被要求聆听三个故事（正向播放）及其对应的时序倒转版本（反向播放，作为声学特征控制）。研究采用了两阶段程序来获取词汇和句子水平的预测性表征。首先，使用全词掩码的优化鲁棒双向编码器表示转换模型（WWM-RoBERTa）来获取语言信息的向量表示。然后，应用多元岭回归方法来建模先前语言语境与即将到来的语言单位之间的预测关系。接着，使用基于组的广义线性模型（gGLM）来识别与预测表征相关的神经关联。最后，研究人员在预测编码（PC）框架内构建了计算模型，直接比较了连续更新和稀疏更新两种假说，以揭示词汇和句子水平之间的动态交互机制。

研究发现，词汇的预测性表征与双侧颞上回（STG）和颞中回（MTG）的脑活动显著相关。而句子的预测性表征则与右侧颞顶交界区（TPJ）、内侧前额叶皮层（mPFC）以及楔前叶的激活相关。这些发现表明，大脑在语言理解过程中以层级化的方式进行预测。更重要的是，计算建模的结果支持稀疏更新策略，即跨层级的交互主要发生在句子边界处，而非连续地进行。自相关分析进一步佐证了这一发现，显示与句子预测相关的脑区在正向条件下于特定时间滞后（约两倍句子长度）表现出更强的自相关性，这与在句子边界处进行稀疏更新的预期相符。

行为表现

参与者在听完每个正向故事后，对故事的感知清晰度和理解程度进行了评分。结果表明，所有故事的理解得分均显著高于随机水平，且三个故事之间的理解得分没有显著差异，证明了后续神经分析数据的可靠性。

词汇和句子的预测表征

研究人员通过多元岭回归模型成功地捕捉了从先前语境到即将到来的语言单位（词汇和句子）的预测关系。模型评估显示，无论是词汇水平还是句子水平，预测向量与实际目标向量之间的余弦距离（D1）都显著小于预测向量与随机向量之间的距离（D2）。配对分类任务的准确率也显著高于随机水平，表明模型能够可靠地捕捉语言中的预测关系。此外，研究还发现了语境长度的增量效应：随着先前语境（词汇或句子）长度的增加，模型的预测性能逐渐提升，并在达到一定长度（如句子边界）后趋于稳定，这支持了模型的生物合理性。

多层级预测的神经基础

通过编码模型（gGLM）分析，研究人员识别了与词汇和句子水平预测相关的神经基础。在词汇水平，预测表征与双侧STG和MTG的激活显著相关。在句子水平，预测表征则与右侧TPJ、mPFC和楔前叶的激活相关。置换检验进一步验证了这些脑区激活的显著性。为了区分预测效应和语境效应，研究还进行了方差分割分析，结果表明预测表征和过去语境表征在脑区分布上存在差异，确认了所识别脑区确实与预测过程本身相关。

预测层级的信息更新模式

为了检验连续更新和稀疏更新假说，研究人员在预测编码框架下构建了两个计算模型。模型比较结果显示，稀疏更新模型在正向条件下的表现显著优于连续更新模型，而在反向条件下则无显著差异。当打乱稀疏模型中的句子边界信息后，其性能虽仍优于连续模型，但低于原始稀疏模型，说明句子边界信息对稀疏模型的优越性有特定贡献。此外，当用白噪声信号替换词汇水平的预测误差（PE）时，稀疏模型的性能显著下降，而连续模型则无显著变化，这表明词汇水平的预测误差在稀疏更新机制中起着重要作用。

自相关分析揭示的稀疏更新

自相关分析为稀疏更新假说提供了额外的证据。研究发现，在正向条件下，与句子预测相关的脑区在时间滞后为8-11个TR（约两倍句子长度）时，表现出比反向条件显著更强的自相关性。这种周期性模式与在句子边界处进行信息更新的假设一致，因为更新需要大脑同时保持句子边界前后的信息。而在词汇预测相关的脑区则未观察到类似效应。

该研究系统地刻画了叙事理解中从词汇到句子的层级语言预测神经机制，并揭示了跨层级信息更新的稀疏特性。研究发现，词汇预测主要依赖听觉相关皮层（如STG和MTG），而句子预测则涉及默认模式网络（DMN）的核心区域（如mPFC、楔前叶和TPJ）。这扩展了人们对语言处理中“前瞻性”时间尺度层级的认识，与主要关注“回顾性”语境整合的时间感受野（TRW）研究形成了互补。

研究结果支持稀疏更新假说，表明句子边界是层级预测中进行信息更新的关键节点。这一发现与事件分割理论（EST）相符，即大脑在自然语言理解过程中进行基于事件的加工，在事件（如句子）边界处进行信息整合。稀疏更新策略可能反映了大脑的经济性原则，以更高效和节省资源的方式处理信息。

尽管有大量证据表明语言处理具有增量性，但本研究提示，这种增量性可能主要发生在同一层级内部（如词汇水平的语义构建），而跨层级的信息传递则是稀疏的。这为解决增量性与稀疏更新看似矛盾的观点提供了一个可能的框架。

该研究也存在一些局限性，例如无法实时监测参与者的注意状态，fMRI的时间分辨率限制了对更精细时间尺度预测的表征，以及平均化的句子表征方法可能忽略了重要的序列结构信息。未来研究可结合更高时间分辨率的神经成像技术（如脑磁图MEG或颅内脑电图iEEG）和更先进的语言模型，进一步揭示语言层级预测的精细动态过程。

总之，这项研究通过多模态方法揭示了大脑层级语言预测的皮层架构和神经计算机制，强调了句子边界在信息更新中的关键作用，为理解人类高效语言理解的神经基础提供了重要见解。