《Frontiers in Cognition》：Regression analyses of event-related brain potentials dissociate general reading experience and domain-specific knowledge sources during language comprehension
编辑推荐：
不同的知识和经验来源如何实时塑造人们对语言意义的建构过程？本研究利用事件相关脑电位(ERP)分析方法的最新进展——即回归ERP(rERP)方法，结合赤池信息量准则(AIC)模型比较——来比较与知识和经验相关的各种测量指标如何关联到毫秒级的ERP时间过程数据。这
不同的知识和经验来源如何实时塑造人们对语言意义的建构过程？本研究利用事件相关脑电位(ERP)分析方法的最新进展——即回归ERP(rERP)方法，结合赤池信息量准则(AIC)模型比较——来比较与知识和经验相关的各种测量指标如何关联到毫秒级的ERP时间过程数据。这些数据记录自个体逐词阅读关于虚构世界(《哈利·波特》；HP)的句子时的脑电活动。参与者在贡献其HP知识的经验方面存在差异，包括阅读每本书和/或观看每部电影的次数。这些参与者还完成了使用简短趣味问答的领域知识客观测量，以及更一般性的阅读经验测量。在多个词汇理解指标上，基于HP的测量优于一般阅读经验。值得注意的是，自我报告的HP电影观看经验最能解释N400"相关异常"效应，该效应反映了语言上不恰当但与事件相关的词汇的即时可用性。因此，与纯粹语言的阅读经验相比，观看电影的丰富多模态经验可能(至少在某些情况下)加速语言理解过程中的知识使用。这些发现与意义仅基于语言经验的理论相悖，暗示了多模态的贡献。更一般地，这些分析说明了探索性模型集比较和连续变量rERP如何为阅读过程中信息处理的时间进程提供新见解。
**研究背景与意义**
当人们阅读或聆听所掌握的语言时，会立即唤起与每个词汇、句子及所描述情境相关的大量信息。这些信息来源于个体一生积累的知识储备，因人而异，并能够对感知和认知产生即时影响。已有研究证实，印刷品暴露(例如通过作者和杂志名称识别测试测量)的差异会影响语言理解的实时处理及不同神经系统的相对参与程度。然而，对于特定经验来源如何结合以塑造人们在语言理解过程中实时建构意义的方式，目前知之甚少。认知科学中关于意义表征的本质存在激烈争论：一端是分布式语义假说，认为词义可仅基于词汇间的共现来表征；另一端是具身/接地认知理论，强调多模态、具身经验对语言理解的重要性。此外，虚构输入(包括语言和其他模态)构成了影响人们理解世界的额外知识来源。过去十年中，研究人员以《哈利·波特》(HP)叙事世界为对象深入探索了特定领域知识如何影响语言理解。然而，以往研究中各项自我报告测量指标(包括HP书籍阅读、HP电影观看及一般阅读经验)彼此间中至强相关，使得难以通过传统分析方法厘清哪种类型的知识/经验最能捕捉实验效应。
**关键技术方法**
本研究使用Troyer和Kutas(2020)的数据集，包含156个描述HP虚构世界"事实"的句子对。参与者在EEG记录期间逐词阅读句子，句子结尾词分为三种条件：语境支持的正确词、语境不支持但相关的异常词、以及不相关的异常词。研究采用rERP方法对ERP数据进行逐时间点回归建模，并使用AICmin Δ指标进行探索性模型比较，直接比较四个个体差异测量指标(HP知识问答分数、HP书籍阅读经验、HP电影观看经验、一般阅读经验)对N400效应的相对解释力。
**个体差异测量间的相关性**
通过对各测量指标间相关性的分析，研究发现四个测量指标(HP问答分数、HP书籍阅读经验、HP电影观看经验、一般阅读经验)彼此间呈中至强相关(Pearson's r介于0.39至0.66之间)。值得注意的是，HP书籍阅读与HP电影观看之间的相关性(r=0.39)低于许多其他比较，这很可能是因为几乎所有年轻成年参与者都至少看过一部HP电影，而许多人从未读过HP书籍。
**(r)ERP数据**
总平均ERP数据显示，语境支持效应和相关异常效应均主要表现在N400时间窗(250-500 ms)内，具有广泛的头皮分布和中央-顶叶最大值。rERP估计可视化了每个效应和每个模型在每一时间样本的beta系数，使得连续变量对结果变量(此处源自语境支持或相关异常的分类效应)的影响得以直接估计和可视化。这种可视化超越了传统的ERP差异波，能够直接估计和可视化连续变量对结果变量的影响。
**AIC模型比较**
研究使用AICmin Δ指标直接比较四个回归模型的拟合优度。结果表明，在N400时间窗内，HP测量指标在解释语境支持效应和相关异常效应方面普遍优于一般阅读经验测量，这一模式在N400效应最为显著的中央和顶叶通道上最为明显。更值得注意的是，在各项HP测量中，观看/聆听电影的多模态经验在解释这两个N400效应方面优于HP书籍阅读经验(以及在较小程度上优于通过趣味问答获得的HP知识客观测量)。对于N400效应最为显著的中央和顶叶通道，HP电影经验模型在N400时间窗内大多数时间具有最低AIC值(AICmin Δ=0)。与之相比，HP书籍经验的AICmin Δ值通常大于2，表明HP电影经验具有更强的解释力，这在相关异常效应上尤为明显。而HP趣味问答测量虽然很少超越HP电影观看测量，但其AICmin Δ值持续低于2，表明其解释力与电影观看测量不可区分。
**讨论与结论**
研究得出两个重要推论。第一，即使在HP叙事/虚构领域的经验通常与更一般的阅读经验相关(且可能混淆)的情况下，领域特定测量在解释语境支持和相关异常的N400效应方面仍然优于一般阅读经验。这一发现证实了领域特定知识对长时(语义)记忆中语境支持和语境相关知识的即时可用性的影响。以往使用传统回归建模的方法由于多个个体差异测量指标的共线性而无法进行这种直接比较。
第二，尽管HP领域因其丰富的虚构世界而作为研究对像，但观看电影的丰富多模态经验在预测语言理解实验中的语言效应方面比书籍阅读经验更具预测力。HP七本书系列总计约4,100页(超过百万词)，阅读这一文本量所需时间可能超过80小时；而八部HP电影仅构成约20小时的内容，且口语内容限于对话。尽管如此，电影观看经验提供了读者无法获得的直接视听经验。此外，电影观看通常发生在社交情境中(如电影院或客厅)，因此在电影观看过程中可能存在阅读时不可获得的丰富语境关联(包括社交关联)。
这些发现为不同类型经验如何贡献于语言输入的即时理解提供了证据，突显了多模态经验对语言理解的重要性，与具身/接地认知理论一致——即人们招募感知处理机制(即实际感知感觉输入所涉及的机制)来支持随后在缺乏直接感觉输入时唤起相同感知的过程。这些发现也与关于语言提示的心理意象与感知可用意象之间本质的争论相关，暗示至少在某些情况下，感知/多模态经验可能比阅读中获得的纯语言经验引发更丰富的后续语义长时记忆获取。总而言之，这些数据表明，领域特定内容经验(此处为虚构世界经验)在解释人们理解语言时如何建构意义方面优于一般阅读经验测量；且至少在某些情况下，观看电影的丰富多模态经验与语言理解过程中知识可用性的关联可能比纯语言的阅读经验更为紧密。这些发现与意义仅基于语言经验的理论相悖，暗示了多模态的贡献。
