视觉空间工作记忆（visuospatial working memory, vsWM）对言语预测中预期加工（prediction）的影响是否依赖于共存相关视觉世界（co-presence of a relevant visual world）？——一项事件相关电位（Event-Related Potentials, ERPs）研究

《Language, Cognition and Neuroscience》：Are visuospatial working memory influences on prediction in speech contingent on the co-presence of a relevant visual world? An ERP study

　　

摘要：既往多项视觉世界眼动（visual world eye-tracking）实验表明，并发的视觉空间工作记忆（visuospatial working memory, vsWM）任务会削减预测性注视行为（predictive gaze behaviour）。这种削减究竟源于预测的普遍认知机制，还是仅因实验中需同时加工视觉共现物体所额外消耗的认知资源，尚不清楚。本研究采用N400事件相关电位（event-related potentials, ERPs）范式，二语（L2）英语被试听取与某先前眼动研究相同的句子并完成相同的vsWM任务，但该眼动研究中存在视觉共现物体阵列而本实验无。结果观测到稳健的可预测性效应（predictability effect），但未发现vsWM任务对N400幅值的调制作用。结果表明，在无视觉共现刺激阵列的条件下，vsWM并不干扰目标词汇的语义预激活（pre-activation）。既往vsWM对预测的影响更可能特异地指向注视行为及口语指称共存相关视觉情境时的语言—视觉联合加工，而非语言预测本身的语义预激活过程。

论文解读：《Language, Cognition and Neuroscience》刊载论文专题解读

一、研究背景与立题依据

言语理解中的预测（prediction / predictive processing）是当代心理语言学和认知神经科学的核心议题。已有研究主要通过两种范式探究口语中的预测：（1）视觉世界范式（Visual World Paradigm, VWP），测量目标词出现前被试对对应物体的预期性注视（anticipatory gaze）；（2）事件相关电位（Event-Related Potential, ERP）中的N400成分，测量目标词语义预激活程度——可预测词诱发较小N400（语义特征已被预激活），不可预测词诱发较大N400。

既往数项VWP研究发现，当被试同时执行视觉空间工作记忆（visuospatial Working Memory, vsWM）负荷任务（改良版Corsi块敲击任务），预测性注视显著降低，提示vsWM可能参与或消耗预测所需资源。然而VWP依赖共存视觉刺激阵列（co-present visual array），要求语言输入与视觉—空间表征绑定（language–vision binding）及注视转移，这与单纯语义预激活属不同认知过程。若vsWM仅干扰"语言—视觉联合及注视引导"而非语义预激活本身，则vsWM不应调制N400上的可预测性缩减效应。目前尚无EEG/ERP研究检验无视觉共现情境下vsWM对口语语义预测的影响。因此研究人员开展本研究，使用与原VWP研究（Allison et al., 2025）完全相同的听觉材料与vsWM操纵，去除视觉共现物体（仅在目标词后出现图片做理解题），通过N400考察vsWM是否影响语义预激活。

二、关键技术方法概述

研究人员招募德国凯泽斯劳滕—兰道大学（RPTU）33名熟练二语（L2）英语使用者（最终纳入32人），听取80对语义可预测与不可预测五词句（如"The waiter brings the plate"与"The runner remembers the plate"，目标词plate），一半试次附加vsWM负荷（记忆4个方格位置与顺序的改良Corsi任务，无负荷试次看9个静态方格）。句子听完后呈现四图阵列要求选匹配图（理解题），负荷试次还需回溯复现Corsi序列。连续EEG经26通道电极采集（在线参考FCz，离线重参考至双侧乳突mastoids），眼电校正采用独立成分分析（Independent Component Analysis, ICA），自动拒绝伪迹（AutoReject），N400分析取目标词 onset 后350–550 ms 中央—中央顶区电极（Fz, FC1/FCz/FC2, C3/Cz/C4, CP1/CPz/CP2）平均波幅，以贝叶斯重复测量ANOVA（Bayesian repeated-measures ANOVA）为主统计，辅以经典频次派ANOVA。

三、研究结果

behavioural data（行为结果）

被试图片选择题正确率均达95%（各条件94.4%–95.8%），vsWM负荷试次Corsi回忆正确率77%，表明被试认真完成双重任务且句子理解未受vsWM影响。

ERP analysis: N400（N400事件相关电位分析结果）

对350–550 ms时窗N400平均波幅进行2（可预测/不可预测）×2（无负荷/有vsWM负荷）分析：① 可预测性主效应显著——不可预测句目标词诱发更大负向N400（BF₁₀=4.6, p<.01），证实L2被试在无视觉共现时进行语义预激活；② vsWM负荷主效应无统计学意义（BF₀₁=3.4，支持零假设），且可预测性与vsWM负荷无交互（BF₀₁=3.9，支持零假设）。即无论有无vsWM负荷，可预测目标词均引发同等幅度的N400衰减，vsWM未削弱语义预激活。

四、讨论与结论翻译

讨论指出，本研究分离了VWP中固有的视觉—空间加工与纯语言语义预激活。N400反映词汇—语义预激活（lexical-semantic pre-activation），而VWP中预测还涉及将激活的表征与物体当前空间位置绑定的暂时性联结（representational nexus / binding in working memory），此过程依赖vsWM资源。因此既往VWP中vsWM削减预测注视并非因为vsWM阻断语义预测生成，而是干扰语言—视觉联合及由绑定表征引导的注视行为，且该干扰严格依赖相关视觉情境共存。此外，结果不支持"领域通用执行资源（domain-general executive resources）被用于生成或维持语言预测本身"的假说（至少对本文所用简单语义可预测句而言），支持语言预测更多根植于语言经验本身，不共享vsWM资源。

研究结论（翻译）：

本研究的目的是借助EEG解离视觉世界眼动研究中固有的句子加工与视觉空间加工，从而考察口语加工中的预测。研究人员使用曾在VWP中致使L2英语被试预测注视降低的相同听觉材料及相同vsWM操纵，测量N400。与先前VWP发现vsWM削减预测注视不同，本研究发现无论是否并发vsWM负荷，L2英语被试均同等预激活语义可预测目标词。该结果表明，vsWM负荷增加致预测证据减少的现象依赖于视觉刺激阵列的存在；vsWM负荷虽可减少朝向语义可预测目标的预测性注视行为，但这种减少特异地发生于语言预测发生在一个相关且共现视觉环境中的情形，而不影响无视觉共现时的语义预激活过程。