《Cortex》：Language prediction in multimodal contexts: The contribution of iconic gestures to anticipatory sentence comprehension
编辑推荐：
证据表明听者会预测即将出现的词语，而在面对面对话中，象似手势通常先于其口语所指对象出现。近期的一个理论框架提出，早发型手势能够预激活即将出现名词的意义。这项预先注册的EEG研究检验了这一假设。81名荷兰语成人观看了一位女演员产出以目标名词结尾的话语的视频。该名
证据表明听者会预测即将出现的词语，而在面对面对话中，象似手势通常先于其口语所指对象出现。近期的一个理论框架提出，早发型手势能够预激活即将出现名词的意义。这项预先注册的EEG研究检验了这一假设。81名荷兰语成人观看了一位女演员产出以目标名词结尾的话语的视频。该名词要么可从话语中预测到，要么不可预测。每个名词均配有一个象似手势，其stroke阶段分别始于名词前520毫秒（早期）或130毫秒（晚期）。话语可预测性产生了预期的后目标词N400效应，即相对于不可预测项目，可预测项目的N400波幅减小（H1）。在目标词前时间窗内，早期手势在不可预测话语中诱发了比在可预测话语中更负的波幅（H2a），表明当可预测性较低时，早期手势调节了神经反应。对于相反的对比（早期-可预测 vs. 晚期-可预测与晚期-不可预测；H2c），未发现类似的交互作用。在后目标词时间窗内，早期手势相对于晚期手势产生了一个适度的类N400正走向效应（H2e），但手势时机与话语可预测性之间的交互作用（H2f）未得到支持。一项后续分析表明，在不可预测话语中，晚期手势产生的N400大于早期手势。因此，数据确认了H1，支持了H2a（以及部分支持H2e），而H2c和H2f未获支持，这表明当说话者产出独白式话语时，若语言预测较弱，早期象似手势有助于预期加工，但其效果有限且依赖于语境。结合探索性后续分析，这些发现突显了手势时机对理解影响的细微作用。
一、研究背景与科学问题
在认知科学领域，预测性加工被视为人类认知的基本原则之一。大量研究表明，语言理解过程中听者会主动预测即将到来的信息，这一观点得到了事件相关电位（ERP）研究的支持，尤其是N400成分——一个在目标词呈现后约400毫秒出现的负走向脑电成分，其波幅减小通常反映了语义加工的易化。然而，以往绝大多数研究聚焦于单模态情境（如纯听觉或纯视觉的语言输入），忽略了日常交流中最自然、最普遍的多模态形式，即面对面对话。在这种情境下，说话者同时通过言语和手部手势传递信息。值得注意的是，象似手势（iconic gestures）——一种通过模拟动作或形状来传达语义信息的手势——往往先于其在言语流中对应的词汇出现。基于这一观察，Holler和Levinson（2019）提出了一个理论框架，认为接收者可以利用先行手势所携带的信息来辅助预测即将到来的语义信息。
目前存在的主要问题是：尽管已有行为学和神经影像学证据表明手势与言语在语义层面进行整合，但手势是否以及在多大程度上参与了语言理解过程中的预测性加工仍不明确。先前的研究（如Obermeier & Gunter, 2015; Fritz等人，2021）提供了混合的证据：前者发现提前约600毫秒呈现的手势可能被早期整合，后者则发现提前约2秒的手势并未在目标词前产生整合效应，而是在目标词后才表现出促进作用。因此，亟需系统的实验来检验早期象似手势能否在目标词出现之前预激活其语义概念，从而促进预测性加工。
为此，本研究开展了一项预先注册的脑电图（EEG）实验，旨在回答如下核心问题：在多模态话语理解中，象似手势是否以及如何贡献于语言预测？具体而言，研究人员操纵了手势呈现时机（早期：手势stroke起始于目标词前520毫秒；晚期：起始于目标词前130毫秒）和话语可预测性（可预测 vs. 不可预测），并考察了这两个因素对目标词前后脑电活动的影响。
二、主要研究方法
本研究采用了2×2被试内设计的EEG实验。81名母语为荷兰语的右利手成年被试参与了实验。刺激材料基于Hintz等人（2023）开发的语料库，包含80个具体目标名词，每个名词配有两种话语语境（可预测与不可预测）和两种手势时机条件，共生成320个独特的视听刺激视频。所有视频由一位女性母语者在实验室录制，并使用ELAN软件对手势短语、手势stroke阶段及目标词进行精确标注，随后通过ffmpeg调整视频轨道相对于音频轨道的偏移量以实现精确的手势时机控制。研究人员还进行了多项标准化评定研究：采用完形填空任务评估话语可预测性（可预测语境平均完形概率为0.85，不可预测语境为0）；通过独立被试在无音频条件下对沉默手势进行三词猜测，计算目标词作为首次猜测的调整后概率（平均0.49）；并在话语语境中评估了手势的可解释性。EEG数据采集后，使用Fieldtrip工具箱进行预处理和分析，采用线性混合效应模型结合聚类置换检验进行统计推断。
三、研究结果
假设H1：话语可预测性的主效应
在目标词后的时间窗内，可预测话语条件下的目标词相较于不可预测条件诱发了减小的N400波幅。这一经典效应得到了确认，表明被试确实利用了话语信息进行预测。
假设H2a：手势时机与话语可预测性的交互作用（目标词前）
在目标词前的时间窗内，早期手势在不可预测话语条件下诱发了比在可预测话语条件下更负的ERP波幅。这一结果表明，当话语本身无法提供足够的预测线索时，早期手势的呈现引发了更强的神经响应，反映出听者试图将手势信息与薄弱的话语模型进行整合的努力。
假设H2c：早期-可预测 vs. 晚期条件的对比
早期手势在可预测话语条件下与两个晚期手势条件（可预测与不可预测）在目标词前的ERP波幅上没有显著差异。这一假设未获支持。
假设H2e：手势时机的主效应（目标词后）
在目标词后的时间窗内，早期手势条件相对于晚期手势条件产生了一个适度的类N400正走向效应，表明早期手势在一定程度上促进了目标词的后期加工。
假设H2f：手势时机与话语可预测性的交互作用（目标词后）
早期手势在可预测话语条件下与晚期手势在可预测话语条件下的N400波幅差异未达到显著性水平。这一假设未获支持。
探索性后续分析
在不可预测话语条件下，晚期手势诱发的N400波幅显著大于早期手势，进一步支持了当话语预测性低时，早期手势能够减轻目标词的加工负荷。
四、讨论与结论
本研究的核心发现表明，早期象似手势对语言理解的贡献是有条件且有限的。具体而言，当话语本身提供的预测信息较弱时，早期手势能够辅助预期加工，表现为目标词前ERP波幅的调制以及目标词后加工负荷的降低。然而，当话语已经具备高预测性时，早期手势并未带来额外显著的预测优势。这一模式与Holler和Levinson（2019）的理论框架基本一致，但揭示了手势作用的语境依赖性。
研究人员在讨论中指出，手势的预测性贡献可能依赖于多个因素，包括手势与目标词之间的时间间隔、手势本身的语义透明度以及话语语境的约束强度。与Fritz等人（2021）的研究相比，本研究采用了更接近自然对话节奏的手势时机（520毫秒 vs. 2秒），这可能解释了为何在本研究中观察到了目标词前的神经调制效应。此外，手势在不可预测语境中的显著作用表明，当语言预测机制处于“待命”状态时，视觉模态的语义信息可以作为一种补偿性资源被调用。
研究结论：在独白式话语中，早期呈现的象似手势能够在语言预测较弱时辅助预期加工，但其效果受到语境的强烈制约，并非在所有情况下都能增强预测。这一发现强调了多模态语言理解中不同信息来源之间的动态交互关系，并为未来研究手势在对话轮流等实时互动中的作用提供了重要基础。
