《Cortex》:To what extent do pragmatic cues from disfluencies inform our predictions of spoken language during naturalistic language processing?
编辑推荐:
语言处理因对即将出现的语言内容的预测而得以促进。自然语音充满了具有潜在预测力的不流利现象,然而,不同的语用线索(如犹豫不决的不流利现象)与语义语境在多大程度上被整合以告知预测,目前尚不清楚。在此,研究人员结合脑电图(EEG)、眼动追踪和虚拟现实(VR)技术,探
语言处理因对即将出现的语言内容的预测而得以促进。自然语音充满了具有潜在预测力的不流利现象,然而,不同的语用线索(如犹豫不决的不流利现象)与语义语境在多大程度上被整合以告知预测,目前尚不清楚。在此,研究人员结合脑电图(EEG)、眼动追踪和虚拟现实(VR)技术,探讨在自然主义语言理解过程中,预测性处理如何受到语音中犹豫不决的不流利现象的影响。参与者(n = 64)在虚拟场景中(如办公室、街道)聆听虚拟代理发出的句子,同时记录其眼动和脑电图数据。口语句子根据动词限制分为可预测或不可预测,并在名词短语前包含或不含犹豫不流利现象(“uhh”)。指称物在场景中存在或缺失,以分别与听者的预测保持一致或冲突。在可预测但非不可预测的句子中,在指称物被提及之前,对其的注视增加,这证实了参与者进行了预测。在犹豫开始后,对指称物的注视不再增加,而是转向虚拟说话者。名词出现时的脑电图数据(N400振幅以及alpha和theta频段功率)并未提供证据表明听者在听到犹豫不决的不流利现象后会放弃其预测。相反,这种不流利现象进一步促进了可预测名词的处理,这可能是通过增加注意力和处理时间的机制实现的。
论文解读
研究背景与意义
自然语言处理是一个动态且高效的过程,其核心机制在于大脑能够基于语境对即将出现的语言内容进行预测。然而,自然发生的言语并非完美流畅,其中包含了大量不流利现象(disfluencies),如犹豫(hesitations)、重复和修正。这些不流利现象占据了约6%的语音比例,且在从句层面发生率更高。尽管既往研究表明不流利现象可能通过标记句法结构或增强注意力来辅助理解,但其如何影响听者对后续词汇的预测,尤其是在自然主义语境下,仍是一个悬而未决的问题。既往研究多局限于二维平面视觉世界范式(Visual World Paradigm, VWP),缺乏对三维空间及社交互动因素的考量。为此,本研究由Max Planck Institute for Psycholinguistics的研究团队开展,旨在通过结合脑电图(EEG)、眼动追踪与虚拟现实(VR)技术,在更具生态效度的环境中,厘清犹豫不决的不流利现象究竟是促使听者抑制原有预测,还是通过增强注意力来促进语言加工。该研究成果发表于神经科学领域知名期刊《Cortex》。
关键技术方法
研究人员采用2 × 2 × 2被试内设计,变量包括可预测性(predictability)、不流利性(disfluency)和一致性(congruence)。实验在洞穴自动虚拟环境(CAVE)系统中进行,利用3D VR软件Vizard呈现刺激。64名荷兰语母语者参与了实验,他们佩戴SMI无线眼动追踪眼镜,并在头皮上安置64导联actiCAP电极帽以记录EEG信号。听觉刺激为包含特定停顿(“uhh”)的荷兰语句子,视觉刺激为嵌入了六个目标物体的八种虚拟场景(如街道、咖啡馆)。数据分析采用了广义加性混合效应模型(GAMMs)处理眼动数据,利用FieldTrip和R语言进行ERP(N400成分)及频谱(alpha和theta频段功率)分析。
研究结果
1. 眼动结果
分析表明,在动词出现后,可预测句子条件下,参与者对目标指称物的注视比例显著高于不可预测条件,证实了预测效应的存在。然而,当句子中出现犹豫不流利现象(“uhh”)后,尽管可预测条件下的注视优势依然存在,但对目标物的注视增长趋势在犹豫发生后趋于平缓,而参与者的视线则显著更多地转向虚拟说话者。这表明不流利现象改变了即时的注视策略,而非完全消除了预测。
2. ERP结果
针对名词 onset 的分析显示,在一致性与可预测性的主效应上,N400振幅未表现出显著差异。这与以往经典VWP研究结果有所出入,研究者认为这可能是因为不可预测的指称物实际存在于视觉场景中,其视觉特征的激活辅助了语义整合,从而削弱了N400效应。
3. 频谱分析结果
时频分析揭示了显著的效应。首先,约束性动词(constraining verbs)引发了比非约束性动词更强的alpha(7-11Hz)和theta(4-6Hz)频段功率增加。其次,对于名词处理,不可预测名词相比可预测名词引发了更高的alpha和theta功率,反映了更多的语义处理需求。最重要的是,在差异中的差异分析(difference in differences analysis)中,研究发现不流利现象并未削弱可预测性对脑电活动的调节效应。相反,在可预测句子中,不流利现象后的名词引发了比流畅句子更低的theta功率,表明处理负荷降低。
结论与讨论
综合行为(眼动)与神经生理(EEG)证据,本研究得出核心结论:犹豫不流利现象并不会导致听者放弃或抑制其基于语境建立的预测。相反,这种语用线索起到了增强注意力和延长处理窗口的作用,从而使得听者能够更有效地整合并处理随后的可预测信息。这一发现挑战了“不流利现象预示着低概率或困难词汇”的传统观点,支持了注意力增强假说。该研究的重要意义在于,它首次在三维虚拟现实中结合多模态神经影像技术,证明了在自然主义语言处理中,语用线索与语义预测是协同工作的,这为理解人类在复杂现实环境中的高效语言理解机制提供了新的实证依据。