《Brain and Language》：Visual-linguistic cues in manual communication: Neural and behavioral responses to Mouthings in sign-na?ve perception
编辑推荐：
脑电图（EEG）揭示了对手语手势在有无口动（mouthing）条件下不同的神经信号特征。EEG结果显示了与口动相关的早期和晚期神经调节。行为数据显示，准确率和反应速度的提升与词汇促进效应一致。与无界动词（atelic verbs）相比，有界动词（telic v
脑电图（EEG）揭示了对手语手势在有无口动（mouthing）条件下不同的神经信号特征。EEG结果显示了与口动相关的早期和晚期神经调节。行为数据显示，准确率和反应速度的提升与词汇促进效应一致。与无界动词（atelic verbs）相比，有界动词（telic verbs）从口动中获得了更快的促进效应。研究结果支持手语加工中的多模态整合模型。
**论文解读：非手语者对手语口动的神经与行为响应——多模态整合视角下的视觉-语言线索**
**1. 研究背景与问题提出**
人类语言本质上是多模态的，言语感知研究早已证实，听者在面对面交流中会依赖唇读和具象手势等视觉线索（McGurk & MacDonald, 1976）。手语作为丰富的多模态语言系统，同时利用手部（manual）与非手部（non-manual）发音器官传递音系、形态和句法信息（Perniss et al., 2020）。其中，口动（mouthing）——即手语者在打手语时伴随的源自口语词汇的口部动作——已被证明能促进手语理解，例如在不同手语变体或不同手语之间共享相同口语来源时（Sáfár et al., 2015; Stamp et al., 2016）。然而，已有研究多聚焦于熟练手语者；对于从未接触过手语的“非手语者”（sign-na?ve participants），口动是否以及如何影响其对未知手语手势的加工，尚不明确。此前研究表明，非手语者能够依靠手形和运动动态等视觉特征推断事件结构（如telic/atelic之分）（Strickland et al., 2015; Krebs et al., 2023a, 2023b），但口动作为额外的视觉-语言线索如何与手动线索在时间和神经空间上交互，仍属未知。该研究旨在回答两个关键问题：（1）唇读在非手语者中究竟是作为语言线索还是仅作为一般知觉增强机制？（2）手动（运动学）与非手动（唇读）线索在脑内如何随时间和空间整合？
**2. 研究设计与方法**
研究人员招募了27名听力正常、无任何手语能力、右利手的大学生（平均年龄22.96岁，标准差3.98；21名女性）。实验刺激包含奥地利手语（?GS）和其他四种手语（T?D、LIS、NGT、HZJ）的有界（telic）与无界（atelic）动词。?GS刺激伴有德语翻译的口动（参与者的母语），而多数非?GS刺激不含口动（或口动源自不可理解的土耳其语）。总共144个关键动词刺激，采用二择一事件结构判断任务（telic vs. atelic），并记录行为准确率、反应时和7点置信度评分。EEG从26个电极记录，以目标手形到达目标位置的时间点为零点进行分段。核心统计方法包括：行为数据使用线性混合效应模型（LME）和贝叶斯广义线性混合效应模型（bglmer）；ERP数据采用50毫秒滑窗ANOVA，比较前部与后部感兴趣区（ROI）的幅值差异。为确保ERP时程不受刺激时长混淆，对刺激中手动事件的时间结构进行了成对t检验，确认锁时点在各条件间无系统差异。
**3. 主要结果**
**行为结果**：对于telic动词，口动条件下的准确率显著更高（94.75% vs. 72.33%），反应时显著更快（2040 ms vs. 3106 ms），置信度评分也显著更高（5.67 vs. 3.59）。对于atelic动词同样如此：口动条件准确率89.81% vs. 61.01%，反应时2203 ms vs. 3255 ms，置信度5.48 vs. 3.49。所有主效应均统计显著（p < .001）。这表明，母语口动显著提升了非手语者对未知手语事件结构的判断表现，并且比其他手语刺激条件下的先前研究（Strickland et al., 2015）表现更优。
**ERP结果**：对于telic动词，口动条件相比无口动条件在前部区域所有分析时间窗（0–2000 ms）幅值降低；后部区域在0–50 ms出现口动负向效应，在1350–1850 ms和1900–2000 ms出现口动正向效应。对于atelic动词，前部区域同样在所有时间窗显示口动负向效应；后部在200–300 ms和350–600 ms出现负向延伸，在1850–1900和1950–2000 ms出现局部正向效应。这些早期后部负波（0–50 ms）和晚期后部正波（约1350–2000 ms）被解释为与词汇促进（lexical facilitation）相关的神经机制，而非一般知觉增强。
**4. 讨论与结论**
研究人员指出，非手语者能有效利用母语口动作为视觉-语言线索，这与唇读研究中的预测编码机制（Auksztulewicz & Friston, 2015）一致：早期神经响应反映了视觉唇动线索与内部化的口语音系表征快速匹配。口动条件前部活动减弱，表明无口动时认知控制需求增加；而口动存在时后部活动增强，支持词汇通达的加工负荷转移。Telic动词比atelic动词表现出更早、更强的口动促进效应，这与事件可视性假说（EVH, Wilbur, 2003, 2008）一致——有界事件本身具有内在的终点标记，口动作为额外词汇标签增强了这种显著性；而无界动词则需要更长时间的处理，因此效应较晚。结论部分强调，非手语者通过整合符号性（手动）和语言性（口动）两种汇聚性信息源来理解未知手语，这符合Pulvermüller和Fadiga（2010）的感觉运动整合框架：语言理解根植于分布式动作-知觉回路，即使缺乏正式语言知识，具身机制也能支持多模态语言加工。研究还指出，口动可能为L2手语学习者提供“脚手架”作用，在早期教学中架起口语知识与陌生手语之间的桥梁。局限性在于所有刺激均为视觉呈现，所谓“多模态”指的是激活口语表征而非跨感官整合，未来研究需纳入视听刺激以更直接检验整合机制。
**5. 总结**
该研究通过行为与EEG结合，首次系统证明了非手语者能从手语口动中提取母语音系线索，并利用该线索促进未知手语的事件结构判断。其意义在于：（1）从神经层面展示非手语者如何整合手动与非手动视觉线索，支持手语加工中的多模态整合模型；（2）揭示telicity（有界性）调节口动促进效应的时间动态，深化了对事件结构感知和词汇通达交互机制的理解；（3）为手语教学和基于视觉的语言学习策略提供了潜在应用方向。该研究为“视觉-语言线索”在人类语言感知中的普遍作用提供了新证据，表明唇读不仅是口语加工的辅助，还可跨语言模态地参与词汇和事件结构构建。
