编辑推荐:
句子层面语调规划与词汇层面音韵编码之间的时间关系仍不明确。韵律优先(Prosody-first)理论预测,抽象语调框架在词汇信息提取之前就已建立,而韵律滞后(Prosody-last)理论则预测语调在词汇信息之后才进行编码。本研究采用脑电图(EEG)结合时间分
句子层面语调规划与词汇层面音韵编码之间的时间关系仍不明确。韵律优先(Prosody-first)理论预测,抽象语调框架在词汇信息提取之前就已建立,而韵律滞后(Prosody-last)理论则预测语调在词汇信息之后才进行编码。本研究采用脑电图(EEG)结合时间分辨多变量模式分析(MVPA),探讨在口语词汇产生过程中语调规划相对于其他语言编码层次发生的时间点。30名荷兰语母语者使用两种不同语调轮廓(疑问句或感叹句)对简单名词的图片进行命名。目标词为双音节荷兰语名词,其生命性、词汇重音以及首音节的发音方式和发音部位均有所变化。研究发现,语调的可解码时间晚于生命性,且与发音部位大致同时。探索性分析显示,对于词尾重音的单词,语调解码的出现时间早于词首重音的单词,这表明语调规划的时间特征受到单词重音模式的塑造。在方法论层面上,这些发现证明,在使用EEG的显性言语产出情境中,语调规划在神经层面是可解码的。对语言产生理论的启示在于,句子层面和词汇层面的韵律在规划过程中密切交互并共同演化,而非独立编码。
语调规划的时间进程解码:基于EEG-MVPA的研究解读
一、研究背景与问题提出
言语产生是一个复杂的认知任务,需要在几百毫秒内协调概念、语言和运动加工过程。语调在言语交流中扮演着核心角色,例如,“猫”这个词用上升的音高轮廓说出时起到疑问句的作用,而用急剧下降的轮廓说出时则成为感叹句。然而,句子层面的语调规划与词汇音韵码提取之间的时间关系仍然很大程度上未知。目前存在两种对立的理论模型:韵律滞后模型(Prosody-Last account),以WEAVER++模型为代表,认为韵律结构是音韵编码中的晚期步骤,在词汇条目被选择后,词汇的音段和重音模式被并行提取,随后在“韵律化”(prosodification)过程中从左到右逐步整合,句子层面的语调被视为附加在已组装好的音韵词之上的后期添加物;韵律优先模型(Prosody-First account)则提出,韵律框架在规划早期就已建立,在音段内容被提取之前作为一个独立的韵律“骨架”发挥作用,并且允许“前瞻”(look-ahead),即高层短语框架能够影响低层音韵元素的实现方式。这两种模型对韵律规划的相对时序做出了相反的预测:韵律滞后模型预测词汇重音应先于语调变得可解码,而韵律优先模型则预测句子层面的语调应早于词汇重音被编码。此外,关于言语产生的传统级联模型(如Levelt等,1999)提出了从概念准备到音韵编码再到发音的顺序阶段,而近年来的平行激活理论则认为概念语义和语音发音信息可能同时变得神经可用。无论这场争论如何,已有研究都未涉及句子层面语调规划在词汇产生时间线中的位置,也未涉及其与词汇重音等其他语言编码层次的神经启动时间的比较。因此,本研究旨在通过EEG结合时间分辨多变量模式分析(MVPA)来填补这一空白。
二、研究设计与核心结论
研究人员招募了30名荷兰语母语者(平均年龄22.33岁,女性26名),所有参与者均为右利手,视力正常或矫正至正常,无色盲或言语障碍。实验采用图片命名任务,参与者需使用两种全局语调轮廓(上升音高轮廓对应疑问句,下降音高轮廓对应感叹句)命名图片,从而创建具有不同语调轮廓的单词语句。语调条件由与图片同时呈现的彩色边框(红色或蓝色)逐试次提示。目标图片名称均为双音节荷兰语名词,在四个语言学维度上正交平衡:生命性(有生命vs.无生命)、词汇重音(词首重音vs.词尾重音)、首音素发音方式(擦音vs.塞音)和首音素发音部位(唇音vs.齿龈音vs.软腭音)。共96个刺激项目,每个项目作为疑问句和感叹句各重复两次,总计384个试次,分为6个block。研究得出以下核心结论:首先,句子层面的语调在言语规划期间可以从EEG信号中可靠地解码,这是首次在显性言语产出任务中证明这一点。其次,语调解码的启动时间晚于生命性(概念语义基准),与发音部位大约同时,早于发音方式,表明语调并未像韵律优先模型预测的那样在音韵编码之前独立建立,而是与语音发音编码同时发生。第三,词汇重音本身在规划期间未能可靠解码,但探索性分析揭示了其与语调规划的交互作用:语调解码在词尾重音单词中显著早于词首重音单词,表明这两个韵律层次在规划过程中密切交互而非独立编码。
三、关键技术方法
本研究采用了以下主要关键技术方法:
- 1.
脑电图记录(EEG):使用标准64通道actiCAP电极帽和BrainAmp放大器,采样率1000 Hz,参考电极置于右侧乳突,接地电极置于前额。
- 2.
多变量模式分析(MVPA):使用MVPA-Light工具箱在Matlab中进行三种互补分析——时间分辨解码(time-resolved decoding)、时间×时间泛化(time×time generalization)和时空搜索光(spatiotemporal searchlight)。分类器采用线性判别分析(LDA),解码性能用Cohen's kappa(κ)量化,并通过5折交叉验证进行评估。
- 3.
聚类置换检验(cluster-based permutation tests):用于组水平统计推断,针对机会水平(κ=0)进行右尾t检验,使用1000次置换,显著性阈值α=0.01。
- 4.
分歧点估计(divergence-point estimation):采用受试者重抽样自助法(subject-resampling bootstrap),对每个维度进行10000次迭代,检测持续偏离机会水平的起始时间点,并计算95%百分位区间作为时间不确定性度量。
- 5.
声学分析:使用Praat软件中的ProsodyPro脚本提取基频(F0)轮廓,通过线性回归拟合F0值随时间的变化,得到F0斜率(半音/秒)作为区分疑问句和感叹句的全局音高轮廓形状指标。
四、研究结果
4.1 行为结果
命名准确率在各语言学维度间无显著差异。反应时分析显示:无生命目标比有生命目标命名更快;擦音起始词比塞音起始词命名更快;感叹句比疑问句产生速度约快20毫秒,这可能反映了上升轮廓更大的运动需求。声学分析确认了语调操控的有效性:感叹句的F0斜率显著为负(下降轮廓),疑问句的F0斜率显著为正(上升轮廓);疑问句的F0范围显著大于感叹句;感叹句的平均强度显著高于疑问句。
4.2 主MVPA分析
生命性是最早可解码的语言学维度,在图片呈现后141毫秒出现显著高于机会水平的解码聚类,分歧点估计的95%置信区间为111-151毫秒,时间泛化矩阵显示初始对角线模式约在150毫秒出现,约300毫秒后转变为更广泛的方形泛化模式。语调在358毫秒后出现显著解码聚类,分歧点95%置信区间为225-465毫秒,时间泛化矩阵显示了两个部分可分离的泛化区域,可能暗示语调规划的两个重叠神经阶段。发音部位在468毫秒后出现显著解码聚类,分歧点95%置信区间为231-548毫秒。发音方式在618毫秒后出现显著解码聚类,分歧点95%置信区间为448-781毫秒,时间泛化矩阵显示出稳定的方形泛化模式。词汇重音直到892毫秒(约在平均言语起始后18毫秒)才出现显著解码聚类,表明其在规划期间不可靠解码,因此被排除在分歧点估计和成对启动比较之外。
4.3 启动时间跨维度比较
基于自助法的成对比较显示:生命性显著早于所有其他维度(早于发音方式307-643毫秒,早于语调87-327毫秒,早于发音部位87-423毫秒);发音方式显著晚于发音部位(23-533毫秒)和语调(47-480毫秒);发音部位与语调之间的启动差异不显著(-203至240毫秒)。这表明存在一个序列时间顺序:语义信息最早可解码,其次是发音部位和语调大约同时出现,发音方式最晚出现。
4.4 探索性交互分析:词汇重音子集内的语调解码
由于词汇重音在规划期间未能产生可靠解码,研究人员在两个词汇重音子集中分别进行了语调解码。词首重音子集中,语调解码在645毫秒后出现显著聚类,分歧点95%置信区间为478-751毫秒,时间泛化矩阵从约600毫秒开始出现广泛泛化。词尾重音子集中,语调解码在515毫秒后出现显著聚类,分歧点95%置信区间为238-648毫秒,时间泛化矩阵从约200毫秒起就存在泛化,且包含两个部分可分离的区域。成对比较显示两个子集之间存在显著差异,词尾重音单词的语调解码显著早于词首重音单词(差异的95%置信区间为3-433毫秒)。
五、讨论与结论总结
讨论部分指出,本研究首次证明句子层面语调规划在显性言语产出任务中可从EEG中解码。语调解码的启动时间紧随概念语义(生命性)之后,与发音部位大致同时,早于发音方式,这一模式与韵律滞后模型的预测更为一致,而非韵律优先模型所预期的语调先于音韵编码。词汇重音虽未直接解码成功,但其对语调解码时序的调节作用表明,句子层面和词汇层面的韵律在规划过程中密切交互并共同演化,这符合Shattuck-Hufnagel(2015, 2019)提出的框架,其中两个韵律层次在规划过程中相互提供信息,词汇层面属性有助于全局韵律框架的渐进式细化。研究还讨论了语调解码曲线单调递增的特征,这可能反映了语调模板规划与言语运动执行的双重贡献,以及颜色线索带来的额外认知需求对分类器性能的增强作用。关于词汇重音未能解码的原因,研究人员认为可能与本研究较少的重复次数以及语调操控对共享音高维度的“掩蔽”效应有关。研究结论为:句子层面和词汇层面的韵律在规划过程中并非独立编码,而是紧密交互并共同演化,这一发现对言语产生理论具有重要意义。