摘要:言语中声学调制的时序规律性已被证实有助于加工处理。先前研究发现,规律性有助于听者预期即将到来的言语时间点,使其能够形成加速下游加工的时间预测。当前研究将该证据拓展至交际互动领域:尽管已有研究描述了节奏性伴随话轮转换出现,但尚无证据表明这种节奏性确实在行为层面促进话轮转换。在一项包含89名参与者的行为研究中,研究人员发现,话轮边界前幅度调制(AM)与频率调制(FM)的周期性能量增加与更短的反应时(RT)相关。此外,研究人员发现,参与者对句子感知节奏性的评分能够预测对该句子的反应时。本研究为节奏性在协调和加速交际中话轮转移方面的特殊作用提供了实验支持。
关键词:话轮转换(Turn-taking);夹带(entrainment);音节速率(syllable rate);节奏性(rhythmicity);对话(conversation)
论文解读
一、研究背景与问题提出
话轮(turn)是会话的基本单位(Sacks et al., 1974)。获得话轮即取得在对话中发言的权利,是确保自身意见被听见的关键。话轮转换看似毫不费力,因其时间精度往往很高,但这一精度背后隐藏着复杂的神经认知过程(Levinson & Torreira, 2015)。听者需要并行处理多项任务:在聆听当前说话者的同时,识别适合接话的时机——判断当前话轮何时结束(B?gels & Torreira, 2015, 2021; Corps et al., 2019),规划自身话语(Barthel & Sauppe, 2019; B?gels et al., 2015),并准备发声的运动系统(B?gels & Levinson, 2023; Krause & Kawamoto, 2021)。这些任务共享大量认知资源(Corps, Gambi, et al., 2018; Levinson & Torreira, 2015)。该过程的紊乱会导致话轮重叠或话轮间出现较大间隙,这些现象可能被负面解读(Kendrick & Torreira, 2015; Roberts et al., 2011; Stivers et al., 2009),进而导致不利的社会后果。最终,未能及时接话意味着被排除在对话之外。
话轮转换成功的前提是对即将到来的转换相关位置(transition-relevance place)的精确估计(Levinson & Torreira, 2015)。话轮转换的时间精度因此很可能依赖于听者的预测能力。言语声学中的细微线索,如音节延长、与语调短语边界相关的音高运动(B?gels & Torreira, 2015, 2021; Cutler & Pearson, 1986)以及音质变化(Ogden, 2001),均预示即将到来的话轮结束(Gravano & Hirschberg, 2011)。然而,这些线索在话轮中出现得过晚,是否足以用于话轮结束投射尚存争议(De Ruiter et al., 2006)。B?gels和Torreira(2015)发现,短语长度的韵律线索并非在话轮早期出现,而仅以末尾延长和最后音节上的音高运动形式出现。但在话轮结束估计任务中,这些韵律线索的缺失会延迟反应,而它们在非边界语境中的出现则导致显著更多的"虚报"。因此,韵律边界的晚期线索可能与词汇语义线索及话轮结束的语用标记相互作用,与早期规划共同促成话轮结束估计和平稳的话轮转换。
一个可能的补充机制是言语中声学线索的时间分布,即节奏性(rhythmicity),它可能是预测即将到来的刺激时间的关键。已有理论提出,传入的音节流构成了对话中话轮转换机会时间预测的基础(Garrod & Pickering, 2015; M. Wilson & Wilson, 2005)。基于对话分析中关于说话者话轮间停顿长度的研究(T. P. Wilson & Zimmerman, 1986),M. Wilson和Wilson(2005)认为说话权在对话者之间循环传递,导致沉默长度分布不均。关键在于,他们主张成功的话轮转换不仅基于知道话轮即将结束,更具体地基于知道接话机会何时到来。这种对话轮结束的预先投射通过一种振荡机制实现,该机制基于音节速率在听者与说话者之间同步(Garrod & Pickering, 2015)。
基于振荡器的感知理论模型普遍认为,当自然信号以规则间隔出现时,注意力可以被预测性地导向相关的未来时间点(Lawrance et al., 2014; Nobre & Van Ede, 2018)。在预测的刺激时间点,阈值检测、时长或音高估计方面的感知能力得到增强(Jones et al., 2002; McAuley & Jones, 2003; Neuling et al., 2012; Solli et al., 2025)。在声学领域,尤其是言语领域,自然发生的规律性已被发现有助于加工。对规则线索刺激的反应时一致地更短(Herbst et al., 2022; Rimmele et al., 2011; Stefanics et al., 2010)。当呈现规则的韵律轮廓时,听者可以对后续句子的长度形成预测,这体现在对意外句子长度产生更长的反应时(Lamekina & Meyer, 2022)。
认知神经科学的结果表明,这种利用规则声学线索进行时间预测的机制可能依赖于同样规则的神经电生理机制:即所谓的神经振荡夹带(entrainment)。Delta频段(<4 Hz)和theta频段(4–8 Hz)的振荡不仅与言语中的规则声学线索同步,而且会以先前听到的言语的节奏继续振荡,从而促进对即将到来的刺激的加工(Arnal & Giraud, 2012; Hickok et al., 2015)。具体而言,规则刺激的行为锐化效应由兴奋性过程驱动,这些过程将注意力转移到该流中的事件上(Calderone et al., 2014; Henry & Obleser, 2012; Lakatos et al., 2008)。例如,研究团队发现,由韵律轮廓引发的同步神经活动在声学线索结束后持续存在,甚至传播到其他模态的加工区域以辅助预测(Lamekina et al., 2024)。
尽管并非所有会话言语都足够有节奏以提供所提出的机制所需的规律性(Bull, 1995; Cummins, 2012),观察性研究表明节奏性存在于话轮边界处:成功的话轮转换往往与跨越话轮边界(即跨越说话者)持续的重读与非重读音节的感知节奏模式相吻合(Auer et al., 1999; Couper-Kuhlen & Selting, 1996)。在一项关于问答序列的语料库研究中,79%的问题表现出规律的基础频率调制,这些调制延续到对方回答的73%中(Ogden & Hawkins, 2015)。根据进一步的语料库研究,重读音节在话轮转换期间比在说话者话轮内部以更规则的间隔到达(Mooney & Sullivan, 2015)。值得注意的是,理论和语料库研究都指向规律性或节奏性在话轮转换协调中的作用,使其成为话轮协调研究的一个有前景的方向。然而,在基于振荡器的话轮转换理论与指向话轮转换周围言语规律性增强的观察证据之间,尚缺乏桥接工作。
本文因此试图填补这一空白,探究话轮边界前言语的节奏性是否在行为层面加速话轮转换。研究人员设计了一个"猜人物"(Guess the person)游戏范式,严格控制刺激话语的句法、语义和韵律内容,但其他方面模拟自然交互。参与者的任务是对屏幕上前方人物相关的提问进行回答。研究提出了两个假设:第一,包络在音节层面具有更多周期性能量的刺激句将获得更快的反应;第二,考虑到先前研究结果表明韵律轮廓速率的规律性可以影响行为,研究人员也预期包络较低频率的周期性能量对解释反应时具有一定效力。此外,研究还通过评分研究探索感知节奏性对反应时的预测作用。
二、研究设计与技术方法
研究包含两个实验:话轮转换行为实验和评分研究。
行为实验共招募89名以德语为母语的参与者(年龄18–35岁,平均26.6岁,标准差4.97岁;64名男性,25名女性),分三批数据采集完成。所有参与者均为右利手,无神经损伤、言语语言障碍、听力缺陷,视力正常或矫正至正常。参与者通过Prolific平台招募,每小时获得12欧元报酬。其中一名参与者的实验数据因技术问题不完整而被排除。评分研究招募了来自同一参与者库的30名参与者(22名男性,6名女性,1名其他),年龄19–35岁(平均27.09岁,标准差4.23岁),其中15人已参加过行为实验。
刺激材料方面,研究人员设计了120个刺激句,每个句子询问人物的一个身体属性(如"你的人物戴帽子吗"或"这个人是金发吗")。句子长度为6–8个音节,以控制句子长度,同时足以建立节奏模式且仅包含一个韵律短语。为避免句子长度可预测性,另外设计了120个长度可变(3–5和9–12个音节)的填充句。所有刺激句由一名以德语为母语的男性说话者在安静录音环境中预先录制,使用Rode Procaster麦克风,以48 kHz采样率和24位幅度分辨率数字化。句子以快速但清晰可懂的速度朗读。句末的韵律标记(如语调轮廓和音质变化)被移除,具体方法是在Praat中使用Overlap-add合成将最后两个音节的音高重合成到句子的平均音高。刺激句和填充句的平均时长为1302 ms(标准差318 ms),平均语速为每秒5.95个音节(标准差0.75)。非填充句平均长度为1190 ms(标准差115 ms),平均语速为每秒6.05个音节(标准差0.55)。句子平均音高为90.80 Hz,平均音高范围为37.46 Hz(标准差10.32 Hz)。
行为实验程序:参与者玩"猜人物"游戏,仅担任回答角色。他们看到游戏伙伴需要猜测的人物图像显示在灰色屏幕上方,人物姓名显示在下方,数字对话者就显示在屏幕上的该人物提问。图片在整个实验过程中可见,仅在人物被猜出后更换。问题为预先录制并通过电脑扬声器播放。参与者被指示快速回答,但不打断对话者。他们通过键盘按键回答。按键在整个刺激呈现期间及句子结束后最多四秒内均可进行。实验共包含270个问题,以每人11或12个问题的块呈现,共24个人物,人物之间提供休息机会。实验使用PsychoPy环境准备并由Pavlovia在浏览器中托管。研究获得莱比锡大学伦理委员会批准(申请编号060/17-ek)。
评分研究程序:参与者听取每个刺激句,并沿四个七点李克特量表(Likert scale)进行评分:旋律优美(melodious)、和谐(harmonious)、有节奏(rhythmic)、洪亮(sonorous)。这些量表是Scharinger等人(2023)所用量表的子集。量表在极端处标注,1对应"完全不",7对应"非常"。量表在试验内和参与者间的呈现顺序进行了平衡。
节奏性分析:研究人员从刺激句的原始音频中提取幅度包络(amplitude envelope)和基础频率(fundamental frequency, F0)时间序列。幅度调制(amplitude modulation, AM)在音节速率的言语夹带中起关键作用,频率调制(frequency modulation, FM)即音高轮廓,是韵律短语节奏夹带的关键。AM提取采用一种通过测量周期性能量产生类似包络信号的方法。音高轮廓使用Praat的自动相关算法提取(时间步长0.001,采样率1 kHz,下限50 Hz,上限300 Hz)。为量化每个刺激句的AM/FM节奏性,研究人员在R中对零填充的AM和FM轮廓进行快速傅里叶变换(Fast Fourier Transform, FFT),然后在音节速率±1 Hz的频带内提取AM和FM频谱的幅度,以考虑测量误差、节奏变化和频谱不确定性。由此产生的节奏性指标是每个句子在音节频率处的功率谱密度(power spectral density, PSD)指数。事后分析中,研究人员提取了1–9 Hz所有0.5 Hz宽频带的功率谱密度,以捕捉句子内更广泛的周期性范围。
感知节奏性指标基于李克特量表评分。研究人员使用因子分析将四个量表的反应浓缩为单一的感知节奏性指标。Bartlett球形检验(df=6, χ2=20060.24, p=0)表明数据适合因子分析。Kaiser-Meyer-Olkin检验显示整体抽样充分性为0.84,各量表均值充分性为:rhythmic 0.9,harmonious 0.80,sonorous 0.89,melodious 0.79。最优因子数为1,并经平行分析确认。量表内部一致性极佳(α=0.912),研究人员使用第一因子的载荷计算每个刺激句的聚合分数。各量表载荷为:rhythmic 0.78,harmonious 0.9,sonorous 0.81,melodious 0.92。
行为数据分析:研究人员使用lme4包拟合线性混合模型(linear mixed model, LMM)。采用"保持最大"方法构建模型。固定效应包括节奏性的主效应以及语速、句子长度和关键词起始时间(key word onset)等干扰变量。语速和句子长度可交互作用。随机效应包括参与者和刺激句的随机截距和随机斜率。由于模型对所有节奏性预测因子均未收敛,研究人员排除了随机斜率但保留其余部分。因AM和FM指标高度共线(r=0.64),研究人员分别拟合AM和FM节奏性模型。通过偏差分析检验节奏性是否显著改善模型,p值使用report包计算。研究人员使用皮尔逊相关系数检查声学和感知节奏性指标之间的共线性。当模型违反假设时,使用lmerresampler包的自举方法估计固定效应的稳健性。
三、研究结果
3.1 AM和FM节奏性
"猜人物"游戏的平均准确率为92.6%(标准差0.06%),表明参与者正确回答了大多数问题。两名参与者准确率偏离均值超过3个标准差,被排除分析。反应时从每个句子最后一个音节起始计算。反应时超过均值3个标准差的数据作为异常值被排除。异常值缩减后参与者的平均反应时为509 ms(标准差438 ms)。"是"反应比"否"反应快30 ms,标准差相当(是:M=495 ms, SD=443 ms;否:M=0.525 ms, SD=432 ms)。为降低异方差性风险,研究人员对反应时进行自然对数变换。Box-Cox变换确认了这一选择(λ=0.101)。
统计建模显示,AM节奏性显著预测对刺激句的反应时(β=?0.01, SE=0.003, p<0.001)。由于因变量为对数变换,该效应量表示比例变化。模型预测预测变量每增加一个单位,反应时减少1%。外推至预测变量的整个范围(AM节奏性范围2–31),模型估计高度节奏性刺激相比非节奏性刺激反应时减少25%。模型比较显示完整模型比简化模型解释更多方差(df=1, χ2=19.263, p<0.001)。句子时长、语速及其交互在简化或完整模型中均未达到显著性。关键词起始时间也未观察到显著的负效应。
同样,FM节奏性对反应时表现出显著的负效应(β=?0.008, SE=0.002, p<0.001)。关键词起始时间、句子长度、语速及交互项均未达到显著性。模型比较显示包含FM节奏性的完整模型比不包含该预测因子的模型解释更多方差(df=1, χ2=14.835, p<0.001)。
模型诊断图显示轻微异方差性,极端处方差更大;线性性检查中线条基本平坦水平,仅在预测因子范围两端(数据点相对较少处)略有弯曲;随机效应误差呈正态分布,但残差的QQ图显示重尾分布。因此,研究人员使用lmerresampler包进行残差自举(1000次迭代)。结果显示声学节奏性的效应在残差重采样下非常稳健(AM节奏性:95%自举CI [?0.020, ?0.008], SE: 0.003;FM节奏性:95%自举CI [?0.012, ?0.004], SE: 0.002)。自举置信区间对两个效应均排除零,表明即使在非正态残差下,关于主效应的推断仍然有效。
为确认观察到的效应特定于先验定义的调制频率,研究人员测试了1–10 Hz之间其他AM/FM频率的周期性是否影响反应时。对每个0.5 Hz宽频带,计算与主分析相同的线性混合模型。使用Benjamini-Hochberg程序计算错误发现率(false discovery rate, FDR)以校正多重比较,α=0.05。跨频率而言,AM节奏性的效应在约5.5–6 Hz处最为显著,这最接近刺激集的音节速率。该效应为负,因为观察的是反应时减少。此外,约1.5 Hz处幅度调制存在正效应。FM调制的效应峰虽不如AM明显,但在校正多重比较后约4.5 Hz处效应显著。
研究人员比较了三个采集子集的平均反应时和标准差。三个子集的反应时非常相似(子集1:M=555 ms, SD=458 ms;子集2:M=494 ms, SD=359 ms;子集3:M=499 ms, SD=454 ms)。使用emmeans包进行配对比较显示,仅子集1和3在反应时上显著不同(β=0.078, SE=0.015, p<0.001)。研究人员还在三个参与者子集上运行了AM节奏性模型,以了解效应是否跨实验泛化。结果确实如此,三个子集中均发现声学节奏性的显著效应(子集1:β=0.01, SE=0.003, p<0.001;子集2:β=0.01, SE=0.002, p<0.001;子集3:β=?0.01, SE=0.003, p<0.001)。
研究人员还建模了最后音节长度对反应时的影响,预期较长音节导致更快反应。模型未显示最后音节长度对反应时有显著效应(β=?0.26, SE=0.39, p=0.498)。
3.2 感知节奏性
感知节奏性的建模与声学节奏性类似。研究人员在线性混合模型中发现感知节奏性对反应时有显著主效应(β=?0.54, SE=0.16, p<0.001)。在评分研究中被参与者评为更有节奏的句子在行为研究中获得更快的回答。语速、句子时长和关键词起始时间等其他预测因子在该模型中未达到显著性。自举模型显示置信区间排除零(95%自举CI [?0.86, ?0.25], bias: 0.002)。
为探索个体差异是否影响对刺激的反应时,研究人员单独分析了15名同时参与行为和评分研究的参与者的评分。参与者的个体李克特评分未显著预测其在行为实验中的反应时(β=?0.02, SE=0.01, p=0.011)。该结果应谨慎对待,因为研究人员将缩放的李克特评分作为连续变量建模。
研究人员对声学和感知节奏性预测因子之间的潜在关系进行了相关分析。然而,感知节奏性评分与计算的声学AM节奏性指数无显著相关(r(238)=.04, p=.512),与FM节奏性指数也无显著相关(r(238)=?.02, p=.800)。同时包含感知节奏性和声学节奏性预测因子的模型显示两者对反应时均高度预测(p<0.001)。
四、讨论与结论
4.1 声学节奏性
在实验设置范围内,结果表明说话者可能利用句子层面的声学节奏以低延迟接话。参与者虽未进行自然对话,但确实从数字对话者处接过了话轮,且在前一句节奏性更明显时接话更快。数据支持更有节奏的句子获得更快反应时这一假设。AM和FM节奏性均导致更短的反应时。AM节奏性收益更为显著,其潜力可使反应时减少25%。由于刺激在专业环境中以一致语调和节奏录制,这可能低估而非高估自然言语中存在的完整节奏性范围。因此,节奏促进在自然对话中减少话轮间隙的潜力可能更高。
这一发现补充了表明节奏性交流是成功话轮转换标志的观察性研究。节奏甚至似乎跨越间隙持续:听者在转换到自身节奏前会遵循前一位说话者建立的节奏。由于接近话轮转换的话语被观察到比其他话语更有节奏,可以假设这些发现有助于理解话轮间隙为何如此之短:节奏性增加可预测性,因此可能允许听者及时开始其话语。这可能是人类互动中合作的重要特征。
事后分析表明,节奏性的显著效应主要见于音节频率处。这证实了声学节奏性指标测量的是音节速率的节奏性,而非信号的总体周期性。音节的特殊作用对M. Wilson和Wilson(2005)及Garrod和Pickering(2015)提出的话轮转换模型至关重要。研究在行为数据中发现正是音节的规则节奏导致更快的反应,为这一观点提供了一定支持。参与者可能已夹带于刺激中固有的节奏,辅助预测可能的转换完成点。然而,该解释应谨慎对待,因为行为结果未显示反应与音节节奏对齐或双峰聚类的证据,正如M. Wilson和Wilson(2005)所预测的。尽管如此,类似预测过程已在其他基于时间的任务和涉及自然语言的任务中发现。
除音节层面的节奏性外,事后分析发现FM节奏性在高delta频段(约4.5 Hz)存在显著效应。跨频带效应量比较显示FM调制的曲线峰度较AM节奏性减弱。FM调制源自音高轮廓,其携带更多关于重读与非重读音节交替而非单个音节的信息。节奏信息因此也可能源自语调短语内的重读-非重读节奏,在音节节奏之外提供额外的节奏同步机会。事实上,语料库工作中话轮转换附近发现的节奏序列常采取规则重读音节的形式。结果表明,关于节奏性如何影响话轮转换的模型不应仅关注音节节奏性,还应考虑其他节奏来源。感知节奏性对反应时影响的证据进一步支持这一点。
4.2 感知节奏性
除声学节奏性外,感知节奏性与对刺激的反应时相关。据研究人员所知,这是行为研究中尚未报道过的新效应。先前研究确实讨论会话节奏性和对齐作为人际交流成功的衡量标准。同样,在实验设置中,听者将更有节奏的交流评为更合作。言语障碍如构音障碍及其对言语节奏的不利影响可降低会话对齐和交际效率。然而,研究结果并不直接说明节奏性及其与对话成功的关系,而是观察到与快速反应时的相关性,这是成功对话的另一个指标。结果仍可能表明这两个测量之间存在联系,尽管不清楚是因果关系还是共现关系。问题在于刺激发生后有意识报告的节奏性判断在多大程度上反映了一种必须在通过反应时测量的行为反应之前启动的认知机制。
一种解释是感知节奏性与反应时之间的相关性表明因果影响,即听者感知到了也提供机制益处的节奏性,正如上文关于声学节奏性的讨论及Scharinger等人(2023)的发现。在该先前研究中,Melody因子(对应本研究评分)的评分与声学信号的自动相关指数正相关。因此,尚不清楚本研究数据中感知和声学节奏性测量缺乏相关性的原因。一种解释是声学分析未捕捉到评分者感知的声学节奏性维度。语音学研究表明,音节的感觉中心(perceptual center, p-center),即说话者被要求按节拍产生言语时与节奏拍对齐的音节部分,与音节的声学峰值不完全时间对齐。刺激因此可能具有p-center间距的规律性,而分析方法无法捕捉。节奏感知也可能由更复杂的节奏结构驱动,如韵律音步和重读音节的对齐。未来研究可探索比直接测量周期性更复杂的节奏性测量。
4.3 局限性与普适性
实验设计是自然对话与受控实验条件之间的折中。设计旨在有效控制句子时长、语速和相关语义信息等干扰变量。在自然对话中,这些因素影响可预测性,促进话轮转换。例如,韵律短语的时长与句子时长高度相关,被用作预测线索。自然言语中的韵律短语具有足够的节奏性以实现这一点。因此,时长可能对话轮转换表现有影响,使得难以分离AM和FM节奏性的效应。当然,这种人工环境可能导致对可用AM和FM线索的过度依赖,从而高估声学节奏性的效应。
此外,研究人员移除了刺激句末尾的音高轮廓,以控制韵律边界强度对参与者反应的影响。先前研究发现韵律边界的存在帮助听者计时其话轮启动。在问句中,短语末尾词包含更多高边界音调,且比句中词时长更长。Torreira和B?gels(2022)比较了对不含韵律线索、含末尾延长、含晚期边界音调或含早期边界音调刺激的口头反应时,发现每增加一个韵律线索均显著减少反应时,且早期边界音调比晚期音调更快加速反应。在本实验中,移除韵律边界音调可能减少了对参与者可用的边界线索,从而增加了对节奏性线索的依赖。这可能使节奏性效应在实验环境中比在自然对话中更为突出。
结论:研究通过行为实验证明,话轮边界前言语的声学节奏性(AM和FM)以及感知节奏性均与更快的反应时相关。AM节奏性的效应最为显著,在预测变量全范围内可减少25%的反应时。事后频带分析确认效应主要位于音节速率附近(约5.5–6 Hz),同时FM节奏性在高delta频段(约4.5 Hz)也有显著效应。感知节奏性与声学节奏性不相关,但两者均独立预测反应时。研究为节奏性在协调和加速话轮转换中的特殊作用提供了实验支持,填补了基于振荡器的话轮转换理论与观察性证据之间的空白。