新生儿的语言辨别能力可能并不反映其对语音节奏的敏感度:来自计算建模的证据

《Developmental Science》:Newborns' Language Discrimination May Not Reflect Sensitivity to Speech Rhythm: Evidence From Computational Modeling

【字体: 大 中 小 】 时间:2026年05月13日 来源:Developmental Science 3.2

编辑推荐:

  **摘要** 人类新生儿能够区分某些语言,但无法区分其他语言。这种能力长期以来被认为与对节奏的敏感性有关——即不同语言语音中的时间规律性。在这里,我们通过一系列计算模拟证明了这种区分行为可以在完全不使用时间信息的情况下实现。我们的结果表明,早期语言区分可能与语音节奏无关,并呼吁

  **摘要**

人类新生儿能够区分某些语言,但无法区分其他语言。这种能力长期以来被认为与对节奏的敏感性有关——即不同语言语音中的时间规律性。在这里,我们通过一系列计算模拟证明了这种区分行为可以在完全不使用时间信息的情况下实现。我们的结果表明,早期语言区分可能与语音节奏无关,并呼吁对婴儿在生命最初几个月内如何学习超音段信息进行理论上的重新思考。

我们使用机器学习模型在自然语音刺激上模拟新生儿的语言区分能力。这些模型能够像新生儿一样区分语言,即使去除了节奏信息。这意味着婴儿的行为可能依赖于他们感知语音全局属性的能力,而不是节奏。我们的结果挑战了关于新生儿如何感知语音以及这种感知如何影响后期语言学习的理论。

**1. 引言**

人类新生儿能够区分某些语言,但无法区分其他语言。这一现象长期以来被认为是由于他们对语音节奏的敏感性——即元音和辅音的有组织的时间结构(Mehler等人,1988年;Moon等人,1993年;Nazzi等人,1998年)。尽管早期语言区分与语音节奏之间的关系从未被明确测试过,但这种假设的联系已经极大地影响了语言习得的理论。人们假设首先掌握的是母语的时间规律性,这有助于后续的学习,如词切分(Jusczyk等人,1999年)和句法结构,这一理论被称为韵律自举假设(Nazzi和Ramus,2003年)。由于对语音节奏的敏感性是语言习得理论的基础,因此了解婴儿是否确实对语音节奏敏感至关重要。尽管普遍认为新生儿的语言区分依赖于对语音流中节奏的敏感性,但现有数据也支持其他可能的解释。在这里,我们关注新生儿区分能力可能反映的是对语音信号全局和分段声学属性的敏感性。与必须从语音时间序列的精确顺序中推断出的节奏不同,全局属性可以通过平均短的分段信息来计算,而不需要任何时间顺序的信息。已经众所周知,语音中存在一些与节奏类别相关的全局属性,例如元音持续时间的平均百分比(%V)和辅音持续时间的变异性(C)(Ramus等人,1999年)。对于婴儿被测试的语言对,这些是唯一直接与婴儿语言区分相关的声学指标。然而,目前尚不清楚这些全局属性本身是否足以解释婴儿的区分能力,而且大多数之前测量这些属性与节奏类别相关性的研究仍然假设人类敏感的是节奏属性,而不是全局属性(Ramus等人,1999年;Dominey和Ramus,2000年;Langus等人,2017年)。在本文中,我们展示了可以在不使用任何节奏信息的情况下模拟早期语言区分。我们使用了从声学层面到通过几种不同的语音感知模型派生的更高层次表示的语言区分模拟,使用了完整的语音以及经过处理以去除其节奏结构的语音。我们展示了所有这些跨越语音特征和模型的表示都能定性地模拟婴儿的区分行为,这意味着婴儿在区分语言时可能依赖于全局属性,而不是节奏。这对围绕节奏及其跨语言差异的早期语言学习理论具有重要意义。首先,我们提供了支持婴儿对节奏敏感性的证据以及对该理论存在的挑战的背景。然后,我们概述了用于模拟的框架和模型。接下来的部分展示了在自然语音和低通过滤语音上的模拟结果,表明各种模型和表示(是否有节奏信息)都可以捕捉到新生儿的语言区分行为。最后,我们讨论了这些结果对语言习得理论的影响以及它们与其他关于婴儿对节奏敏感性的证据的一致性。

**2. 婴儿语言习得中的节奏**

已知新生儿就能区分某些语言,但无法区分其他语言(Mehler等人,1988年;Nazzi等人,1998年;Ramus,2002年)。在这些实验中,婴儿接触一种语言的发音,这些发音通过实验室中的扬声器播放。当语音流切换到另一种语言时,婴儿可能会注意到这一变化,他们的反应表现为对奶嘴的吮吸频率增加。吮吸频率的显著增加表明两种语言之间的区分是成功的。已知婴儿可以区分某些语言对,例如英语和日语,但不能区分其他语言对,例如英语和荷兰语(Nazzi等人,1998年)。迄今为止,对于语言区分特异性的主要解释是,当这两种语言在节奏上不同时,婴儿才能进行区分,节奏是指语音流中元音和辅音的有组织的时间结构(Ramus等人,1999年;Nazzi和Ramus,2003年)。此外,为了确保婴儿在区分过程中不依赖于分段或词汇信息,在行为研究中通过低通滤波(Nazzi等人,1998年;Ramus,2002年)或重新合成(Ramus和Mehler,1999年;Ramus,2002年)来操纵语音流,其中分段信息被替换为相似类别的合成声音(例如,将所有摩擦音替换为/s/)。这些操作去除了关于音素类别和单词的精细频谱信息,并在一定程度上控制了不同语言之间的音素库差异。即使在经过这种重度处理后,语言区分的持续性表明婴儿对处理后剩余的语音流内容敏感,这被假定为节奏(Nazzi和Ramus,2003年)。然而,即使在经过处理的语音中,也保留了与节奏不同的语言特定线索。如前所述,两个已被证明与人类区分结果相关的统计指标%V和C(Ramus等人,1999年)是全局统计指标,可以在不访问分段时间序列的情况下计算得出。这些语言之间的全局差异很可能源于与时间相关的音系属性,例如元音持续时间(Ramus等人,1999年)和音节结构(Langus等人,2017年)。例如,英语等语言中更复杂的音节结构会使某些音节的持续时间比日语等简单音节结构的语言长得多。复杂的音节结构反过来也会影响分段声学,因为辅音群(如“str”)只有在具有复杂音节结构的语言中才会存在。虽然这些全局属性可能与语言的节奏在很大程度上共变,但文献中广泛假设婴儿对生成这些全局统计的数据流的时间结构(即节奏)敏感,而不是对全局统计本身敏感。这两种信号携带类似的信息,但它们对于理解婴儿关注语音信号中的哪些线索有不同的含义。在习得理论中,有人假设后期习得,例如词切分(Jusczyk等人,1999年)和双语婴儿中的音素类别(Sundara和Scutellaro,2011年)是基于对节奏的敏感性,因此理解婴儿的敏感性是对节奏还是其他全局属性也有助于理解婴儿如何进行后续学习。此外,在通过模拟复制婴儿语言区分的计算模型中,通常也在没有对照测试的情况下得出结论,认为计算模型成功感知了“节奏”。例如,在Dominey和Ramus(2000年)的研究中,一个小型连接主义模型被训练来区分各种语言的标注语音。该模型的区分行为与新生儿的一致,这被认为是进一步证据,表明人类区分也是由局部时间规律性驱动的,即使没有包括时间信息的控制。此外,在Carbajal等人(2016年)的研究中,当一个基于聚类的模型在原始语音上显示出与人类预测一致的语言区分结果时,模型的成功被归因于通过特征工程提供给模型的时间规律性的学习。在这两种情况下,都假设计算模型使用节奏来进行语言区分,但这一假设从未经过测试。虽然韵律自举假设认为对语音节奏的敏感性是后期语言发展的前提,但来自不同领域的证据对此提出了挑战。首先,对语言节奏的知识在语言之间的不同发展阶段出现(Mazuka,2007年)。例如,虽然学英语的婴儿早在7.5个月时就表现出对重音线索的使用(Jusczyk等人,1999年),但在4岁的日本儿童中并未出现使用音节作为整体音系单位的现象(Kubozono,2000年)。这使得驱动早期语言区分的线索如何与语言发展相互作用变得不明确。在发音方面(Grabe等人,1999年;Payne等人,2012年;Polyanskaya和Ordin,2015年),学英语的儿童发出英语的发音具有更类似于意大利语的节奏声学特征,直到他们11或12岁。这引发了关于语言特定节奏的习得是否确实发生在生命的头几个月内,或者是一个持续到成年的过程的问题。最后,关于发展过程中语言区分变化的现有数据很少。正如Gasparini等人(2021年)指出的,在仅有的两项研究(Nazzi等人,2000年;Johnson和Braun,2011年)中,各自的结果具有相反的理论含义。此外,由于这两项研究都使用了未经过处理的自然语音,婴儿可能通过依赖任何分段(频谱和时间线索)和超音段(语调和时间)信息的组合来区分语言。因此,这些实证研究并不能提供强有力的证据表明儿童正在习得语音节奏本身。

**3. 模拟早期语言区分**

在我们的模拟中,我们模型化了婴儿语言区分的定性结果。我们专注于非常年幼(3天大)的婴儿(Nazzi等人,1998年)的区分行为,他们的结果启发了针对较大婴儿的语言区分研究以及如韵律自举假设等学习理论。在他们的使用习惯化范式的实验中,他们发现3天大的法国婴儿可以区分英语和日语,但无法区分英语和荷兰语。此外,在另一项实验中,他们研究了婴儿是否可以根据混合语言的节奏是否均匀来区分这些语言的混合。作者发现,只有当语言组在“节奏”特征上均匀时,区分才是可能的。在这里,我们使用一系列计算认知模型模拟了这两项研究。在模拟I中,我们模拟了Nazzi等人(1998年)的实验1和实验2,这些实验测试了两种语言之间的语言区分。在模拟II中,我们模拟了Nazzi等人(1998年)的实验3,该实验测试了根据节奏相似性分组的语言之间的语言区分。

**3.1 模型**

我们研究了三种不同的模型,这些模型生成不同的表示;我们可以将这些模型解释为关于语言区分和一般早期语音感知所使用的认知表示的假设。这些模型从深度学习嵌入到生成聚类算法不等。虽然每个模型都代表了一个关于习得的特定假设(例如,预测编码、生成推理或适应),但它们都被用于模拟人类感知和早期学习(Dominey和Ramus,2000年;Vallabha等人,2007年;Feldman等人,2013年;Carbajal等人,2016年)。因此,我们使用所有这些模型来模拟人类语言区分,以突出我们发现的普遍性。首先,我们使用了基于预测编码的循环神经网络(RNN),其架构比Dominey和Ramus(2000年)的更现代。RNN是向量量化自回归预测编码模型(Chung等人,2020年)的简化版本,该模型可以根据当前和过去的声学特征预测未来的声学特征。我们的网络包含三个循环层,在最后一个循环层之后有一个向量量化步骤(以促进学习)。对于超参数,我们使用的模型每层包含32个隐藏单元,码本大小为16,并且网络可以预测未来的九帧(即90毫秒)。其余的参数选择与Chung等人(2020年)的研究相同。我们检验了训练了10k、100k和500k步的相同模型,以及未经训练的模型(即仅随机初始化),以研究学习对语言区分能力的影响。在实验中,我们使用了RNN第一层的嵌入作为模型的内部表示来测试语言区分能力(见测试程序部分)。其次,我们使用了高斯混合模型(GMM),该模型用于将语音信号的各个帧聚类以发现模式。在认知科学中,类似的模型已被用来模拟早期的语音学习(Schatz等人2021年;Li等人2020年;Matusevych等人2023年)。该模型假设“语音帧的集合”,意味着模型以不依赖于它们顺序的方式处理语音帧,因此模型不考虑时间结构。在我们的模拟中,我们使用了scikit-learn(Pedregosa等人2011年)来训练模型,使用50个高斯分布,通过k-means初始化,并使用期望最大化算法进行训练直到收敛。理论上,该模型可以通过特征工程来增加时间信息,但我们在这里没有这样做。最后,我们使用了Carbajal等人(2016年)提出的i-vector模型。这可以看作是GMM的扩展,在模型训练后,它会在一个低维空间中适应新数据,生成一个称为i-vector的适应结果。这样获得的i-vector可以用作模型对这种新话语的表示。值得注意的是,在Carbajal等人(2016年)的研究中,i-vector模型被直接用来复制人类婴儿的语言区分行为。该模型处理的是经过处理的声学特征:从原始语音计算出梅尔频率倒谱系数(MFCCs),并在此基础上计算出位移差分系数(SDCs),使得特征能够包含更长时间跨度(200毫秒,而典型的基于频谱的特征仅包含10-30毫秒)的语音信息,这足以包含超音段信息,如单词的持续时间。该模型在区分不同节奏类别的语言(英语和法语)方面表现类似于人类婴儿,但在区分同一语言内的不同节奏(西班牙语和加泰罗尼亚语)时则不然。i-vector模型在这两项研究中的成功归因于它能够访问超过200毫秒的时间信息。在我们的模拟中,我们使用原始特征(包含超音段和音高信息)在新训练和测试语料库中复制了这个i-vector模型。此外,为了验证超音段信息是否有助于i-vector模型实现类似人类的语言区分能力,我们还模拟了无法访问较慢时间信息的i-vector模型,仅使用音素特征进行训练和测试。在一个版本中,我们只在特征集中保留了MFCCs,不包含时间特征或音高信息(“MFCC”模型)。在另一个版本(“频谱图”模型)中,为了进一步去除频谱信息,我们使用了与其他模型类似的分箱频谱图来提取信息。如果超音段和时间信息对于语言区分是必要的,我们预期MFCC和频谱图模型将无法实现类似人类的语言区分能力。我们使用MSR Identity Toolkit(Sadjadi等人2013年)来训练所有i-vector模型,UBM使用256个簇,i-vector的维度为200。

3.1.1 训练和测试
我们使用法语来训练模型,以模拟新生儿(3天大)的语言暴露情况。对于GMM和i-vector模型,我们使用从Globalphone语料库(Schultz 2002年)中获得的一小部分(1小时)法语数据来训练每个模型,该语料库包含来自四位说话者(两位男性和两位女性)大致相等量的语音数据。对于GMMs,我们使用两种类型的特征进行训练和测试:八维频谱图以及MFCCs(七个MFCCs和一个音高轨道)。对于i-vector模型,我们使用上述四种类型的模型进行训练和测试,以匹配文献中看到的范式。对于RNN模型,由于自监督深度学习算法的数据需求比我们模拟中使用的其他聚类模型要高得多,我们使用从Common Voice语料库(Ardila等人2019年)中随机抽取的100小时子集来进行训练。虽然Common Voice语料库是众包收集的,包含了更多不同录制条件下的说话者数据,但它有足够的数据来训练自监督神经网络。由于原始的RNN模型(Chung等人2020年)和其他深度自监督语音模型一样,是基于频谱图特征设计的,因此我们只使用对数梅尔频谱图来训练RNNs。我们在不同的训练数据上训练了多个模型,以考虑模型之间的差异——GMM和i-vector模型各四个模型,RNN模型五个模型。除了上述模型外,我们还使用声学特征进行了测试,没有进一步的建模。对于这一点,我们使用对数梅尔频谱图以及MFCCs作为信号的表示,并在ABX任务下对其进行测试。

3.1.2 测试程序
我们使用机器ABX任务(Schatz等人2013年;Schatz 2016年)来评估机器的语言区分能力。过去,这种技术已被应用于音素类别(Dunbar等人2019年;Schatz等人2021年)和超音段信息(如语言身份,Carbajal等人2016年)。在我们的案例中,我们应用ABX任务来检验模型区分不同语言的能力。诸如Nazzi等人(1998年)的行为实验使用习惯化-去习惯化范式来测量新生儿的语言区分能力。我们选择机器ABX任务是因为这是一个成熟的模型表示方法,可以用来将模型与人类行为进行比较。这项研究使用的具体行为范式(吸吮或一般习惯化)没有标准化的计算模型,开发这样的模型可能会引入额外的超参数和自由度,这可能会影响模拟结果。机器ABX任务是一个更为保守的评估方法,自由度较少,旨在抽象出任何特定的人类行为范式。机器ABX任务在概念上类似于人类版本的ABX任务,即2AFC任务,人类接收三个标记A、B和X,并被要求决定X更接近A还是B。在机器中,机器选择A还是B的决定基于在模型表示上计算出的距离度量。算法的工作原理如下:在一个试验中,随机抽取话语A、B和X,其中A和X来自同一种语言(例如日语),而B来自另一种语言(例如英语)。然后计算距离d_A-B和d_X-A。如果d_A-B > d_X-A,则认为机器的选择是正确的,因为在机器的表示中X更接近A。距离函数的选择取决于模型的表示。对于GMMs,由于后验概率分布的表示,我们使用了对称化的Kullback–Leibler(KL)散度。对于所有其他模型表示,我们使用余弦距离。对于i-vector模型,由于每个话语只生成一个i-vector,距离度量只涉及上述向量之间的直接距离计算。对于所有其他模型,由于表示是为每个时间帧生成的,我们从每个话语中随机抽取一秒的语音材料并进行动态时间歪曲。动态时间歪曲用于找到两个片段之间的最佳时间对齐。使用动态时间歪曲遵循了机器ABX任务的先前案例(Li等人2020年;Schatz等人2021年),允许通过距离度量逐帧比较时间序列中的特征。在这种情况下,我们使用动态时间歪曲来对齐段落的时间结构,例如音节结构;在打乱的情况下,我们也对不再具有时间结构的序列应用动态时间歪曲,以保持一致性。在我们的实验中,我们使用动态时间歪曲路径上距离的总和而不是平均值,成本值为1。由于我们有大量的话语,我们在每次试验中随机抽取A、B和X,并为每个模型和条件进行了3000次独立抽取,其中两种语言各有一次是正确答案(即1500次抽取)。例如,为了测试英语和日语之间的区分,X的真实值在1500次抽取中分别是英语和日语。ABX错误率是基于所有抽取计算得出的,以表示模型区分语言的能力。较低的ABX错误率表示更好的区分能力,而随机性能为50%。

3.2 特征预处理
所有用于训练和测试的语音材料都是单声道的,采样率为16,000 Hz。从语音波形开始,我们根据文献中的期望输入对其进行多种预处理,以匹配每种模型类型的要求。频谱图被用作每个模型的输入,同时也作为声学特征。从语音波形开始,我们首先使用汉明窗口(窗口长度为25毫秒,跳跃长度为10毫秒)进行短时傅里叶变换(STFT)。然后对复数STFT频谱的幅度进行处理,构建幅度频谱图。接下来,将线性频率轴标定在梅尔刻度上,并将幅度转换为对数,创建对数梅尔频谱图。最后,根据每个话语的基础使用z分数标准化对对数梅尔值进行归一化。为了简化并去除大部分频谱内容,我们仅在対数尺度上使用了八个频率通道。这样得到的低频率分辨率去除了谐波和共振峰等详细信息,这会掩盖了诸如元音身份和音高等详细的频谱信息。图1顶部显示了结果频谱图的一个示例。该频谱图包含了语音的短时频谱信息。由于我们只使用了八个频率通道,频谱图中包含的频谱信息被降级为仅包含粗略的细节,使得细微的频谱差异(如不同元音之间的差异)不太明显,但仍能突出元音与辅音之间的粗略差异。

图1:我们方法中的两种处理方式下的对数梅尔频谱图示例:原始形式与打乱形式以及全带形式与低通滤波形式。所示频谱图代表了一个英语测试话语的最初一秒,包含100个时间切片和8个梅尔频率通道。对于GMM、i-vector模型和声学特征,我们还使用了Carbajal等人(2016年)推荐的MFCC特征,窗口长度为25毫秒,跳跃长度为10毫秒,并保留了前七个MFCCs。此外,还使用YIN音高估计器添加了一个F0轨道。特定于i-vector模型,结果的八维特征还通过7-1-3-7配置增加了SDCs,从而每个时间切片产生了64维的特征,包含大约200毫秒的信息。MFCC特征包含了粗略和精细的频谱属性信息,在SDCs的情况下,还包含了较慢的时间信息。对于每种模型和特征类型,我们还进行了两种处理。

3.2.1 时间打乱
我们随机打乱(或重新排序)测试刺激中的音素帧,以检验语言区分是否受节奏驱动。由于语音信号是在时间域中传输的,语音中的任何信息都通过时间规律性来表征。在所有时间规律性中,较快的规律性对应于音素信息,如共振峰和谐波,而较慢的规律性对应于音节、单词和短语级别的节奏。在我们的研究中,我们关注较慢的规律性对语言区分的影响,我们通过调整音素信息的顺序来反映这一点,例如频谱图中各个帧的顺序。由于频谱图帧之间的间隔为10毫秒,因此任何慢于100 Hz的时间信息都包含在这个范围内,包括音节频率(4-8 Hz)和较慢的规律性,如重音和韵律短语(Poeppel和Assaneo 2020)。为了去除较慢的节奏信息,我们随机打乱了声学特征,以破坏语音信号中慢于10毫秒的任何时间结构。图1显示了一个被打乱的话语示例。我们引入这一条件是为了去除模型直接使用的(例如,RNN和i-vector模型的完整版本)或在测试过程中通过动态时间规整使用的(例如,在RNN和GMM中)时间信息。

3.2.2 低通滤波
在行为研究中,语音刺激通常会经过低通滤波,以去除更精细的频谱信息,如共振峰,这是为了排除不同语言之间的声学差异对观察到的语言辨别行为的干扰(例如,不同语言具有不同的元音库存)(Nazzi和Ramus 2003)。在我们所有的模拟中,我们对未经滤波的(“原始”)和经过低通滤波的测试刺激都进行了测试。对于低通滤波,我们选择了400 Hz的截止频率,遵循Nazzi等人(1998)的设置,实现了四阶巴特沃斯滤波器。

3.3 模拟I:语言对辨别
在第一组模拟中,我们模拟了两种语言之间的语言辨别。根据Nazzi等人(1998)的前两个实验,我们测试了英语-日语和英语-荷兰语之间的辨别。在行为研究中,3天大的婴儿不再适应英语和日语之间的转换,但能够适应英语和荷兰语之间的转换。在这次模拟中,我们在能够或不能访问节奏信息的模型中复制了这种效应。为了测试模型,我们使用了Common Voice语料库(版本13.0)(Ardila等人2019)中的话语。在所有句子中,我们移除了被在线参与者评为有噪音、不流畅或其他问题的句子(大约20%)。对于每组数据,我们选择了长度在4到10秒之间的话语。为了避免选择同一发言者的多个片段,我们对话语进行了随机排序。然后,我们手动听了一遍音频文件,并选择了每种语言中前100个没有显著噪音、不流畅或明显非母语口音的话语。通过手动选择过程,大约有50%的话语被淘汰了。所选话语的ID包含在代码发布中,网址为https://github.com/smiledra/early-language-discrimination-rhythm。所有话语在进一步处理之前都进行了均方根归一化。结果如图2所示。

图2:单一语言的语言辨别结果。在全频带和低通滤波的刺激中,顶部行表示具有时间顺序的刺激的结果,底部行表示没有时间信息的刺激的结果。较低的ABX错误率表示更好的辨别能力,其中机会水平(50%)用灰色标记。误差条表示在独立训练数据上训练的模型计算出的95%置信区间。对于声学表示,由于没有模型被训练,我们进行了五次统计独立的测试,误差条就是基于这些测试计算得出的。结果显示,在所有模型和所有表示中,英语-日语的辨别能力显著优于英语-荷兰语,这表明模型的表现复制了Nazzi等人(1998)中人类婴儿的表现。这适用于完整的语音和时间混乱的语音,表明节奏对语言辨别效果并不重要。对于i-vector模型,跨语言效应不仅在包含较慢时间特征的完整模型中观察到,而且在时间信息被混乱的Scrambled模型中也被观察到,以及在无法获得较慢时间信息的MFCC和Spectrogram模型中也被观察到。这表明语言辨别可以仅使用分段信息来实现,而不需要依赖于对节奏至关重要的较慢时间规律性。在某些情况下(例如,在一些RNN模型和GMM中,当刺激被低通滤波时),混乱实际上导致了更接近人类结果的结果。这个结果看起来违反直觉,原因有两个。首先,对于这两种模型,测试时的动态时间规整必须对齐测试话语,如果刺激被混乱并且缺乏用于对齐的音节和短语结构,这可能会更困难。其次,对于RNN模型,由于其递归结构,模型对时间序列敏感,因此时间混乱的刺激与训练数据相比是不符合分布的。然而,鉴于我们的假设,即语言辨别可以通过依赖全局信息来实现(例如,%V),时间上混乱帧会导致全局信息更加均匀分布。这会使在不同语音片段上计算的全局统计更加一致,从而使ABX任务中的A和X刺激更加相似。因此,刺激混乱后效应大小的增加证明了我们的假设,即这些模型中的语言辨别可能依赖于全局属性而不是时间结构。此外,无论是混乱还是未混乱的声学表示,都可以实现类似人类的语言辨别,特别是在Spectrogram情况下。由于这些Spectrogram只有八个频谱维度,因此高频细节(例如共振峰和摩擦中心)的线索缺失。然而,元音和辅音的分布等全局信息应该保持完整。这再次表明,即使基于未经进一步处理的声学信息,也可以仅使用全局信息进行辨别。我们还观察到,与MFCC相比,Spectrogram特征的效果略强。由于七维MFCC保留了关于粗略和更细致频谱信息的更多细节以及额外的音高轨道,因此细节信息的去除可能使模型能够仅依赖于全局信息,从而使例如英语-日语的辨别变得更加容易。

3.3.1 讨论
在辨别语言对时,测试的模型通常能够复制出类似人类的结果。具体来说,在所有在时间有序的语音中显示出类似人类效应的模型条件下,它们都在混乱的语音中显示出了效应。这表明这些模型中语言辨别并不需要时间规律性。然而,在辨别低通滤波的语音时,一些模型显示出了混合(在GMM中)或无(在RNN模型中)效应。考虑到测试中的低通滤波语音与训练中的未滤波语音有很大不同,特别是在低通滤波后较高频率通道被设置为零,训练和测试数据之间的分布变化可能会使这些模型难以获得任何有意义的效应。例如,在RNN中,测试话语的嵌入通常彼此相距较远,不论语言如何,从而导致辨别分数在不同语言之间没有差异。另一方面,人类婴儿不受此类数值限制(Nazzi等人1998)。这可能是由于人类感知和认知的实现本质上不同,它依赖于神经元网络而不是计算机比特,或者是由于出生前接触的语言具有某种低通特性(Griffiths等人1994)。尽管存在数值上的困难,时间混乱似乎有助于模型表现出类似人类婴儿的行为,如果时间规律性对类似人类的语言辨别是必要的,这是无法解释的。

3.4 模拟II:混合语言的辨别
在第一组模拟中,我们测试了模型在辨别语言对方面的能力,并发现结果复制了人类婴儿的语言辨别行为。然而,两种单一语言之间的辨别可能会受到所选语言的特定因素(如音素库存、语言特定的韵律等)以及每个语料库的数据收集过程(如录制设备、背景噪音等)的干扰。在第二组模拟中,我们模拟了Nazzi等人(1998)的实验3,以测试两组语言之间的辨别。原始研究发现,当语言在同质组之间切换时(即从包含英语和荷兰语的组切换到包含西班牙语和意大利语的组,反之亦然),婴儿的适应困难更大。我们使用计算模型来模拟语言辨别,并测试模型是否复制人类行为。我们测试了两组:在同质组中,我们将英语与荷兰语分组,然后转换到包含西班牙语和意大利语的组(反之亦然);在异质组中,我们将英语与西班牙语分组,然后转换到包含荷兰语和意大利语的组。由于两种条件下使用的话语都是相同的,只是在不同集合之间切换,这可以消除一些特定于语音材料的混淆。我们使用了与模拟I相同的语料库和测试刺激的选择标准。与模拟I类似,语音片段是从一组话语中抽取的,用于ABX任务,只不过这次测试刺激是从当前模拟中的一种语言组合中抽取的,而不是单一语言。结果如图3所示。

图3:分组语言的语言辨别结果。在全频带和低通滤波的刺激中,顶部行表示具有时间顺序的刺激的结果,底部行表示没有时间信息的刺激的结果。较低的ABX错误率表示更好的辨别能力,其中机会水平(50%)用灰色标记。误差条表示在独立训练数据上训练的模型计算出的95%置信区间。对于声学表示,由于没有模型被训练,我们进行了五次统计独立的测试,误差条就是基于这些测试计算的。当测试刺激未经过滤波时,模型的语言辨别结果与人类的结果大致一致,这与模拟I相似。对于Acoustic模型和GMM,无论是否进行混乱处理,显著效应都存在。在RNN模型中,即使在没有混乱的情况下,语言辨别也呈现出类似人类的方向。在RNN模型中,当测试刺激被混乱以达到时间均匀时,效应大小增加,可能是因为全局信息对辨别帮助更大。在i-vector模型中,我们也观察到了类似人类的辨别,无论是完整模型还是Scrambled模型,这表明时间规律性对于类似人类的行为不是必需的。然而,在Full Scrambled模型中,尽管时间信息被完全移除,结果却只是边缘的且不显著。相反,在MFCC和Spectrogram模型中,当时间信息被完全移除时,辨别结果与人类行为一致。当刺激被低通滤波时,不同模型之间的结果一致性较低。然而,在声学Spectrogram和i-vector模型的Spectrogram版本中,结果却类似人类。对于其他模型和特征,无论输入特征中是否有时间信息,跨语言效应都不一致。从第二组模拟中,我们得出结论,不同的模型通常能够更好地区分有节奏的组和非节奏的组,即使模型无法访问时间结构。然而,当测试刺激被低通滤波时,一些模型未能完全复制人类行为,而成功的模型在没有时间规律性的情况下更有可能复制人类行为。总体而言,在任何情况下,我们都没有看到模型在时间信息可用时始终成功,而在没有时间信息时始终失败。

4. 总体讨论
我们使用计算模型来模拟使用自然语音以及经过处理以去除时间规律性的条件下的语言辨别。我们发现各种模型都能够复制行为辨别模式,即使在模型无法访问时间规律性的情况下也是如此。这表明语言辨别可以通过时间规律性以外的信息来实现,这一结果需要进一步探讨人类婴儿语言辨别的本质。我们的结果对于关注语言发展中语音节奏作用的理论具有重要意义。首先,它直接挑战了韵律自举假设(Nazzi和Ramus 2003),该假设认为早期对节奏的敏感性驱动了人们母语中度量单位的习得。韵律自举假设特别假设对语音节奏的敏感性在生命的第一年内会减弱,我们的结果直接对此提出了质疑,即语音节奏在新生儿语言辨别中是否起到任何作用。我们的结果还挑战了双语习得理论,即所学语言之间的节奏相似性会影响元音辨别和单词学习的时间(Sundara和Scutellaro 2011)。虽然被认为是“节奏相似”的语言在语音节奏的声学特征上更为相似,但它们与其他“节奏不同”的语言相比,还共享其他全局性和音段性属性,当前研究支持这些属性可能是语言区分的原因。最后,我们的发现可能会影响语言发展的叙述,目前的发展理论强调语音节奏是婴儿最早能感知到的、驱动进一步语言发展的线索之一(例如,Werker和Hensch 2015;Gervain等人2020)。在我们的模拟中,我们的测试范式与Nazzi等人(1998)的行为实验之间的一个主要区别在于测试说话者的分布。在像Nazzi等人(1998)这样的行为研究中,测试刺激来自两位女性说话者,她们之间的声音质量差异很小。一方面,声音质量等因素是主观的,难以复制。另一方面,语言背景(Lin和Wang 2008;Li和Post 2014)和年龄(Pellegrino等人2021)等额外的变异性通常不在行为研究中被报告,但众所周知会影响语音节奏。为了应对这些变异性来源,在我们的模拟中,我们使用了从众包语料库中选取的多种说话者的话语。尽管这在测试刺激中引入了额外的噪声,使得区分任务更加困难,但我们仍然观察到了语言对区分效果的显著影响,这表明我们在排除了上述混杂变量后成功地复制了语言区分现象。我们的结果与行为研究的一个区别在于效应的存在与否。在Nazzi等人(1998)的研究中,婴儿完全无法区分英语和荷兰语,但能够区分不同的语言群体。在我们的模拟中,许多模型并没有遵循这一模式,有些模型对不同的语言群体表现出随机水平的区分,或者对英语-荷兰语的区分程度显著高于随机水平。我们将这归因于人类研究和我们的模拟之间的两个根本差异。首先,虽然机器ABX错误率可能因两种语言之间的任何检测到的差异而有所不同,但人类的感知可能需要达到某些差异才会表现出行为反应。因此,机器ABX的结果可能过于敏感,它们的绝对值不如相对比较(如英语-日语对比英语-荷兰语)有用。其次,虽然机器ABX任务每次试验使用三个话语,但婴儿通过习惯化-去习惯化范式能够听到更多的话语,因此他们可能比机器更好地理解组内相似性,从而能够检测到不同节奏群体之间的差异,而计算模型则未能做到这一点。这两种解释都表明,与绝对分数值相比,在受控环境中比较相对分数值是更好的分析方法,这也是我们分析结果的方式。

4.1 具有改变的音段属性的语言区分

在过去的关于婴儿对语音节奏的行为和神经反应的研究中,人们对语音刺激进行了各种操作。尽管移除了一些音段属性(如低通滤波和重新合成)后语言区分仍然存在,但当语音在时间上被操纵(如倒放)时却不存在这种情况,这一事实传统上被用来证明婴儿对语音节奏线索的敏感性。在这里,我们反对这样的观点,即这些基线数据本身就能证明节奏敏感性。在关于新生儿语言区分的行为研究中,刺激通常经过低通滤波以去除高频信息。由于低通滤波(例如400 Hz)会去除大部分共振峰和高频辅音(如咝音)的频谱信息,人们认为低通滤波去除了语音和音位学信息,但保留了韵律(以及作为韵律子集的节奏)信息。这些假设促使Nazzi等人(1998)等行为研究通过低通滤波刺激来保留韵律信息,同时大大去除频谱信息。婴儿能够在低通滤波后区分节奏不同的语言,这一事实被当作他们使用了超音段的、可能是节奏性的线索来进行区分任务的证据。然而,使用低通滤波的语音来提取节奏并不充分合理,使用低通滤波刺激来检查节奏感知的确切目的仍不清楚。虽然低通滤波去除了音段信息,但它保留了音高轮廓等信息,而这被认为是影响人类语言区分的一个因素(Chong等人2018)。此外,由于400 Hz的截止频率可能高于某些元音的第一个共振峰,并且根据说话者的音高不同,从语音流中去除和保留的具体内容也不明确。因此,低通滤波可能不是测试节奏敏感性的最佳方法。使用低通滤波语音来测试语言区分的另一个早期动机是,低通滤波语音可能更接近婴儿在子宫内的语音暴露,因此婴儿可能利用产前语音暴露的知识来进行语言区分任务(Mehler等人1988)。虽然确实有高频声音通过 maternal body 和羊水被减弱,但在胎儿环境中也发现了相当程度的噪声,这可能是由于 maternal heart 和其他器官造成的(Abrams等人1998)。在怀孕的母羊身上测量到的噪声可以达到60–80 dB SPL,且在较低的频率上最为明显。这种噪声的响度和低频特性使得低通滤波的全频语音不适合作为人类胎儿声音暴露的代表性。另外,Hepper和Shahidullah(1994)测试了人类胎儿对不同频率纯音刺激的反应。他们发现,发育中的胎儿在妊娠19周时首先对中等频率(500 Hz)有反应,并在接近足月时逐渐扩展到100–3000 Hz的更宽频率范围。胎儿听觉频率选择性的逐渐变化可能源于胎儿听觉系统的产前成熟,以及胎儿的大小和位置。总体而言,这些发现表明,早期行为研究中使用的400 Hz低通滤波语音刺激并不理想地代表了产前暴露。另一种对语音的操纵是重新合成语音以去除混淆的音段或韵律信息。在Ramus和Mehler(1999)的研究中,法国成年人能够在将英语语音重新合成为“SASASA”(去除了音高轮廓)的情况下区分英语和日语,但在将语音重新合成为“AAAA”(保留了原始音高轮廓)的情况下却无法区分。这两种条件之间的唯一区别是去除了高频的咝音,并添加了音高轮廓。然而,在更类似于低通滤波语音的“AAAA”条件下,未能实现英语和日语之间的区分。这表明,低通滤波刺激(在概念上类似于“AAAA”操作)可能不是观察到的语言区分效应的最佳操纵方法。另一方面,我们研究中的八通道频谱图大大减少了音高和共振峰等频谱信息,但保留了例如元音和咝音之间的差异,这在概念上更类似于“SASASA”操作。此外,还有研究表明音高轮廓也可能在婴儿语言区分中起作用。在Chong等人(2018)的研究中,7个月大的婴儿能够区分英语和德语这两种节奏相似的语言,这归因于他们对两种语言之间不同音调(即音高轮廓)的敏感性。这些结果表明,节奏的感知和发展可能与音调或音高轮廓是分开的,低通滤波并不是区分这两者的有效技术。除了行为研究外,Tilsen和Arvaniti(2013)使用数据驱动的方法分析了各种语言的包络,并找到了音节级和重音级节奏的相关性,但关键的是,这项研究中的语音包络是通过400 Hz的高通滤波获得的,以去除基频对包络的影响。这进一步质疑了400 Hz以下的频率是否作为语音节奏的有用线索,或者是否包含了如音高等其他信息。为了复制行为研究,我们用未滤波和低通滤波的语音测试了我们的模型,模型在低通滤波刺激上显示出较弱的语言间效应。除了上述对使用低通滤波语音来检验语言区分和节奏有效性的质疑外,我们还注意到计算模型本身的某些限制。在生成模型(包括GMM和i-vector模型)中,假设刺激是从隐藏分布中生成的,训练和测试刺激之间的差异可能限制解释或甚至导致数值问题。因此,这类模型在全频语音上进行训练并在低通滤波语音上进行测试是困难的。另一方面,新生儿在子宫内已经接触到了具有减弱高频的语音,这可能使得从低通滤波语音中提取有意义的信息成为可能。由于机器和人类之间的这些差异,我们预计模型在低通滤波刺激下的表现会更为复杂。作为未来的研究方向,了解人类婴儿和机器之间的感知差距将有所帮助(参见Vogelsang等人2023)。一些行为研究还使用了倒放语音来表明,真实语音的时间结构对区分很重要,并发现婴儿对正向语音中的跨语言节奏差异敏感,但对倒放语音不敏感(Mehler等人1988)。倒放语音在节奏的声学特征(如%V、C、振幅调制)上与正向语音相同,因此如果婴儿只对这些特征敏感,那么他们在倒放语音时也应该能够区分节奏不同的语言。实际上,对于我们的模型来说,倒放语音产生的结果与正向语音相似,我们在补充材料中报告了这一点。然而,婴儿无法区分倒放语音可能是因为倒放语音超出了他们的感知范围,类似于低通滤波语音超出了计算模型的感知范围。由于倒放语音不是一种生态学上有效的听觉体验,婴儿可能无法像听自然语音时那样提取音段或超音段线索。我们可能会预测,如果我们的时间扭曲刺激能够在时间域中被重建并播放给人类听,它们可能会听起来很刺耳,听众可能难以从中提取任何有意义的信息来进行区分判断。然而,在视觉语言区分研究中观察到了与我们的扭曲操作概念上相似的结果(Weikum等人2007)。在视觉语言区分研究中,婴儿被测试是否能区分不同语言,但使用的是说话者的无声视频录像。在尚未发表的后续工作中,视频被切成200 ms的片段,并随机打乱了这些片段,从而去除了任何慢于这个时间尺度的信息。虽然4个月大的婴儿能够成功地区分打乱的英语和法语,但8个月大的婴儿则无法做到这一点(Weikum等人未发表的手稿)。这提供了行为证据,支持较年幼的婴儿在某种程度上能够区分语言的假设。较年长的婴儿的区分取决于完整的较慢节奏,这表明随着发展节奏的重要性发生了变化。这与我们发现一致,并进一步挑战了节奏敏感性先于语言发展中其他线索的理论。总之,尽管在行为研究中测试了各种操纵,但在比较人类和机器的行为时,需要考虑刺激对人类和机器的生态学有效性。虽然我们的模型在模拟婴儿对低通滤波语音的语言辨识能力时不如对未滤波语音时的表现一致,但我们在本节中 argue,即使综合考虑了诸如低通滤波这样的实验控制措施(这些措施去除了语音中的各种片段属性),仍然不能提供强有力的证据表明婴儿在语言辨识测试中关注的是节奏。

4.2 与其他文献的关系

尽管新生儿在语言辨识过程中可能使用除节奏之外的线索,我们还研究了我们的刺激材料与慢幅度调制之间的关系,后者被认为能够反映节奏差异。具体来说,所有口语都被发现具有大约4.6 Hz处的幅度调制峰值(Ding等人,2017年),而且调制频谱峰值的精确位置和高度与节奏相似性相关(Varnet等人,2017年)。理论上,峰值的位置和高度分别反映了平均音节率和围绕平均值的变异性,对于英语和荷兰语等语言来说,这种变异性会更大。然而,有证据表明使用这些测量方法并不可靠(Zhang等人,2023年)。即,语言节奏与调制频谱测量之间的相关性并不受不同说话风格的影响,也不适用于少于几分钟的语音数据。在我们的模拟中,我们还使用了Ding等人(2017年)和Varnet等人(2017年)的方法分析了幅度调制(见图4)。我们发现这五种语言在峰值的位置和高度方面几乎没有差异,并且峰值位置和高度的变异性并不受语言类型的影响。因此,对于当前的刺激材料,尽管我们的模型能够复制人类的感知,但幅度调制频谱与节奏相似性并无关联。因此,我们提出了一种情况:不同语言在音节率的时间调制上可能没有区别,但仍然可以被本研究中测试的模型区分开来,而其中许多模型并不具备任何时间规律性的识别能力。

图4(在图查看器中打开)

(a) 本研究中使用的测试刺激的幅度调制频谱,采用了Ding等人(2017年)的方法(左)和Varnet等人(2017年)的八度频谱方法(右)。

(b) 每种测试语言的调制频谱峰值位置。点代表所有话语的平均值,误差条表示95%置信区间。

(c) 峰值的相对高度。条形代表所有话语的平均值,误差条表示95%置信区间。

在认知神经科学文献中,有一些相关研究通过神经记录探索了早期语言感知的跨语言差异。我们的模拟结果与他们的观察结果一致。例如,在被动聆听时,婴儿在听到不同语言时的EEG活动在伽马波段有所不同(Pe?a等人,2010年),这对应于片段(音素和次音素)层面的信息。与此同时,在对应于音节层面节奏的较慢调制(如德尔塔波和西塔波)方面没有发现差异(Giraud和Poeppel,2012年)。在其他多语言被动聆听研究中,尽管对EEG数据进行了诱发和基于相位的分析,但只有诱发反应在不同语言间存在差异,而基于相位的分析则保持不变(Nacar Garcia等人,2018年;Barajas等人,2021年)。基于节奏与幅度调制之间的假定联系(Varnet等人,2017年),应该在频域分析中寻找差异性标志,而不是诱发反应,因为在频域中发现了不同语言之间的假设幅度调制差异,而显著的诱发关系可以表明语音流中的任何内容,包括任何韵律或片段信息。尽管如此,仍需要更密切关联语言辨识的神经记录研究来得出更强的结论。虽然我们的实验对节奏是否是语言辨识的决定因素提出了疑问,但它们并不质疑婴儿是否对节奏敏感。实际上,婴儿在出生时就已经对符合抑扬格-扬抑格规律的纯音节奏模式敏感(Abboub等人,2016年)。与复杂且包含许多混杂因素的自然语言不同,受控的纯音刺激仅在时间顺序上有所不同,因此打乱这些顺序可以消除抑扬格和扬抑格之间的差异。因此,婴儿的行为效应必须源于对时间规律性的实际敏感性。然而,观察到的纯音效应与较大龄婴儿从语音流中分割单词的能力之间的具体联系(Jusczyk等人,1999年;Polka和Sundara,2012年)应该更加谨慎地考虑。

5 结论

本文认为,新生儿区分节奏不同语言的能力并不能有力地证明他们对节奏的敏感性。我们的模拟显示,即使从刺激中消除了节奏信息,各种能够预测新生儿区分语言相对容易程度的模型仍然可以做到这一点。然后我们进一步论证,在对完整语音和低通滤波语音的各种操作中,诸如元音百分比之类的全局属性同样可以被婴儿获取,并可能驱动他们的区分行为。由于唯一与人类表现直接相关的声学指标仅包含这些理论上仅与节奏相关的统计信息(Ramus等人,1999年),因此现有的关于节奏在早期语言辨识中重要性的证据并不充分。最后,我们讨论了我们的结果与幅度调制的关系,幅度调制是衡量语音时间结构的一个指标,它已被发现与语言的节奏类别相关,但在用于婴儿的任务类型中不太可能作为一个线索。综上所述,这些结果呼吁重新考虑人类婴儿语言辨识的本质。由于语言习得理论通常围绕节奏展开,我们的结果促使该领域重新考虑节奏在早期语言习得中的作用。特别是,语音节奏一直被认为是婴儿最早能够感知的线索之一,并且可能在婴儿学习片段和词汇信息之前就已经被掌握。由于我们的结果表明语音节奏可能与语言辨识无关,甚至婴儿也无法感知到它,因此节奏在语言习得中的作用可能不同于之前的假设。

致谢

本项工作得到了NSF基金BCS-2120834的支持。T.S.在ILCB融合研究所进行的工作得到了法国2030计划(ANR-16-CONV-0002)和艾克斯-马赛大学卓越计划(A*MIDEX)的资助。

利益冲突

作者声明没有利益冲突。

注释

1. 选择这1小时的语音材料是从Globalphone语料库中选出的四位说话者的部分语音,每位说话者的平均语音材料长度接近于此。这四位说话者的所有语音都被用于训练。

2. 我们还使用了0.5秒和2秒的语音材料进行了测试,结果在质量上相似。

3. 使用80个频率通道进行复现实验也得到了质量相似的结果。

数据可用性声明

我们的计算模拟代码可在GitHub上获取。除了代码外,我们还发布了 curated测试刺激集的ID,以便可以从公共数据集中重新提取测试刺激进行复现。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号