最初的1000天：通过个体儿童的日常言语来模拟语言学习过程

《SCIENCE》：The first 1000 days: Modeling language learning from individual children’s everyday speech

编辑总结

大型语言模型通常需要在大量的文本数据上训练后才能产生语言输出，但它们能够创造出复杂的文本内容。相比之下，婴儿从有限的口头输入中学习，一开始只能说出几个词，然后逐渐增加词汇量。为了模拟儿童的经历，Raviv等人训练了一个机器学习模型，该模型使用的是个别婴儿听到的语言的详细纵向记录数据：白天的输入量相当于一個孩子一天内听到的内容，然后会在夜间重放到目前为止的所有输入（参见Harmon和Rowland的观点文章）。通过这种训练方法，每个模型的学习速度与儿童的学习速度大致相同，这证明了这种建模方法在现实世界中的相关性。——Yevgeniya Nusinovich

结构化摘要

引言

儿童通过每天听到的语言来学习理解和表达语言，但这种日常经历如何影响学习过程仍是一个未解之谜。现代人工智能（AI）语言模型表明语言可以通过数据来学习，然而它们的训练数据量远远超过任何儿童实际听到的内容，并且使用的方法与儿童的实际学习方式大不相同。要理解儿童如何从日常经历中学习语言，需要构建能够按照儿童的学习方式工作的计算模型，这些模型应基于每个儿童实际可获得的输入，并考虑到真实的发展时间尺度。

研究理由

为了验证这一想法，我们使用了“First 1000 Days”项目中的超高密度家庭录音数据：为八个儿童在他们生命的前1000天里收集了数千小时的日常语音记录。我们为每个儿童构建了一个单独的学习模型，这些模型在训练前对语音或词汇没有任何先验知识。每个模型仅根据该儿童实际听到的语音进行学习，按照语音出现的顺序逐日处理。训练过程遵循了符合儿童发展阶段的节奏，随着儿童清醒时间的增加，每日接触的语音量逐渐增加，并在每天结束时复习最近听到的语音，以此来模拟睡眠在记忆巩固中的作用。随后我们测试了这些模型是否能够学习到不同的声音和词汇，以及它们的学习速度是否与相应儿童的发展轨迹一致。

结果

通过这种方式训练后，模型在大约一年的时间里学会了区分英语中的声音，并逐渐积累了数千个词汇，其词汇增长与每个儿童的实际词汇增长情况高度吻合。有两个方面尤为重要：首先，输入的密度至关重要：仅获得儿童一天录音中一小部分内容的模型学到的词汇量要少得多，这可能是因为许多日常词汇比较罕见，需要反复接触；其次，夜间重放同样重要：即使每日输入量丰富，但如果没有夜间重放，模型也难以记住词汇。同样的建模框架适用于所有八个儿童而无需修改。在这个框架内，三个内部模型参数决定了学习速度，这些参数反映了个体差异，并解释了学习机制如何与经验相互作用以支持语言习得。

结论

我们的结果表明，每个儿童实际接触到的日常语言，结合生物学启发的学习和记忆过程，为语言学习提供了足够的结构支持。更广泛地说，我们的方法为一个框架提供了基础，可以将关于儿童学习方式的理论转化为可以通过直接与儿童的实际发展情况对比来验证的计算模型。

在浏览器中打开

来自一个儿童日常语音体验的词汇积累。

该模型基于每个儿童在前1000天内的每日语音输入进行训练，首先学会了区分语音声音，然后是词汇，逐渐构建了词汇库。从出生到学步期，模型的词汇增长轨迹与每个儿童实际测量的词汇增长非常吻合。[插图来源：Z. Lavi-Hasson]

摘要

儿童通过周围的语言来学习和表达，但这种日常输入如何影响学习过程仍然是一个未解决的问题。大型语言模型表明语言可以通过数据学习，但它们的规模和训练条件与儿童的自然学习体验有显著差异。我们根据八个儿童在其生命前1000天内的纵向家庭录音数据，训练出了在认知上可行的、针对每个儿童的模型。每个模型都仅根据该儿童的语言输入进行学习，没有预先的语言知识，逐渐发展出类似音素和词形的表征，并且学习速度与每个儿童的实际发展情况相匹配。学习过程依赖于密集的每日采样和最近输入的重复回放，这表明经验和记忆相关的过程都是必要的。这些发现表明，日常经验包含了足够的语言学习结构，并为测试发展理论提供了针对儿童的定制化建模方法。