婴儿期自下而上听觉注意的计算推导证据：照料者言语的听觉显著性与婴儿在双人互动期间的视觉定向相关

《Infant Behavior and Development》：Computationally-derived evidence for bottom-up auditory attention in infancy: The auditory salience of caregiver speech relates to infant visual orienting during dyadic interaction

　　

•将两种基于神经生物学的听觉显著性模型应用于母亲言语分析。
•母亲言语的显著性与婴儿在多个时间尺度上注视母亲的行为相关。
•初步支持了母亲言语显著性先于婴儿注视增加的观点。
•首次展示了婴儿期的自下而上听觉注意机制。

引言

从出生起，婴儿就必须处理并从复杂的、动态的、多感官体验中学习。长期以来，研究者们一直在探究人类婴儿如何从这种复杂性中选择重要信息，以引导学习过程。在此，我们检验了一个假设：婴儿实现这一目标的途径之一是通过自下而上的听觉注意。自下而上注意被定义为一组神经计算过程，其结果是根据刺激的"显著性"——即其特征的相对突出程度——选择某个刺激或位置。除了日常用语中的用法外，"显著"还具有计算上的特定含义：刺激的显著性是描述其相对于周围环境在特征上有多不同的一个量。在成年人和婴儿中，自下而上的注意几乎仅在视觉领域进行了研究，通过将人类数据与计算模型关于哪些位置在时间上视觉显著的预测进行匹配（Borji等人，2013年，Itti等人，1998年，Walther和Koch，2006年）。仅有少数论文使用听觉显著性模型研究了成年人的自下而上听觉注意，但据我们所知，尚无人研究幼儿是否对听觉显著性敏感。鉴于许多证据表明面向婴儿的言语对婴儿学习有益，且有观点认为这是因为面向婴儿的言语的许多特征（如夸张的音高）使其在通俗意义上具有高度显著性，这一空白尤为重要。文献中仍然存在关键缺口：尽管有观点认为听觉显著性驱动了大量在自然双人互动中发生的学习，但尚未有直接证据（支持或反对）表明婴儿具有自下而上的听觉注意，也未使用正式的听觉显著性计算模型进行研究。

总体而言，自下而上刺激显著性的模型旨在计算地模拟灵长类动物感觉系统的层次化和并行处理。计算显著性模型几乎仅应用于视觉领域（Althaus和Mareschal，2012年，Amso等人，2014年，Borji和Itti，2015年，Itti等人，1998年，Itti和Koch，2000年）。这些计算模型旨在反映视觉系统的生物学特征，其中视觉特征在并行的但不同的神经区域进行处理（例如，颜色由V4区域处理，运动由MT/V5区域处理）。视觉显著性模型通过三个大致步骤量化显著性（例如，Itti和Koch，2001年）：首先，为场景中每个点独立计算特定特征（如颜色、运动）的显著性分数。其次，将数值整合为每种特征类型的单一"突出度"图。最后，通过"胜者通吃"过程汇集每种特征图的分数，以识别整体显著性最高的空间区域。在神经层面，偏差竞争过程（Desimone和Duncan，1995年）选择相对于其局部环境具有最显著视觉内容的空间区域，并将视觉注意定向到该区域。总体而言，成年人的视觉注视数据与计算显著性图有很好的匹配度（Bylinskii等人，2017年），但当然，自上而下或先验知识可以与这些自下而上的过程竞争，以引导视觉搜索和刺激选择（Amso和Scerif，2015年，Desimone和Duncan，1995年，Gilbert和Li，2013年，Kastner和Ungerleider，2000年，Lynn等人，2020年）。

听觉显著性的工作方式是否类似？尽管视觉信息和听觉信息存在差异，Kayser等人（2005年）提出了自下而上注意在其他感觉领域是否在机制上相似的问题。听觉显著性不是基于视觉特征，而是从声学特征中衍生而来：声音的时频表示（见Kaya和Elhilali，2017年的综述）。与视觉处理类似，听觉处理涉及根据声学特征并行解析声音——在这种情况下为频谱或时间调制（Alain等人，2001年，Bregman和McAdams，1994年，Houtgast，1989年，Yost，1992年）。Kayser等人（2005年）设计了一种听觉显著性模型，采用了与视觉显著性模型相同的一般方法。首先，他们生成了分别量化各个声音特征的独立图，包括强度、频率对比和时间对比。然后，一种类似于听觉感受野的中心-周围机制（Schreiner等人，2000年）比较每个特征图中的数值，这些数值在被线性组合为胜者通吃式听觉显著性图之前先进行归一化。Kayser等人（2005年）发现该模型与成年人对听觉显著性的判断有很好的匹配度，且显著性图还能预测对相同刺激的视觉注意。这些数据被解读为意味着听觉自下而上注意的工作方式与视觉自下而上注意相似，至少在成年人中如此。

此后，另外两个听觉显著性模型被构建出来，旨在推进Kayser等人（2005年）中使用的基本架构。Kalinli和Narayanan（2007年）以及Duangudom和Anderson（2007年）的模型都从听觉频谱图中提取声学特征，以产生反映听觉信号各个频率成分变化的听觉显著性图。这两个模型对听觉处理做出了略有不同的假设，并在Kayser等人（2005年）的基础上提供了不同的变体。Kalinli和Narayanan（2007年）添加了如音高和方向等特征，并显著地增加了一种基于神经元抑制的中心-周围差异计算。相比之下，Duangudom和Anderson（2007年）使用的特征显然描述了听觉刺激的内在的、神经学上合理的表征。例如，Duangudom和Anderson（2007年）没有使用简单的时间对比特征，而是模拟了关于听觉皮层频谱-时间感受野结构的已知信息。其直觉是A1神经元的反应特性并不均匀，这种变异性必须在听觉显著性图的特征提取阶段进行建模。在这两个更新模型之间，Kalinli和Narayanan模型被证明与成年人的主观听觉显著性分数相关性最高（Xiong等人，2022年），但两者对于研究婴儿自下而上听觉注意都是合理的模型，因为在高层面上，它们共享许多特征。

接下来，我们简要回顾关于婴儿听觉处理的已知信息，然后再探讨婴儿是否使用自下而上的听觉注意来引导其注视行为。听觉信息在产前就已可用，胎儿对声音强度和频率的变化都有反应（Lecanuet等人，2000年，Richards等人，1992年）。数据显示，虽然频率分辨率可能在6个月时成熟（Olsho，1985年，Schneider等人，1990年），但频率辨别阈值可能具有更长的发育轨迹，尤其是对于低频而言（Olsho，1984年）。基于频率信息的成功辨别既依赖于时间编码也依赖于空间编码。3个月大的婴儿对高频声音的辨别阈值高于6个月大的婴儿（Olsho，1984年），到6个月时，对高频的辨别与成年人相似。然而，对于低频，成年人的辨别能力仍优于6个月大的婴儿。声音定位同样涉及频谱形状以及来自双耳信息的比较。婴儿比成年人更依赖频谱形状特征来定位声音（Litovsky，2012年，Saffran等人，2007年）。综合这些数据，提出了一种可能性：尽管两个模型都以理论依据的方式对听觉信息进行加权，但Duangudom和Anderson（2007年）开发的模型，其纳入了各种拓扑组织的频谱-时间感受野特征，可能最能预测幼儿听觉自下而上注意。

另一方面，相关文献的数据对哪个模型可能最好地反映婴儿听觉处理的生物学特征做出了不同的预测。跨文化来看，婴儿偏好面向婴儿的言语而非面向成年人的言语。面向婴儿的言语在音高更高、音高轮廓、相对较短的语句和较慢的节奏方面与面向成年人的言语不同（Cooper和Aslin，1990年，Cristia，2013年，Fernald，1989年）。不仅婴儿似乎跨文化偏好面向婴儿的言语，成年人在各种语言中都会使用面向婴儿的言语，包括欧洲罗曼语族语言、英语、德语（Fernald，1989年）、普通话、阿拉伯语（Farran等人，2016年）、匈牙利语（Háden等人，2020年）和斯瓦希里语（Broesch和Bryant，2015年）。此外，幼儿注意（通过瞳孔大小或目光测量）已被证明与面向婴儿的言语的音高轮廓（Nencheva等人，2021年）和音高变异性（Phillips等人，2025年）相关，并对词汇学习产生影响（Nencheva等人，2021年，Nencheva和Lew-Williams，2022年）。虽然部分近期研究使用母亲言语基频的变异性作为显著性的代理指标（Phillips等人，2025年），但超出这一范围的言语特征也可能对显著性和婴儿自下而上注意有所贡献。综合这些数据，提出了一种可能性：Kalinli和Narayanan（2007年）的模型，其对音高差异的强调，可能特别有助于预测婴儿听觉自下而上注意（图1c）。重要的是，这两个模型都是婴儿听觉显著性的合理解释，因为每个模型捕捉了听觉处理的不同生物学合理特征。

基于所回顾的文献，我们选择测试Kalinli和Narayanan（2007年）以及Duangudom和Anderson（2007年）模型，以了解听觉显著性与婴儿注意的关系及机制，因为它们都是该问题的潜在良好模型。为了进行这一探索性分析，我们使用了在马拉维布兰太尔和南非开普敦进行的大规模队列调查中收集的数据。具体而言，我们使用了母亲及其婴儿的视频（含音频）录像，记录于母亲被指示与其2至5个月大的婴儿自然玩耍的短暂会话中（Zieff等人，2024年）。原始研究的总体目标是考察照料者与婴儿的互动如何塑造同期的注意发展（Forest等人，2025年），并通过这一机制长期影响幼儿期执行功能的出现（Zieff等人，2024年）。为实现这一更大的目标，本文使用双人互动中的母亲言语来检验这样一个假设：婴儿可能使用的机制之一是自下而上的听觉注意。我们关注2至5个月大的婴儿，因为我们预期在这一前语言时期婴儿对自上而下的词义关注较少；我们关注照料者为女性的双人组，以考虑男女言语之间的某些广泛差异（Hillenbrand和Clark，2009年，Simpson，2009年）。

为考虑听觉显著性中基于语言的差异的可能性，并了解听觉显著性可能如何在全球范围内引导婴儿行为，我们纳入了母亲说两种不同语言的双人组：南非的科萨语和马拉维的齐切瓦语。这两种语言属于班图语系，这是一个庞大而丰富的语系，在发育科学中仍缺乏代表性（例如，见Nielsen等人，2017年）。尽管科萨语和齐切瓦语都是班图语系语言，但它们在几个可能与听觉显著性相关的重要方面存在差异。具体来说，科萨语拥有丰富的舌音辅音库，舌音通过降低相邻元音的基频与音高交互，而齐切瓦语的辅音库中不包括舌音（Mchombo，2004年，Myers，1999年，Pascoe等人，2016年，Wheeler，2018年）。舌音可能导致独特的显著性轮廓。如上所述，面向婴儿的言语也倾向于具有独特的声学特征，但据我们所知，尚无研究直接探索科萨语、齐切瓦语或更广泛的班图语系语言中面向婴儿的言语特征。尽管如此，能够获取两种语言和文化背景下的平行双人互动录像，使我们能够比较母亲言语（不一定是面向婴儿的言语）听觉显著性计算模型的结果，以及婴儿视觉反应在不同语言环境下的相关变化。我们首先询问母亲言语在这两种语言中被标记为显著的频率范围是否相同或不同。接着，我们检验了婴儿注视将随听觉显著性系统变化的预测，这将表明自下而上听觉注意是幼儿期一种功能性的信息收集机制。最后，我们考察了婴儿注意和听觉显著性变化的时间过程，以了解婴儿及其母亲如何共同构建早期双人互动，并进一步探究婴儿注视与母亲显著性之间关系的方向性。

章节摘要

参与者与研究程序

本项目使用了Khula研究的数据，该项研究是一项从婴儿期开始的执行功能发育纵向调查（Zieff等人，2024年）。

Khula团队通过南非古古莱图斯和马拉维布兰特的诊所招募了照护者-婴儿配对（见Zieff等，2024年），招募时间包括产前和产后早期。这些家庭随后在生命的前24个月内参加了多达五次的纵向随访。所有随访中，数据均由受过训练的人员收集。

**不同语言中母体语言的听觉显著性及其模型**

我们首先通过分别将isiXhosa语和Chichewa语的数据输入两种听觉显著性模型（Duangudom和Anderson，2007；Kalinli和Narayanan，2007），来考察自然配对互动中母体语言的听觉显著性。随后，我们进行受试者内标准化，并对每个国家的数据分别进行主成分分析（PCA）降维处理。对于基于Kalinli和Narayanan（2007）模型计算的听觉显著性，其主成分分析结果如下……

**讨论**

本研究的目标是评估受神经生物学启发的听觉显著性计算模型是否有助于解释婴儿在生命早期如何获取信息，从而了解婴儿在自然配对互动中是否使用了自下而上的听觉注意力。过去的研究表明，音高轮廓和频谱形状可能对于引导婴儿关注声学刺激尤为重要。本研究使用了两种听觉显著性模型，一个计算模型……

**致谢**

本研究得到惠康信托基金会（Wellcome Trust）惠康LEAP 1KD项目的支持。我们感谢南非Khula团队（Layla Bradford、Donna Herr、Chloe Jacobs、Zamazimba Madi、Tembeka Mhlakwaphalwa、Marlie Miles、Nwabisa Mlandu、Reese Samuels和Michal Zieff）以及马拉维团队（Chikondi Mchazime、Vukiwe Ngoma、Pious Mkaka、Giulia Gillia、Taryn Smith、Emmie Gausi、Ruth Chisema）在数据收集方面的工作，同时感谢加州大学洛杉矶分校发展认知神经科学实验室的成员……

Kavindya Dalawella | Priya Deliwala | Tess Allegra Forest | Celia D'Amato | Khula南非数据收集团队 | Khula马拉维数据收集团队 | Emmie Mbale | Melissa Gladstone | Kirsten A. Donald | Dima Amso