视听言语感知文化差异的早期涌现

《Developmental Science》：Early Emergence of Cultural Differences in Audiovisual Speech Perception

　　

整合听觉和视觉线索是人类言语感知的标志性特征，然而来自东亚背景的成人与西方成人相比，对视觉言语的依赖程度较低。这种文化差异的起源仍然未知。为探究这一分歧是否在婴儿期早期确立，研究人员采用一种测量婴儿对麦格克效应（McGurk effect）感知的新范式，考察了6至12月龄白人加拿大婴儿（n = 111）和中国婴儿（n = 115）的视听整合（audiovisual integration）。在四个实验中，研究人员发现了清晰的发展分歧：加拿大婴儿从6个月起表现出稳定的麦格克效应，而中国婴儿则呈现出更延长的发展轨迹；当其整合受到其他种族面孔挑战时，该文化模式进一步凸显。这些发现首次提供了直接证据，表明多感觉言语感知（multisensory speech perception）的文化差异在生命第一年内已建立，提示大脑绑定视觉与听觉信息的策略受早期经验塑造，这对语言习得理论和发展科学具有广泛意义。

**论文解读：文化差异在婴儿视听言语感知中的早期涌现**

人类言语感知本质上是多模态的：听者在日常交流中会持续整合说话者口型运动提供的视觉信息与听觉输入。麦格克效应（McGurk effect，指视觉口型与听觉音节不匹配时产生的融合性听错觉）是说明这一过程的核心现象。该效应不仅是引人注目的感知错觉，更反映支持真实交流的重要机制，与噪声下的言语理解、早期语言习得和音韵表征发展密切相关。然而，个体对麦格克效应的易感性并非均匀一致。已有研究显示，东亚成人（如日、中背景）比西方成人表现出较弱的麦格克效应，提示其更依赖听觉通道。这种跨文化差异的发育起源长期不明。此前针对6至11岁儿童的研究发现，6岁时日、英语儿童均表现出较弱效应，之后英语儿童逐渐增强视觉依赖，因此当时认为文化差异在6岁后才显现。但该任务要求儿童对融合音进行明确分类，需要成熟的语言元认知和稳定的音韵类别，婴儿和学龄前儿童不具备这些能力，因此早期可能出现的差异可能被任务要求掩盖。此外，婴儿面部扫描研究显示，7个月时英国婴儿更多注视说话者嘴部，而日本婴儿更多注视中央区域，提示注视习惯的文化差异可能已在第一年内出现。然而，尚无研究直接比较不同文化背景下婴儿的麦格克效应。为了弥合这一空白，研究人员招募了6至12月龄的白人加拿大婴儿（n=111）和中国汉族婴儿（n=115），采用一种基于注视时间的创新范式测量其视听整合能力。

该研究的核心方法是行为范式的设计。研究者在实验中让婴儿反复听到一个物理上重复的音节，同时观看一个面孔在“发音—静止”之间交替变换。如果婴儿一致整合视觉口型与听觉信息，则物理重复的音频会被知觉为交替序列；由于婴儿普遍偏好交替序列，一致整合将导致麦格克试验中的注视时间显著长于非麦格克对照试验。相反，若整合是偶发的，知觉序列会显得随机而不可预测，婴儿则会偏好重复序列，从而表现出对麦格克试验注视更短。这一范式无需婴儿进行外显分类，可更直接地测量在线视听整合。视觉刺激使用生成对抗网络（generative adversarial networks, GANs）生成，将同一女演员的发音动作转移至16张照片级逼真面孔（8张白人与8张东亚人），从而精确控制面部动作一致性。眼动数据使用EyeLink 1000 Plus（500 Hz）采集。样本来源明确：加拿大婴儿来自安大略省汉密尔顿及周边地区，中国婴儿来自浙江省杭州市，两实验室采用相同的设备、刺激呈现和招募流程。

研究结果分为三个部分。第一部分是范式验证，即实验1a和1b。这两个实验分别验证了婴儿对“交替序列”优于“重复序列”以及“重复序列”优于“随机序列”的基线偏好。白人加拿大婴儿和中国婴儿在两个基准实验中均表现出相同的注视模式，且无文化差异，证明该范式能可靠地反映婴儿的听觉序列知觉，为后续实验提供了有效基线。第二部分是核心实验（实验2），使用同种族面孔考察视听整合的发展轨迹。白人加拿大婴儿在麦格克试验中的注视时间显著长于非麦格克试验，且该效应从6个月起便稳定存在，无年龄相关变化，说明其视听整合能力早熟且稳定。中国婴儿整体上未表现出显著的麦格克效应，但年龄与麦格克-非麦格克差异分数呈显著正相关。将中国婴儿按中位年龄分为年轻组（182-251天）和年长组（252-375天）后，年轻组对非麦格克试验注视更长，支持“偶发整合”假设；年长组则反过来对麦格克试验注视更长，支持“一致整合”假设。2×2方差分析显示年龄组和国家之间存在显著交互作用，表明两组的发展轨迹存在文化差异：加拿大婴儿始终稳定，中国婴儿经历了从偶发到一致整合的显著转变。第三部分是挑战实验（实验3），使用其他种族面孔刺激。白人加拿大婴儿在非麦格克试验中的注视时间反而显著长于麦格克试验，而中国婴儿两种试验无差异，说明其他种族面孔破坏了中国婴儿的视听整合，但加拿大婴儿仍能进行整合，且两组均无年龄相关变化。独立样本t检验确认了这一文化差异。随后的面部扫描分析显示，婴儿对其他种族面孔的嘴部注视减少，但文化背景并无显著主效应，说明嘴部注视变化不能解释文化差异本身。

在讨论部分，研究人员提出，加拿大与中国婴儿的不同发展轨迹并非发展延迟，而是对各自特定交际生态的适应性校准。他们提出两个宏观环境因素：其一，照护环境差异。白人加拿大婴儿主要由母亲单独照护（100%为唯一主要照护者），中国婴儿则更多由包括祖辈在内的大家庭成员共同照护（39%的家庭中祖辈为主要照护者）。更多变的说话者网络为中国婴儿提供了“知觉变异性训练”，迫使其视听绑定保持较长时间的灵活性。其二，语言结构差异。英语为重音节拍语言，具有节奏多变、元音弱化和复辅音簇等特征，视觉语音线索对切分言语流高度有效；汉语普通话为音节节拍语言，依赖缺乏清晰视觉关联的词汇声调，可能促使婴儿优先处理听觉信息。然而，研究同时指出，日语同样表现为类似的发展延迟，且日语节奏类型与英语和普通话均不同，说明语言节奏本身不能完全解释东西方差异，社会文化规范可能独立地发挥作用。关于6至12个月间的趋同机制，研究提出了三个级联过程：累积统计学习、母语音位系统稳定化和发音运动实践。中国婴儿可能需要积累更大语料来提取跨照护者的视位-音位统计规律；同时6至9个月间掌握声调类别需要优先听觉追踪，待音位稳定后释放资源处理视觉语音线索；此外，典型咿呀学语的开始为婴儿提供了自我生成的运动-声学对应模型，可能最终促进了12个月时的整合能力。值得注意的是，这种趋同是条件性的。当面对其他种族面孔时，文化差异重新出现，加拿大婴儿仍能整合，而中国婴儿则不能。这一模式与成人和儿童文献中持续存在的文化差异相调和，说明早期经验不仅影响整合出现的时间，更影响整合在不同知觉情境中的稳健性和泛化性。

研究最终结论可概括为：文化差异在视听言语感知中并非晚期出现，而是在生命第一年内已建立；大脑绑定视觉和听觉信息的策略受到早期文化和知觉经验的塑造，这为语言习得理论和发展科学提供了新的重要视角。该研究通过严谨的跨文化婴儿实验设计，首次直接展示了文化体验对多感觉整合发育轨迹的早期影响。