基于机器学习的行为学方法用于检测婴儿和幼儿对声音的反应：概念验证研究

《INTERNATIONAL JOURNAL OF AUDIOLOGY》：Machine learning-enhanced behavioural approach to detecting reactions to sound in infants and toddlers: proof-of-concept study

　　**摘要**
**目的** 证明一种基本的无监督机器学习（ML）算法可以利用不可识别的视频录制面部特征来提供关于儿童和婴儿对声音反应方向的信息。

**设计** 向婴儿和幼儿展示向左或向右45度的颤音或单音节发音。摄像机记录他们的反应，然后使用OpenFace提取头部转动或目光等特征。通过对80%的幼儿数据应用期望最大化算法形成三个簇。剩余的20%数据和所有婴儿数据用于验证这些簇是否代表了向左、向右以及两个方向的声音呈现的组别。

**研究样本** 28名婴儿（2-5个月）和30名幼儿（2-4岁），他们都是早产儿（妊娠年龄<32周），每组分别听到十种声音。

**结果** 最大的簇包含了两个方向声音呈现试验的90%，表明“没有决定”。其余两个簇可以解释为分别对应向左和向右的反应，幼儿的平均敏感度为96%，婴儿为68%。

**结论** 一个简单的机器学习算法证明了它可以使用不可识别的面部行为数据正确判断声音呈现的方向。

**关键词** 人工智能；机器学习；婴儿；听觉；视觉强化；行为反应；行为观察；概念验证；声音检测

**1. 引言**
先天性听力损失是出生时最常见的状况之一，会导致不良的神经发育结果，包括语言、学术和社会技能缺陷（Moeller等人，2007年；Yoshinaga-Itano等人，2021年）。听力损失风险最高的是那些在新生儿重症监护室（NICU）接受护理的极早产儿（Beswick等人，2012年；Hirvonen等人，2018年；Hunter等人，2023年）。幸运的是，如果能在出生后的几个月内进行诊断和干预，通过普遍的新生儿听力筛查计划可以有效解决先天性听力损失问题（Ching等人，2017年；Sininger等人，2009年；Tomblin等人，2015年；Yoshinaga-Itano等人，1998年）。

**1.1. 儿科行为听力评估方法**
评估婴儿对声音的反应对于验证电生理听力评估以及确定听觉干预的必要性和有效性至关重要。基于一项关于发育里程碑的大规模研究，婴儿在1周大时会对声音产生警觉，并在4个月大时朝向声音方向（Capute等人，1986年）。长期以来，人们使用行为观察来评估婴儿对声音的微妙反应，即行为观察听力测试（BOA）（Bench等人，1976a、1976b、1976c）。BOA是一种无条件程序，依赖于婴儿的行为反应，如吸吮变化、眼球移动、额头皱起或头部朝向变化。然而，这种行为观察方法需要高度训练的观察者，其成功与否取决于孩子的年龄、发育水平、注意力持续时间以及合作程度（Widen & Keener，2003年）。BOA在反应和受试者内部存在较高的变异性，并且容易产生快速反应习惯化（Hicks等人，2000年），并且在临床环境中难以控制观察者偏见（Widen，1993年）。因此，通过BOA获得的反应被认为不适合或不够可靠，无法用于临床。

出于研究目的，开发了一种基于观察者的心理声学程序（OPP），该程序需要高度训练的人类观察者和专用软件（Olsho等人，1987年；Werner & Marean，1991年）。OPP通过为观察者提供听觉掩蔽，并采用双选项强制选择反应范式和心理声学跟踪来控制观察者偏见，从而允许对尚未达到VRA测试发育阶段的非常年幼的婴儿进行测试（Olsho等人，1988年）。然而，尽管使用了训练有素的观察者，许多非常年幼的婴儿的反应仍然不够可靠，且他们的阈值比儿童和成人更低，这可能是由于注意力不集中或不同的听觉策略。因此，OPP通常不适用于临床应用。

大约在6-7个月大的发育阶段，婴儿开始可靠地对声音输入作出头部转动反应。此时，通常使用视觉强化听力测试（VRA）来诊断听力损失并跟踪干预效果（Widen & Keener，2003年）。VRA涉及在呈现听觉刺激后训练孩子做出头部转动反应（检测而非定位任务）。最常见的方法是让婴儿看向视觉目标，如玩具或视频显示器，但不成熟的或微妙的反应也可能包括眼球移动/静止或安静。VRA通常推荐用于6个月至2.5岁的婴儿和幼儿，因为一些较大的孩子可能会对强化失去兴趣或过于活跃，需要任务来保持注意力。尽管VRA被广泛使用，但它也有局限性：反应可能受到孩子的发育水平、疲劳或分心的影响。此外，如果孩子预期得到强化而不是对听觉刺激作出反应，可能会出现假阳性结果，而且在运动延迟、视觉注意力有限或视觉障碍的儿童中测试可能具有挑战性。最后，VRA通常需要两名训练有素的人员参与，这在人员有限的繁忙临床环境中可能成为后勤挑战。

条件反射游戏听力测试（CPA）是一种行为听力测试，通常用于大约2.5至5岁的儿童，此时他们已经发育到可以参与结构化游戏任务的阶段。CPA涉及训练孩子在听到听觉刺激时执行简单任务，如堆叠环、搭建塔等。将听力测试转化为游戏可以提高注意力和动机，从而在更广泛的测试频率范围内获得更可靠的阈值信息（Thompson & Thompson，1972年；Thompson & Weber，1974年）。然而，成功的CPA要求孩子理解任务，并能够在反应前等待刺激，这对于有发育延迟、注意力困难或运动技能有限的儿童来说可能具有挑战性。

总之，虽然有几种临床用于评估婴儿和幼儿听力的行为方法，但每种方法都有其局限性和挑战，成功与否高度依赖于孩子的性格、注意力和参与任务的能力。此外，许多听力损失的儿童还有共病情况，如发育延迟或神经认知障碍，这使得完成行为评估变得困难。因此，评估非常年幼的婴儿和难以测试的人群的听力仍然是一个重要的临床挑战。为了填补这些空白并提高诊断准确性，探索不依赖于观察者对行为反应主观解释的客观听力评估方法至关重要。

**1.2. 人工智能和听觉研究**
人工智能（AI）在医疗环境中的使用越来越普遍，正在迅速改变医疗保健服务和医学研究。AI是一个广泛的术语，包括几个子领域，如机器学习（ML；系统从数据中学习并做出预测，无需明确编程）、深度学习（ML的一个子领域，使用多层人工神经网络）以及最近的生成式AI（开发新的内容，如文本、音频、图片等）和大型语言模型。此外，已经确定AI有潜力通过提高诊断准确性、增加治疗效率并最终优化患者结果来改善医疗护理（Chinta等人，2025年）。

尽管AI具有优势，但在医疗保健和研究中的使用也带来了固有的挑战。首先，许多ML技术需要大量数据集——基本算法通常需要数万条测量数据，而复杂的图像识别任务则需要数百万条数据（Deng等人，2009年；Krizhevsky，2009年）。在儿科听力研究中，这样的数据集是不可用的，需要人类观察者进行大量手动标注。其次，数据隐私的伦理问题也很重要。高性能的端到端深度学习模型通常依赖于原始图像，这些图像无法完全匿名化，因为面部特征和其他标识符仍然嵌入在数据中。这引发了关于遵守隐私法规和参与者保密性的担忧。为了降低这些风险，研究应优先存储低维的、不可识别的反应表示，而不是原始图像。

OpenFace（Baltrusaitis等人，2019年；Baltru?aitis等人，2015年）是一个开源软件工具包，用于分析视频数据。它可以用来从视频记录中提取标准化的面部行为特征，包括三维头部位置、三个不同轴上的头部旋转、目光方向以及面部动作单元的激活（例如眉毛抬起）。与编码面部特定部位位置的面部标志不同，这些变量不太可能导致孩子的识别。额外的过程，如使用主成分分析（PCA）减少数据量，可以进一步确保隐私。未来的工作应专注于使用有限集的匿名行为指标的方法，同时为收集大型、临床相关的数据集提供依据，这些数据集后来可能支持更复杂的ML解决方案，例如用于临床实施的深度神经网络。

在听力学领域，最近出现了大量使用AI方法的出版物（Frosolini等人，2024年）。在一篇关于AI在听力学中的系统综述中，Frosolini及其同事确定了自1990年以来的104篇出版物，其中大多数（87.5%）发表于2020年后。大多数出版物集中在治疗和预后应用（34.6%）、听力评估（33.7%）、独特应用和探索性研究（21.1%）、颞骨放射学（5.8%）和前庭诊断（5.8%）。关于听力评估，出版物涵盖了从听力筛查和诊断评估（Gathman等人，2023年；Liu等人，2021年；Xie等人，2025年）、中耳功能测量和中耳炎诊断（Peng等人，2025年；Zeng等人，2022年）、听力保护（Zeitler等人，2024年）以及植入后编程（Wathour, Govaerts, Derue等人，2023年；Wathour, Govaerts, Lacroix等人，2023年）等主题。然而，大多数听觉AI研究集中在成人和较大儿童身上。关于婴儿的AI文献主要集中在分类中耳功能和电生理评估的分析上，包括解释听觉脑干反应（McKearney等人，2022年）、分类婴儿对鼓声与重复音节的声音反应（Gibbon等人，2021年）以及对新生儿音高处理的研究（Hart & Jeng，2021年）。目前，很少有出版物使用AI方法来检测幼儿对声音的行为反应（Xie等人，2025年），其中没有针对婴儿的研究。在这一人群中进行行为听力评估存在固有挑战，因此迫切需要替代方法。利用AI和机器学习（ML）可能为客观测量婴儿的声音检测提供解决方案。如果成功，它有可能改进婴儿评估方法，最终影响诊断、指导治疗并改善结果。

**1.3. 研究目的和研究问题**
本文概述了我们最初使用ML测量婴儿和幼儿对音调和语音声音的反应的努力，包括眼睛、面部和身体动作。在这种方法中，摄像机替代了人类观察者，一个在验证数据上训练的算法确定观察到的动作是否表示对声音的反应。具体来说，我们检查了婴儿面部和躯干的光学扫描，并结合ML来监测对声音的反应，包括人类观察者可能无法可靠检测到的微妙线索。因此，这项研究的总体目的是调查是否可以使用ML方法训练类似行为观察的听觉任务，以学习婴儿何时转移目光、转动头部或通过面部表情（如眼睛睁大或眉毛抬起）来响应声音。研究包括一组早产儿（2-5个月）和幼儿（2-4岁），他们在同一天接受了听力评估和ML协议。在这项概念验证研究中，主要研究问题是：（1）ML能否根据婴儿和幼儿对声音刺激的头部和面部变化来对反应进行分类？（2）当婴儿和幼儿对声音作出反应时，训练有素的算法能否准确检测声音呈现的方向？

**2. 方法**
**2.1. 研究设计和参与者**
参与者是从美国俄亥俄州辛辛那提市的NICU出生不久的非常或极早产（妊娠年龄<32周或更少）的婴儿和幼儿，他们被纳入了一个纵向项目，以改善早期发现语言和言语延迟。这个群体因听力损失风险较高以及由于更普遍的发育延迟而难以进行行为评估而受到研究关注。已知有染色体异常或影响中枢神经系统的先天性疾病的婴儿被排除在外。所有家庭主要使用英语，并同意对其孩子的视频和音频进行录制。参与者包括58名儿童，分为婴儿组（n=28，平均年龄3.0个月，范围2.1–4.6个月）和幼儿组（n=30，平均年龄29.8个月，范围23.9–41.7个月）。所有年龄均根据胎龄进行了校正。所有参与者都参加了一次ML研究，并进行了听觉脑干反应测试（婴儿组）或适合年龄的行为听力测试（幼儿组）。通过1 kHz啁啾声诱发的听觉脑干反应阈值（≤ 20 dB eHL）（Sininger等人，Citation2020），确定婴儿双耳听力正常。对于幼儿，听力状况基于VRA或条件游戏听力测试（CPA）阈值，使用耳机或声场扬声器播放实时语音和纯音刺激（1、2、4和8 kHz）（Hunter等人，Citation2023）。如果只完成了声场测试，则通过226 Hz鼓室导抗测量、2-10 kHz的失真产物耳声发射以及在后续研究访问中的重复行为听力评估来确定耳朵特定的听力状况。幼儿双耳听力正常（n=29，≤ 20 dB HL），除了一个有轻度传导性听力损失的幼儿（阈值在30至35 dB HL）。该研究得到了辛辛那提儿童医院医学中心机构审查委员会的批准。在招募前，已从所有儿童的看护者那里获得了知情同意。

2.2. 设备
所有测试都在一个经过声音处理的隔间内完成，使用了一个定制的Python程序。听觉刺激通过Crown D-75A（Harman）放大，并通过两个声场扬声器（Control 1Xtreme，JBL）中的一个呈现。声场扬声器位于婴儿/幼儿耳朵水平方向45度处，距离大约1米。计算机显示器直接放置在孩子面前，位于两个声场扬声器之间的中点。为了记录孩子的反应，一个视频摄像机（AF/FHD1080P，FUVISION）被放置在显示器下方（见图1）。

图1. 实验设置：幼儿坐在高脚椅上，声场扬声器分别位于耳朵右侧和左侧，与耳朵成45°角，高度相同。计算机显示器正前方，整个测试过程中持续播放一个居中视频。视频摄像机放置在计算机显示器下方。

2.3. 刺激
向孩子们展示了五种不同的听觉刺激，包括频率调制啁啾音调（持续时间为500毫秒，调制率为5%，调制深度为5%，载波频率为0.5、1、2 kHz），以及通过右侧或左侧声场扬声器以60 dB SPL的音量呈现的发音（“ba”和“da”），这大约相当于日常对话的音量。每种刺激以随机顺序从左侧或右侧扬声器中呈现两次。刺激使用Larson Davis System 824声级计（纽约Depew）和Brüel & Kj?r ?”麦克风进行校准。

2.4. 程序
幼儿坐在高脚椅上，如果不安则由看护者抱着；婴儿始终由看护者抱着（见图1）。如果看护人在视频录制区域内，他们会佩戴面罩覆盖鼻子和嘴巴，以确保分析软件不会检测到并包含他们的面部在收集的数据中。每个孩子都在一次会话中接受测试，开始时会有一个听觉视觉提示：计算机显示器上显示一个黑白笑脸，同时通过两个声场扬声器播放“Hello Baby”这句话，以将孩子的视线引导向前。对于婴儿，测试过程中会展示一个缓慢旋转的彩色形状，以帮助保持他们的注意力。对于幼儿，在听觉提示之后会展示一个缓慢移动的彩色场景。测试助手（坐在隔间内，靠近计算机显示器）在需要时重新调整孩子的位置，确保孩子保持直立并能看到计算机显示器。当孩子处于正确位置且安静时，测试助手通过按键手动触发每个声音（语音或音调）的呈现。与典型的临床强化程序不同，这里不对孩子的反应给予奖励。这种简化方法用于确定ML是否能够检测到婴儿和幼儿对声音的自发反应，而不是经过训练的反应和强化后的头部转动。这是为了证明除了头部转动之外的自然反应也可以被检测到。刺激之间的间隔至少为6秒。在某些情况下，需要更长的间隔来重新调整孩子的位置。在这个协议中，测试会话平均持续114秒（标准差=27秒；范围=81-287秒）。所有参与分析的儿童都在一次会话中成功完成了测试协议。

2.5. 使用OpenFace进行数据预处理
为了保护参与者隐私并避免共享原始图像或视频用于机器学习分析，所有视频数据都存储在内部。每个视频图像都使用OpenFace（Baltru?aitis等人，2019）进行处理，每帧视频生成55个标准化特征。这些特征包括对35个面部动作单元激活程度的估计（Baltru?aitis等人，Citation2015），例如眉毛是否抬起以及抬高的程度。其余特征编码了注视方向（每个眼睛的x、y和z方向，以及两个眼睛的平均x和y角度（Wood等人，Citation2015）、头部的位置和旋转（6个特征：每个空间维度/轴的3个坐标和3个角度）以及头部形状的6个特征。在对刺激起始反应时间进行分析后（见结果部分），这些55个特征被存储在刺激起始后2秒内的单帧视频中。对于这个数据集，最多获得了580个案例（58名参与者×每个参与者10次刺激呈现）。然而，有20个案例在刺激起始后2秒内没有数据（2个婴儿案例，18个幼儿案例；即声音呈现后没有行为反应）。因此，共有560个案例或特征集（278个婴儿案例，282个幼儿案例）被纳入分析。

2.6. 使用期望最大化（EM）进行聚类
为了避免为算法训练数据而进行注释，采用了无监督机器学习并通过声音呈现的方向进行验证。无监督聚类ML算法可以在没有标签的情况下学习数据中的结构，并将每个测量值分配到一个簇中。该算法被训练来识别以面部特征为定义标准的三个簇。形成的簇的含义通过将三个预测簇与来自左侧、右侧或无方向的反应进行匹配来验证。期望最大化（EM，Dempster等人，Citation1977）使用多变量高斯分布对数据进行建模。因此，每个簇由其均值和分布表示。EM不仅学习了数据在每个维度上的分布（例如头部转动和眼睛注视在垂直轴上的分布），还学习了这些维度之间的协方差。例如，头部向右/左转动可能与眼睛向右/左注视相关，因此不会提供太多额外信息。EM迭代地更新其对参数的信念，并自行学习以使这些分布与收集的数据相匹配。简而言之，它从每个簇的初始均值和协方差开始，然后将所有数据点分配到一个簇中（期望步骤）。之后，根据当前预测属于该簇的数据更新每个簇的均值和协方差（最大化步骤）。这两个步骤重复进行，直到参数收敛。该算法在幼儿组的80%（n=226）参与者上进行了训练。剩余的20%（n=56）幼儿组和所有婴儿组（n=278）的观察结果被用作验证集。仅使用幼儿数据进行训练的原因是我们预期他们的反应更可靠。特别是，婴儿可能只能执行幼儿能够执行的动作的一部分，或者根本无法转动头部。

EM应用于四组各包含两个特征的数据：（1）头部沿垂直轴（偏航，向左或向右转动）和x轴（俯仰，点头）的旋转；（2）左眼在世界坐标中的注视方向向左/右和向上/向下；（3）两只眼睛的平均注视角度向左/右和向上/向下；（4）所有55个特征的主成分分析的前两个分量。对于分析1至3，可以预期编码向左和向右看的第一个变量最能描述对来自左侧或右侧的刺激的反应，但第二个变量也可能提供关于任何方向反应的一般信息。EM使用R EMCluster包（Chen & Maitra，Citation2015）进行。由于EM算法的结果取决于随机初始化，因此遵循以下程序以确保结果的可重复性和一致性：首先，算法执行五次，选择最佳性能的解决方案（使用“exhaust.EM”函数）进行初始化，使用“shortemcluster”函数和0.0001的收敛容忍度。除了PCA分析外，这个过程重复100次，或者直到所有均值坐标的最大值至少是最小值的一半且符号相反，反之亦然。这样做是为了鼓励算法产生两个符号相反的簇，尽管我们没有强制它们位于特定的或相同的维度。之后，使用默认参数运行“emcluster”函数来确定三个簇。

3. 结果
3.1. 反应时间和绝对头部角度分析
为了确定孩子们是否以及何时对刺激作出反应，分析了刺激起始后头部向左或向右的绝对角度随时间的变化。图2显示，在刺激起始之前，幼儿和婴儿的头部角度平均偏离中心约10度（绝对值的平均值）。幼儿组在刺激起始后2到3秒内表现出最大的反应，平均头部转动17度（0.30弧度），而婴儿组则很少或几乎不转动头部，平均转动约12度（0.21弧度），也在大约2秒时。基于这些结果，我们决定分析刺激起始后2秒内的单帧数据，并使用头部反应更强的幼儿组来训练EM算法。

图2. 幼儿组（紫线）和婴儿组（绿线）的头部向左或向右转动的平均绝对角度（偏航），相对于相机位置，作为刺激起始后时间的函数。红线表示分析窗口（2秒）。

3.2. 期望最大化分析
EM应用于四组各包含两个特征的数据：（1）头部沿垂直轴（偏航，向左或向右转动）和x轴（俯仰，点头）的旋转；（2）左眼在世界坐标中的注视方向向左/右和向上/向下；（3）两只眼睛的平均注视角度向左/右和向上/向下；（4）从所有55个特征计算出的主成分分析的前两个分量。所有试验的头部转动结果（图3）显示，大多数试验没有产生可观察到的头部转动反应。大多数数据点位于原点附近，表明没有头部转动，没有特定方向的注视，也没有反映在前两个主成分中的明显反应。两只眼睛的注视方向与仅左眼的结果非常相似，然而，并非所有数据点都相同，表明有些注视动作中左右方向不同。大约90%的案例接近原点，剩下10%的案例是算法做出决策的。然而，这些数据仅反映了一个帧（刺激起始后2秒），对于概念验证来说，更重要的是展示算法做出决策时的正确性。通过期望最大化（Expectation Maximisation, EM）预测的三个簇的多变量高斯分布。黑色十字和椭圆表示分布的均值和协方差。红色符号表示声音从右侧呈现时的反应，蓝色符号表示声音从左侧呈现时的反应。十字（x）表示来自幼儿组的训练数据。验证数据分别用三角形（婴儿）和圆形（幼儿）表示。

表1显示了每个特征集、类别（即预测方向）和数据集（训练集与验证集）的预测数量，并区分了声音是从左侧还是右侧扬声器呈现的。这使我们能够计算每个特征集的特异性。

对于头部旋转特征集，在幼儿验证组中，56个案例中有6个案例做出了预测决策（即左侧或右侧预测类别，而非中心）。在这6个做出决策的案例中，有5个案例的头部转向是预期的方向（即声音来自左侧扬声器且预测类别为左侧，反之亦然）。在婴儿验证组中，24个向左头部转动的案例中有13个发生在声音来自左侧扬声器之后，52个向右头部转动的案例中有31个发生在声音来自右侧扬声器之后。这导致了58%的特异性。使用单侧二项式显著性检验（即评估在50%的猜测率下至少有44个反应正确的概率），结果并未显著高于50%的猜测率，p = 0.07。尽管如此，幼儿组的验证数据量太少，无法进行有意义的统计测试，但6个决策中有5个（83%）是预期的方向。

对于左眼的注视方向，幼儿验证组在56个案例中有4个案例做出了决策，所有4个预测都是预期的方向。在婴儿组中，278个案例中有20个案例做出了决策，其中16个预测是预期的方向，特异性为80%，统计显著性为p = 0.006。

对于双眼平均注视方向（图3，左下角面板），幼儿验证组的6个反应都是预期的方向（100%），婴儿组的48个反应中有32个也是预期的方向，特异性为67%，统计显著性为p < 0.001。

PCA捕捉了除头部转动和注视之外的特征或特征组合。表1显示了基于前两个组分的EM性能。对于幼儿验证组，只有6个预测，但所有预测都是预期的方向（100%）。对于婴儿验证组，38个预测中有25个是预期的方向，特异性为66%（p = 0.04）。

人类观察者会根据头部转动等明显的行为反应做出决策，而对于眼球运动等微妙特征则不太可靠。结合特征可以是更复杂机器学习算法的优势。我们通过比较基于头部运动的预测与基于双眼平均注视的预测之间的一致性来研究提高敏感性的潜力。对于幼儿，在4个案例中，头部运动和注视都做出了决策，并且方向一致。对于每个头部运动和注视，各有2个案例只有一种做出了决策。因此，总共有8个案例是基于头部运动或注视做出决策的，而每种单独使用时各有6个案例。对于婴儿，结合基于头部转动的76个反应和基于注视方向的48个反应，仅使决策数量增加了82个。在这42个两个特征都导致决策的案例中，有39个预测的方向一致。在头部运动和注视不同的3个案例中，所有3个案例都由注视正确预测，且这三个案例都发生在声音来自左侧时。

这里使用的机器学习方法对刺激的性质和方向（左侧或右侧扬声器）以及反应类型是不知情的，但仍能够根据幼儿的反应训练出检测注视方向和角度的算法。在婴儿中，27%的案例检测到了头部转动，但只有58%的转动是朝向刺激呈现的方向。当基于眼球注视进行预测时，这一比例稍高，为67%至80%，然而只有7%至17%的案例能够做出决策。由于婴儿通常不会做出明显的头部转动，因此在早期听力诊断和康复开始的关键几个月内，基于多种面部特征的机器学习方法可能很有帮助。

EM算法在不知道刺激来自哪一侧的情况下形成了簇。尽管如此，总是形成了三个簇：一个位于中心，另外两个分别位于左侧和右侧，左侧和右侧簇出现的概率大致相等，这是预期之中的。PCA数据也是如此，它包含了关于面部运动的额外信息。因此，仅从数据中就可以获得有意义的听觉反应的侧化信息。

在PCA分析中，幼儿验证组的11%和婴儿验证组的14%的案例做出了决策。在这些案例中，PCA结果显示出高特异性，幼儿组的所有6个预测都是正确的，婴儿组为66%。然而，与仅使用注视相比，这并没有带来显著改进。PCA是一种相对简单和线性的特征组合方法。尚需观察基于更大数据集（1000名或更多参与者）和监督特征组合的更复杂方法是否能提供更好的性能。PCA仅从前55个特征中无监督地形成的两个组分就显示出高特异性，这对此类方法来说是一个积极的信号。婴儿组的最低准确率是在分析头部转动时获得的，这表明婴儿的头部转动次数少于接受算法训练的幼儿。

当前分析的一个显著缺点是大量数据没有关于孩子看向左侧还是右侧的决策。在幼儿验证数据中，这一比例约为90%，在婴儿验证数据中为73%至93%，具体取决于特征集。这可能部分是由于孩子没有对刺激作出反应，或者反应在刺激开始后2秒内完成或开始时间较晚。图3显示，大多数头部转动和注视数据集中在电脑屏幕或摄像机上，而不是两个声场扬声器之一。这与先前的研究结果一致，这些研究表明12至18个月大的婴儿对未强化的复杂噪声的头部转动反应率为32%（Moore等人，引用1975年），而只有25%的6至30个月大的婴儿对颤音做出了可靠的头部转动反应（Shaw & Nikolopoulos，引用2004年）。另一种可能性是，测试助手的任务是保持孩子向前看，并在孩子看向其他方向时将其调整回来，这可能干扰了反应。此外，相当数量的头部转动和眼球注视方向与预期相反，这一点从图表两侧的蓝色和红色符号可以看出。理论上，通过计算任一方向的头部转动，并考虑更宽的时间窗口（而不是刺激开始后的单帧2秒），可以改进算法，从而提高决策率。这需要控制试验（无声音）数据，并将控制试验与声音试验进行比较，而不是当前研究中的左侧/右侧比较。这与传统的VRA方法一致，后者仅需要通过条件反射的头部转动来检测声音，而不要求头部转动朝向声源方向。换句话说，当VRA用作检测任务而不是定位任务时，其敏感性更高（Widen等人，引用2000年）。此外，这些技术可以用于VRA程序中，其中孩子的头部转动会得到强化，从而显著增加观察到的转动行为，从而提高正确分类的可能性。真正的观察者可以通过观察了解孩子的反应时间，并能够包括缓慢但一致的反应。有效的AI方法同样能够学习并适应个体的反应时间。

总之，目前的分析使用简单的机器学习技术和少量数据证明了概念的可行性，并以合理的特异性分类了头部转动方向。通过OpenFace进行预处理后匿名化的更多数据将使我们能够使用更复杂、可能更准确的机器学习方法，如变分自编码器（Kingma & Welling，引用2013年）来替代PCA，使用神经网络捕捉特征之间的非线性相互作用，以及更复杂的AI，后者不是分析单帧，而是分析刺激开始后的整个时间跨度。这些方法可以提高检测的敏感性，从而实现诊断和康复听力测量应用。通过人类观察者手动标记的数据（判断孩子是否表现出面部反应），可能会进一步提高准确性，因为检测任务比当前的定位范式更容易。

最后，这项概念验证研究是在听力正常的婴儿和幼儿中进行的，他们在行为听力评估中的完成率很高（60%的幼儿完成了全部评估，定义为每只耳朵有2个言语阈值和4个纯音阈值），这可能部分解释了婴儿和幼儿验证组在做出决策时观察到的强分类性能（幼儿案例为7%至11%；婴儿案例为7%至17%）。未来的工作应在更具临床复杂性的群体中评估这种方法，例如有听力损失的儿童以及有额外神经或发育状况的儿童——这些群体通常使用传统行为方法最难测试。研究这种方法的临床意义，包括将基于机器学习的分类与训练有素的临床医生的判断进行比较，将提供宝贵的见解。正在进行的数据收集包括足月婴儿以及有听力损失和发育状况的婴儿和幼儿的子集，这将允许我们在未来的研究中探索这些问题。

**结论**
在这项概念验证研究中，一个无监督的机器学习算法被用来形成三个有意义的簇。“算法未做出决策”的簇包含了90%的数据。当关于声音呈现方向（“右侧”和“左侧”簇）做出决策时，对于幼儿来说大部分是正确的，对于婴儿来说显著高于随机正确率，尽管该算法是基于幼儿的反应进行训练的。

自动VRA可以使用无监督的机器学习技术和少量数据来实现，正如本研究中使用期望最大化所展示的那样。这里展示的性能水平可以为人类评分者提供额外的意见。该方法应用于匿名数据，通过预处理图像来获取头部和面部的动作，而不是面部的描述。这使我们能够跨诊所收集和共享数据，并将更强大的AI技术（如深度学习）应用于更大的数据集。

**机构审查委员会批准**
本研究获得了辛辛那提儿童医院医学中心机构审查委员会（PI: Parikh, IRB#:2016-4483）的批准。