超越整体准确率：评估基于日常家庭音频的照料者敏感度自动化测量方法

《Infant Behavior and Development》：Beyond Overall Accuracy: Evaluating an Automated Measure of Caregiver Sensitivity from Everyday Home Audio

　　

全文翻译如下：

---

• 全天家庭录音捕捉了家庭环境中照料者对婴儿痛苦信号的回应。
• 人工智能被用于对自然情境下母婴互动中的照料者敏感性进行分类，并与人工编码的敏感性评分进行对比评估。
• 自动摘要在估计照料者层面的响应模式方面显示出前景。
• 研究结果指出了在哪些情境下，基于人工智能的敏感性估计需要谨慎解读。

## 片段摘录

### 捕捉日常对婴儿痛苦的敏感性回应

虽然与传统的视频观察不等同，但家庭录音可以作为一种有价值的方式，让研究人员能够获取婴儿在日常生活中对痛苦信号的照料者回应体验（另见 Hubbard & van Ijzendoorn, 1991 等）。在婴儿期，痛苦通常通过 fussing 和哭泣等声音信号来表达，许多照料者对痛苦的回应也是有声可闻的，包括对婴儿说话的言语、安抚性发声、语调变化、唱歌以及各种声音。

### 自动分类照料者对婴儿痛苦的敏感性：超越单一准确率指标

最近，我们的研究小组开发并验证了第一个利用全天家庭录音自动分类照料者对婴儿痛苦敏感性的分类器（匿名）。我们的分类器基于可靠的人工编码数据训练而成，旨在捕捉 Ainsworth 及其同事（1978）最初概念化的对痛苦敏感性的有声特征，考虑照料者对情节中所有婴儿痛苦线索回应的时机、适宜性和一致性。

### 本研究

本研究考察了从天全天家庭录音中得出的自动分类是否能够捕捉自然发生的婴儿痛苦事件中照料者敏感性的有意义变异。母婴对在家中录音，婴儿痛苦事件同时使用人工编码的敏感性评分和人工智能生成的高敏感性与低到中等敏感性分类进行评估。

我们解决了两个主要目标。第一，我们考察了……

### 方法

本研究使用母婴对的全天家庭录音，考察人工智能对自然发生的婴儿痛苦事件中照料者敏感性的分类。人工编码的敏感性评分作为模型生成分类的真实基准。对于每位照料者，我们对所有编码的痛苦事件的人工编码敏感性和模型预测敏感性进行了汇总，以评估照料者层面的对应关系。我们还考察了事件层面的……

### 参与者

参与者来自一项更大的横断面研究（N = 87），该研究使用可穿戴音频传感器在家庭环境中考察婴儿发展。家庭通过便利抽样从（匿名）大都会地区招募，途径包括在线广告、社区传单和大学活动日历。数据收集时间为 2017 年 10 月至 2020 年 2 月。婴儿如果在 1 岁以上、有先天或遗传疾病、或者没有……则被排除。

### 程序：家庭录音

照料者使用语言环境分析（LENA, https://www.lena.org/）录音设备在选定的一周内的录音窗口期间完成家庭录音。要求家庭收集多达 72 小时的录音，包括工作日和周末的录音时段，并在可能的情况下至少包含一次长达 24 小时的录音。录音窗口由照料者在介绍性访问期间根据他们的日程和偏好来选择。照料者未被……

### 识别婴儿痛苦和确定痛苦事件

所有注释均在 ELAN 中使用时间对齐编码层级完成（https://archive.mpi.nl/tla/elan）。录音被分为连续的六小时片段，编码者通常在 1 至 2 小时的会话中工作以减少疲劳。编码完全依赖有声信息；较长的片段使注释者能够通过语音特征、互动模式和重复出现的上下文线索来区分不同的照料者。

经过培训的注释者识别婴儿痛苦发声，包括……

### 编码照料者敏感性

每个痛苦事件都根据一个全局七点 Likert 量表（1 = 最低，7 = 最高敏感性）进行评分，该量表源自 NICHD 早期儿童护理研究网络编码系统（1997），随后被改编用于痛苦情境中的敏感性（Leerkes et al., 2024），之后由我们自己的研究小组改编用于仅有音频数据（匿名；附录 A）。遵循 Ainsworth 最初的敏感性量表（Ainsworth, 1969），评分反映了……的及时性和适当性、一致性以及情感……

### 先前开发的分类器概述

在本研究中，我们分析了先前发表的一个由我们研究团队开发的照料者对婴儿痛苦敏感性自动分类器的预测（匿名）。该分类器旨在预测痛苦事件中照料者的敏感性是高还是低，使用二分的 人工编码评分作为真实标签。模型在痛苦事件层面运作：每段婴儿 fussing 和/或哭泣都被视为一个……

### 统计分析

分析在两个互补的层面评估模型性能。第一，照料者层面的分析检验了自动分类是否与各对之间敏感性的个体差异相对应。第二，事件层面的分析评估了模型分类单个痛苦事件的准确性，以及准确性是否随婴儿年龄、照料者层面的敏感性模式和事件特征而变化。

### 人工与自动分类之间的照料者层面对应关系

在照料者层面，人工编码和模型推导的敏感性使用相同的指标进行汇总：被分类为高敏感性的痛苦事件比例。对于每位照料者，我们计算了被人工编码者评为高敏感性（评分为 5 或以上）的事件比例，以及被模型分类为高敏感性的事件比例。照料者层面对应关系使用 Spearman 等级相关进行评估。为了评估这种关联是否独立于……

### 样本描述性统计

本研究包含 32 对母婴的数据。样本中的母亲平均年龄为 30 ± 5.12 岁（范围：22 - 42 岁），婴儿平均年龄为 4.25 ± 2.26 个月（范围：0.87 - 10.3 个月）。样本中约 59.4% 的婴儿为女性。样本相对多样化，包括 53.1% 非西班牙裔白人、31.3% 多种族、9.4% 西班牙裔非白人以及 6.3% 黑人/非裔美国人参与者。英语为家庭主要使用语言。家庭收入……

### 痛苦事件与照料者敏感性的描述性特征

我们从 32 个家庭的全天录音中识别出 387 个婴儿痛苦事件，每天痛苦事件数量从 1 个到 26 个不等（中位数 = 12.00；均值 = 12.10；四分位距 = 5.75 – 16.00）。所有录音中，所有痛苦事件的总时长为 2,402.67 分钟（40.04 小时）。单个家庭贡献的编码痛苦中位数为 72.82 分钟（范围：1.43 - 210.64 分钟）。单个痛苦事件持续时间的中位数为 3.53 分钟（范围：1.01 - 36.86 分钟）。

### 高敏感性事件比例在照料者层面的对应关系

在照料者层面，当人工编码和模型分类均被汇总为高敏感性痛苦事件比例时，自动分类与人工编码分类呈中度相关。模型分类为高敏感性的痛苦事件比例与人工编码者评为高敏感性的事件比例呈显著正相关（Spearman's ρ = .52, p = .002）。在线性回归中……该关联仍然显著。

### 总体事件层面分类准确率

我们的痛苦专用模型将 387 个事件中的 300 个正确分类为高敏感性与低到中等敏感性，总原始准确率为 77.52%。总体准确率高于我们模型的宏 F1 得分 0.725，这与不平衡样本中不同敏感性类别之间表现不对称一致。对于人工编码者评为高敏感性的事件，表现更强，正确分类率为 85.66%，F1 得分为 0.843，而对于评为低到中等……的事件表现较弱。

平衡准确率 / 宏召回率：72.00%

注：精确率、召回率和 F1 均通过将每个敏感性类别作为目标类别分别计算。宏平均值给予高和低敏感性类别相等权重。加权平均值根据每个类别中的事件数量进行加权。

### 事件层面准确率的照料者层面预测因子

在事件层面，较高的人工编码照料者敏感性与显著更可能正确分类相关（β = 0.65, SE = 0.15, z = 4.26, p < .001, 表 3），相当于敏感性每增加一个标准差，一致性几率增加约 1.9 倍（95% CI [0.35, 0.94]）。相比之下，照料者当日敏感性变异性（标准差）与分类准确率无显著关联（β = 0.02, SE = 0.20, z = 0.12, p > .05）。

---

## 讨论

随着人工智能应用的能力扩展到解决更复杂的数据问题，评估自动化指标以与其旨在捕捉的构念相一致变得越来越重要。在本研究中，我们在先前关于母婴痛苦敏感性自动分类的工作（匿名）基础上进行了扩展，超越全局准确率指标，在照料者间和事件两个层面考察模型性能。在 387 个痛苦事件中……

### 自动分类捕捉了高敏感性回应中照料者层面的有意义差异

开发照料者敏感性自动化指标的一个主要动机是，能够在扩展的自然情境录音中低负担地评估照料质量的个体差异。与此目标一致，模型推导的照料者汇总与人工编码汇总呈中度对应（ρ = .52）。人工编码高敏感性事件比例较高的照料者，其模型推导的高敏感性事件比例也倾向于较高。

### 个体敏感性评分预测模型准确率

我们的事件层面分析表明，模型性能在敏感性连续谱上并非均匀分布。具体而言，被评为较高敏感性的事件（基于 1-7 原始量表），即使在同一照料者内部，也被模型正确分类的可能性显著更高。我们还发现，对于低到中等敏感性评分（4 或以下）的事件，在敏感性连续谱最低端的准确率最高，这表明更清晰的……不敏感回应对分类最有利。

### 痛苦事件特征系统性影响自动分类准确率

事件持续时间和痛苦类型也是模型性能的显著预测因子。较短的事件（< 3.5 分钟）比较长的事件分类更准确。这可能反映了较长的照料事件复杂性更高，模型需要在更多的发声中追踪婴儿痛苦和照料者回应，面对更多无关言语的机会，以及在更长时间内更大的照料者行为变异性。

仅有 fussing 的事件（无哭泣）被分类得更准确。

### 潜在与年龄相关的模型准确率变异

探索性分析表明，模型性能可能随婴儿年龄而变化，在较大婴儿中观察到较低的准确率。然而，这一模式应谨慎解读，因为敏感性分析表明它可能由两对年龄较大、分类准确率特别低的婴儿-母亲组合所驱动。因此，与年龄相关的模式可能反映了年龄范围上端有限的数据覆盖和具有影响力的案例，而非模型性能随发展线性下降的稳健趋势。

### 即使利用自动化指标也能促进发展科学研究

我们的研究结果为更广泛地讨论自动化音频指标如何在发展研究中使用做出了贡献。例如，基于 LENA 的自动化指标已成为大规模估计儿童语言环境的有价值的工具，但验证工作表明，性能因被估计构念的类型而异。相对简单的基于计数的自动化指标，如成人词数，通常与人工注释显示出较强的对应关系，而……

### 潜在局限与未来方向

总体而言，模型正确分类了约四分之三的 所有痛苦事件，展示了一种可在长格式自然录音中刻画照料行为的可扩展方法。然而，在解读这些发现时，应考虑若干局限性，其中许多也指向开发和评估自动化行为指标的重要下一步。

首先，照料者敏感性是一个多模态构念，而本研究的模型设计为……

### 结论

在本研究中，我们评估了当使用与发展科学研究核心问题相一致的指标时，照料者敏感性的自动分类器表现如何。总体而言，我们的发现表明，基于音频的自动分类可能提供一种可扩展且低负担的方法，用于捕捉日常情境中照料者对婴儿痛苦的敏感性方面。虽然自动化估计不能与已建立的敏感性人工编码指标互换使用，但它们……

### 伦理声明

已从所有参与者或其法定代理人处获得参与研究和发表文章的书面知情同意。参与者的隐私权得到尊重。

### 人体研究声明

本研究在研究所在地的相关法律、监管框架和指南下进行了合规审查。

本研究获得德克萨斯大学奥斯汀分校伦理委员会批准。（批准号：2017-06-0026）

### 未引用参考文献

（Ainsworth et al., 1978a, Ainsworth et al., 1978b, Leerkes et al., 2009a, Leerkes et al., 2009b, Li et al., 2025a, Li et al., 2025b, NICHD Early Child Care Research Network, 1997, Tryphonopoulos et al., Yao et al., 2019a, Yao et al., 2019b）

### CRediT 作者贡献声明

Anna Madden-Rusnak：撰写 – 审阅与编辑，撰写 – 初稿，可视化，验证，项目管理，方法论，正式分析，数据整理。Priyanka Khante：资源，方法论，正式分析，数据整理。Kaya de Barbaro：撰写 – 审阅与编辑，验证，监督，资源，项目管理，方法论，调查，资金获取，数据整理，概念化。

### 利益冲突声明

作者声明以下财务利益/个人关系，这些关系可被视为潜在的利益冲突：Kaya de Barbaro 报告获得了美国国立精神卫生研究所的财务支持。

如有其他作者，他们声明没有任何已知的竞争性经济利益或个人关系，这些情况可能被认为会影响本论文中报告的工作。

致谢

本工作得到了国家精神卫生研究所K01奖（1K01MH111957-01A1）、授予K. de Barbaro的国家药物滥用研究所R01奖（1R01DA059423-01）以及德克萨斯大学"完整社区、完整健康"重大挑战计划的资助。

特别感谢我们出色的研究助理：Daisy Green、Lesly Chavez、Neha Momin，感谢他们完成的标注工作。我们同样感谢使本工作得以实现的各个家庭！

利益冲突

作者没有需要披露的利益冲突。

Anna Madden-Rusnak | Priyanka Khante | Kaya de Barbaro