连接机器学习与基于事件的分析以评估家庭音频记录中母亲对婴儿非痛苦和痛苦发声的条件性反应

《Developmental Science》：Bridging Machine Learning and Event-Based Analyses to Assess Maternal Contingent Responses to Infant Nondistress and Distress Vocalizations From Home Audio Recordings

　　

照料者-婴儿发声互动是早期发展的基础，然而大多数证据来自短暂的实验室或家访观察，评估日常环境中的照料者-婴儿发声条件性需要可扩展的方法。为此，研究人员将机器学习（ML）与传统的基于事件分析相结合，以测量从家庭全天音频记录中评估的母亲条件性发声反应性。在研究1中（N=61名婴儿；1–18个月，平均年龄M_age=9.43个月），研究人员评估了一种基于wav2vec2的音频标记算法，用于检测婴儿非痛苦和痛苦发声以及照料者发声。与人工标注相比，该算法表现良好。在研究2中（N=56名婴儿；1–10个月；M_age=6.61个月），研究人员将该算法应用于全天家庭音频记录。基于ML生成标签的母亲反应率与基于人工标注标签的反应率表现出强一致性，尽管观察到一致的正偏差（ML>人工）。在20个最活跃的片段中，反应率分布倾向于更高的值，相对于所有可用的母婴互动片段。此外，平均而言，20个最活跃的片段（相对于所有可用片段）产生更高的母亲反应率，但较低的基础率调整后的条件性估计。反应率随滞后窗口增加而增加，在大多数情况下，最显著的增加出现在1到2秒之间，之后收益递减。总之，这些发现支持ML衍生的发声标签用于可扩展的条件性估计，并强调了在从全天家庭记录中估计母亲条件性反应性时，关于抽样和滞后窗口的分析决策。

**论文解读：基于机器学习的家庭音频分析评估母亲对婴儿发声的条件性反应**

### 研究背景与问题
早期母婴互动中，母亲对婴儿发声的条件性反应（如迅速回应婴儿的咿呀学语或哭声）是婴儿社会情感、认知和语言发展的关键促进因素。传统研究主要依赖实验室或家访的短时观察，样本量小且生态效度有限。近年来，可穿戴设备和机器学习（ML）的发展使得在自然家庭环境中长时间记录并分析母婴互动成为可能，但如何从全天音频中准确、可扩展地量化母亲的条件性反应仍面临挑战。现有工具（如LENA系统）在婴儿发声分类（尤其是区分痛苦与非痛苦发声）和交互过程指标（如对话轮次）的准确性上存在局限，且缺乏开源灵活性。本研究旨在通过整合ML与基于事件的分析，开发并验证一种基于wav2vec2-LittleBeats（W2V2-LB）的算法，用于从全天家庭音频记录中标签化婴儿非痛苦与痛苦发声及母亲发声，进而评估母亲条件性反应，并探讨行为抽样策略和滞后窗口选择对估计结果的影响。

### 主要技术方法
研究人员采用自监督学习框架，基于W2V2-LB模型（预训练于4300小时婴儿家庭音频）进行说话人分离和发声分类。研究1中，使用61名婴儿（年龄1.10–17.54个月，M_age=9.43个月）的家庭音频（LittleBeats可穿戴设备采集，每日8+小时，2-3天）进行模型微调与评估，人工标注由训练有素的研究助理完成，一致性高（准确率0.89，宏F1=0.87）。研究2中，对56名婴儿（年龄1–10个月，M_age=6.61个月）的全天音频应用该算法，通过Bland-Altman分析、Kolmogorov-Smirnov检验和多项式混合模型等方法，比较ML标签与人工标签的反应率，并分析不同抽样策略（20个最活跃5分钟片段 vs. 所有可用母婴片段）和滞后窗口（1–5秒）对母亲条件性反应率及基础率调整估计（Yule's Q）的影响。样本来源：通过儿科诊所和社区组织招募。

### 研究结果

**2.1 模型性能**
基于W2V2-LB的音频标记算法在测试集上表现良好（准确率0.89，宏F1=0.78，Cohen's kappa=0.76）。各类别F1得分：婴儿非痛苦发声0.69，婴儿痛苦发声0.86，成年女性（母亲）0.71，成年男性0.66，沉默/其他0.94。表明模型能有效识别家庭音频中的主要发声类别，尤其是对婴儿痛苦发声的检测具有高精度。

**3.2.1 ML与人工标签的反应率一致性**
对12个家庭的子样本分析显示，ML生成的反应率与人工编码的反应率呈强正相关（Pearson r≥0.89），但存在一致的正偏差（ML高于人工，平均差异0.08–0.13）。相对差异（ML/人工几何均值比）为34%–95%，小于LENA系统在对话轮次上的报告范围（72%–745%）。Bland-Altman分析表明，ML标签保留了反应率的个体差异（秩次一致性高），适用于后续分析。

**3.2.2 行为抽样策略对反应率分布的影响**
K-S检验显示，所有可用5分钟片段与20个最活跃片段在反应率分布上存在显著差异（p<0.001）。最活跃片段的反应率集中于较高值，而所有片段覆盖更宽范围（包括低值）。敏感性分析排除片段数<20的家庭后结果一致。表明仅抽样高频互动片段可能高估母亲参与度，而全样本能捕捉更丰富的互动情境。

**3.2.3 滞后窗口与抽样策略对条件性估计的影响**
- 对非痛苦发声：两种抽样策略下，平均反应率在1–2秒间增幅最大，基础率调整估计（Yule's Q）在2秒后趋于平稳或下降，多项式混合模型确认了显著的线性和二次效应（p<0.001）。
- 对痛苦发声：平均反应率同样在1–2秒间增幅最大，但基础率调整估计在两种抽样策略下呈现不同模式：最活跃片段中Yule's Q从1秒的接近0逐步增至3–5秒（线性效应显著，p<0.001）；所有片段中Yule's Q在1秒最高，随后下降（线性和二次效应均显著）。表明痛苦发声的条件性反应在密集互动情境下可能延迟，而全样本中快速反应更典型。

### 讨论与结论
讨论部分强调，尽管ML标签在绝对反应率上存在正偏差（可能源于重叠语音处理差异、模型精度或误分类），但保留了强秩次一致性，支持其用于个体差异研究。行为抽样策略显著影响估计：高频互动片段提高反应率但降低基础率调整后的条件性，而全样本提供更全面的基线。滞后窗口选择上，2秒窗口对非痛苦发声是平衡早期反应与减少膨胀的合理选择；对痛苦发声，窗口选择需考虑互动情境（快速安抚 vs. 持续互动）。研究局限性包括：样本以高社会经济地位、高教育水平母亲为主，泛化性有限；模型将沉默、同胞发声等合并为“其他”类，可能高估母亲反应；固定滞后窗口未反映照料者可用性的日间变化；单向分析假设婴儿发声触发母亲反应，未考虑双向影响。

**研究结论**：本研究通过整合ML与基于事件分析，为从全天家庭音频中量化母亲对婴儿发声的条件性反应提供了可扩展框架。W2V2-LB算法生成的标签能有效支持条件性估计，且分析决策（抽样策略、滞后窗口）系统性影响估计结果。该集成方法为探究自然环境下早期母婴互动动态过程开辟了新方向，论文发表于《Developmental Science》。