综述：深度学习模型方法在婴儿啼哭声疼痛评估中的研究进展

《Machine Learning and Knowledge Extraction》：A Review of Deep Learning Model Approach for Pain Assessment in Infant Cry Sounds Anthony McCofie, Dmitry Goldgof, Jacqueline Hausmann, Peter R. Mouton, Yu Sun and Md Imran Hossain

　　

婴儿啼哭作为痛苦与疼痛的主要指示信号，然而将疼痛相关啼哭与其他需求引发的啼哭区分开来，即使对于训练有素的专业人员而言仍具挑战性。及时且准确的疼痛评估对于适当的医疗干预至关重要，特别是对于无法用语言表达需求的言语前婴儿。近年来，深度学习（Deep Learning, DL）模型通过音频信号处理实现自动化且高效的疼痛评估，已展现出显著潜力。在本综述中，研究人员回顾了基于婴儿啼哭声的疼痛评估方法，涵盖深度学习架构、现代基于Transformer的模型以及新兴的Vision-Language Model（VLM）流程。该综述纳入了将啼哭音频的Mel-spectrogram（梅尔频谱图）表示与多模态模型框架相结合以提升疼痛检测鲁棒性、可解释性和跨模态推理能力的方法。通过总结最新进展并识别当前方法中的局限性与开放挑战，本综述旨在为增强自动化婴儿疼痛评估工具的鲁棒性、泛化性和临床适用性的未来研究方向提供见解。

**1 引言**

**1.1 背景与临床重要性**

婴儿疼痛评估仍是重要的临床挑战，因婴儿无法通过语言沟通疼痛的部位、持续时间和强度等关键信息。准确及时识别疼痛在新生儿和儿科护理中尤为重要，未被治疗或管理不当的疼痛可能对生理稳定性、神经发育和整体临床结果产生负面影响。因此，可靠的疼痛评估对于指导适当干预、改善这一脆弱群体的护理质量具有根本意义。

**1.2 传统疼痛评估方法的局限性**

当前临床实践中，婴儿疼痛常通过观察法和生理法进行评估，包括行为疼痛量表、面部表情分析、身体运动评估和生命体征监测。尽管这些方法应用广泛且具有临床价值，但其固有局限在于主观性和不一致性。其有效性往往依赖于医护人员的专业经验、培训水平和判断能力，且解读过程可能受到疲劳、工作负荷和时间限制的影响。此外，生理指标通常缺乏特异性，可能反映压力、疾病或环境干扰而非单纯疼痛，这突显了开发更客观、一致且可扩展的婴儿疼痛评估方法的必要性。

**1.3 基于深度学习的啼哭分析依据**

在可用的婴儿痛苦指标中，啼哭是最早期、最突出的声学不适表达。婴儿啼哭信号包含丰富的时间、频谱和韵律信息，可能反映潜在的生理和情绪状态，使其成为自动化分析的有前景目标。数字信号处理和人工智能的进展为从啼哭音频中提取临床有意义的模式创造了新机遇。特别是，深度学习已成为建模复杂高维声学数据的强大框架，能够直接从原始信号或变换后的音频特征（如Mel-Frequency Cepstral Coefficient（MFCC）、频谱图和其他时频表示）中学习判别性表示。循环神经网络（Recurrent Neural Network, RNN）、长短期记忆网络（Long Short-Term Memory, LSTM）、基于卷积的架构、基于Transformer的模型以及更近期的VLM方法已被越来越多地探索用于婴儿啼哭分析和疼痛相关分类任务。

**1.4 基于啼哭的疼痛检测挑战**

基于啼哭的疼痛检测也面临重要临床挑战。婴儿啼哭并非疼痛特有，也可能由饥饿、不适、恐惧、疲劳或医疗状况引发，这使得区分疼痛相关啼哭与其他形式的痛苦变得困难。啼哭信号还受到年龄、胎龄成熟度、 recording条件、背景噪声、个体间差异以及标注协议和数据集质量差异的影响。此外，许多现有研究依赖于相对较小或失衡的数据集，使用不同的预处理流程和评估指标，且常缺乏外部验证，这限制了可重复性和泛化性。这些问题使得批判性审视深度学习方法的优点以及基于啼哭的疼痛评估系统相关的实际局限性和转化障碍变得必要。

**1.5 本综述的目标、范围和创新性**

鉴于该领域的快速增长，需要针对性综述来整合关于婴儿啼哭声音疼痛评估深度学习方法的新兴研究。本综述的目标是审视基于深度学习的婴儿疼痛检测研究现状，关注常用数据集、信号表示、模型架构和报告的挑战。本综述范围 specifically 聚焦于使用婴儿啼哭声音的自动化疼痛评估，同时适时承认多模态新生儿监测的相关发展。通过集中于基于啼哭的疼痛评估而非一般性婴儿啼哭分类，本综述旨在从技术和临床视角澄清该领域现状。本综述的贡献和创新性在于其聚焦于婴儿啼哭声音疼痛评估的深度学习方法，而非更广泛的婴儿啼哭分类或一般生物医学音频处理任务。与以往常广泛讨论新生儿监测或将多种婴儿状况合并而不特别强调了疼痛的综述不同，本综述 specifically 评估了基于啼哭的疼痛检测的方法论格局，强调了使用啼哭作为疼痛生物标志物的独特挑战，并识别了临床转化必须解决的关键差距。

**2 方法论**

本综述旨在审视基于婴儿啼哭声音的深度学习疼痛评估方法现有研究。主要目标是识别应用于该问题的主要计算方法、声学表示，并比较文献中报告的评估策略和性能趋势。由于本综述为叙述性综述而非系统综述，方法论同时强调结构化的文献识别、选择和综合方法。纳入PRISMA风格的流程图以提供文献识别、筛选和最终纳入研究数量的透明摘要，其纳入 solely 为提高报告清晰度，不表示本工作作为正式系统综述呈现。

本综述聚焦于使用啼哭音频信号进行婴儿自动化疼痛评估的研究，特别关注基于深度学习的技术。范围涵盖卷积神经网络（Convolutional Neural Network, CNN）、RNN、LSTM网络、混合深度学习框架、迁移学习方法以及更相关的基于Transformer或多模态方法的神经架构研究。除模型架构外，本综述还考虑常用的输入表示，包括频谱图、Mel-spectrogram和MFCC，以及用于评估性能的数据集和评价指标。

通过Google Scholar搜索引擎使用选定关键词进行检索。尽管本手稿作为叙述性综述而非正式系统综述呈现，研究人员保留了PRISMA风格流程图以提高文献识别和筛选过程报告的透明度。流程图的目的并非暗示完全PRISMA合规或将手稿归类为系统综述，而是作为记录数量、筛选、排除及最终在综述中讨论的研究数量的清晰视觉摘要。

**3 婴儿疼痛分析**

**3.1 临床和行为疼痛评估方法（金标准形成）**

传统婴儿疼痛评估方法主要依赖非语言线索和临床观察。常用传统方法包括：行为观察法（如NIPS、PIPP-R和FLAC量表）；生理测量法（心率波动、血氧饱和度、血压变化、呼吸频率）；以及多模态评估法（如新生儿疼痛、躁动和镇静量表N-PASS）。这些观察者基量表虽非纯音频疼痛评估系统，但为监督式机器学习模型提供了定义疼痛与非疼痛金标准所需的参考标签。

**3.2 基于生理信号的疼痛验证**

基于生理信号的验证在自动化婴儿疼痛检测系统中充当金标准确认层的关键角色。啼哭音频提供快速的行为学证据，而整合生理信号可减少假阳性分类、提高临床对基于AI的疼痛评估工具的接受度和信任度，并使得多模态深度学习框架的开发成为可能，其中声学信号和生理信号共同指导预测模型。

**3.3 啼哭信号的声学特征**

啼哭信号的声学特征提供了描述其结构和在时频域中感知的可测量声音属性。研究表明，基频、强度、持续时间和频谱特性等声学特征与婴儿痛苦水平和疼痛状态显著相关。疼痛以一致、可量化的方式改变婴儿啼哭的声学结构，这些声学变化形成的核心"生物标志物"可用于区分疼痛与非疼痛啼哭，包括：更高的音调（基频F_o）、更大的响度（振幅/强度）、更不规则的振动（抖动、微扰、次谐波和混沌频谱成分）以及突然的时间变化。

**3.4 婴儿啼哭类别**

临床和发育研究中，婴儿啼哭通常根据其潜在原因、声学特征和行为背景分为不同类别，包括：基本啼哭（饥饿/不适啼哭）、疼痛啼哭（伤害感受性啼哭）、恐惧啼哭（警报或惊吓啼哭）、愤怒/挫败啼哭、疲劳或疲倦啼哭以及痛苦啼哭。疼痛啼哭在声学上最为独特，但可能与恐惧、愤怒和痛苦啼哭在音调、强度或能量分布上重叠，因此先进的机器学习和深度学习模型必须学会通过这些类别特有的诊断性声学标志物进行区分。

**3.5 婴儿啼哭信号解读的挑战**

解读婴儿啼哭信号以进行疼痛评估仍具复杂性，主要挑战包括：婴儿间高度变异性、不同啼哭类型间的声学特征重叠、环境噪声和录音条件的敏感性、疼痛标注数据的稀缺性和不平衡性、临床和文化环境中的泛化性，以及标注主观性和不一致的金标准。近90%的已开发模型未能部署到实际临床应用中。

**4 啼哭音频特征提取**

**4.1 时域、频域、时频和倒谱特征**

为促进基于深度学习的婴儿啼哭信号分析，原始音频录音首先转换为时频表示。不同特征表示域捕获婴儿啼哭信号的互补声学特征：时域特征描述啼哭波形的振幅和时间结构；频域特征捕获声学能量在频率上的分布；时频特征联合表示频率内容的演变，对分析婴儿啼哭等非平稳信号尤为有效，其中log-Mel spectrogram因感知相关性和紧凑表示而被最广泛使用；倒谱特征（如MFCC）提供频谱包络的紧凑表示，紧密模拟人类听觉感知。

**4.2 啼哭信号增强特征**

当数据稀缺或不足时，数据增强成为增加婴儿啼哭样本多样性、缓解标注疼痛和非疼痛数据有限性的重要策略。常用增强方法包括频率修改、噪声添加、时移、时间拉伸和频谱图掩蔽等，可提高模型对真实世界录音条件和临床环境中常见环境伪影的鲁棒性。

**4.3 基于深度学习的音频特征提取**

早期研究主要依赖经典数字信号处理技术导出的手工制作声学特征，其中MFCC因能近似人类听觉感知同时紧凑编码声道信息而被最广泛使用。CNN常被应用于视为二维图像的频谱图，自动学习与疼痛相关啼哭特征（如升高音调、突然能量变化和延长发声）相关的局部时频模式。RNN和时间卷积模型用于捕获啼哭序列中的时间依赖性。

代表性研究包括：Vincent等（2021）采用深度卷积神经网络（DCNN）结合支持向量机（SVM）分类器，对疼痛、饥饿和嗜睡三类新生儿啼哭进行分类，CNN-SVM结合RBF核达到88.89%准确率；Mala等（2025）使用CNN结合MFCC特征对疼痛、饥饿、嗜睡和湿尿布四类啼哭分类，达到95.50%的最高准确率；Mohanty等（2025）提出CNN-BiLSTM结合注意力机制的混合架构，应用SMOTE处理类别不平衡，达到89.65%验证准确率和88%加权F1分数；Saraswathy等（2018）将时域和频域特征统一为时频域表示，结合PNN和GRNN达到90.00%分类准确率。

**4.4 基于VLM的婴儿啼哭疼痛评估方法**

截至2025年，仅有一篇已发表论文specifically 使用VLM和显式提示方法解决婴儿啼哭声音疼痛评估问题。McCofie等（2025）首次将少样本提示与VLM应用于婴儿疼痛分类，利用OpenAI的GPT-4(V)结合Mel-spectrogram表示，通过精心设计的提示引导模型分类啼哭是否指示疼痛。该方法仅使用16个训练样本即达到83.33%准确率，与需要4914个样本的基线模型形成鲜明对比，显著降低了数据需求同时保持了较高准确率，为资源受限环境中部署实用疼痛评估系统开辟了新途径。

**5 婴儿疼痛评估数据集**

**5.1 数据集规模与数据增强的作用**

婴儿疼痛评估研究的中心限制在于可用啼哭数据集的规模小和多样性有限。许多研究依赖相对较少数量婴儿的录音，常在特定新生儿单元或受控环境中收集，限制了年龄、临床状况、录音质量和背景噪声方面的变异性。

**5.2 标注方法和金标准定义**

准确标注至关重要，因为模型性能直接受金标准质量约束。标签可能通过专家临床判断、护士评估、标准化疼痛评分系统或间接生理验证分配。仅基于粗略观察判断的标签可能引入主观性，而由训练有素的临床医生或验证量表支持的标注通常更可靠。

**5.3 数据质量挑战**

婴儿啼哭数据集的常见限制包括类别不平衡、采样偏差、同一婴儿的重复录音、不一致的录音时长、背景噪声、缺失元数据以及麦克风放置的变异性。USF-MNPAD-II和Baby Chillanto是两类广泛使用的数据集，前者在新生儿重症监护环境中收集并采用标准化行为疼痛评分，后者为墨西哥编译的公开可用语料库包含病理和正常啼哭及独立疼痛类别。

**6 挑战、局限性与未来方向**

**6.1 可解释性与透明度**

当前医疗领域使用的深度学习模型缺乏透明度和可解释性是其主要缺点。"黑箱"特性使得理解模型如何得出预测变得困难，损害了其在医疗应用中的可信度。现有可解释AI（XAI）方法多为视觉数据开发，难以有效泛化到音频模型，存在热图不一致、可重复性问题、对扰动的敏感性以及缺乏对实际决策过程洞察等缺陷。

**6.2 可解释性与可解释性研究**

未来研究应专注于设计针对音频数据优化的可解释技术，包括：开发鲁棒且可重复的归因方法；探索基于概念提取、反事实推理和原型方法的非归因解释；整合临床专业知识以提供关于指示疼痛的特定啼哭特征的可操作见解。

**6.3 与多模态数据的整合**

模型与多模态数据的整合可通过结合听觉信号与生理、环境和视觉等互补数据源来提高疼痛分类的准确性和可靠性。未来研究可探索音频信号与其他传感器数据之间的协同作用，改进分类模型并提高实时响应能力。

**6.4 数据收集与数据集扩展**

收集更大、更多样化的啼哭录音数据集对于改善模型在不同婴儿间的泛化、减少偏差至关重要。扩展数据集以涵盖各种环境和条件下的啼哭，以及增加来自代表性不足群体的标注数据，将增强模型检测疼痛与非疼痛啼哭之间细微差异的能力。

**7 结论**

本综述审视了基于婴儿啼哭声音的深度学习疼痛评估方法，聚焦于特征表示、模型架构、数据集和评估实践。文献显示了从手工制作声学到数据驱动深度学习模型的清晰进展，CNN架构仍最广泛使用，同时Transformer方法和VLM范式开始被探索。多模态方法结合啼哭音频与面部、生理或临床信息以更好捕获新生儿疼痛的多维性质是重要趋势。尽管取得进展，现有数据集常规模小、私有化且异质，标注方法不一致，跨数据集验证有限，严重制约可重复性和泛化性。未来工作应优先发展更大、更多样化的临床数据集、标准化基准、更强外部验证和更可解释模型。多模态学习以及少样本、迁移和提示方法为解决数据稀缺性和提升真实世界性能提供了实用方向。总体而言，基于婴儿啼哭的疼痛评估仍是有前景的非侵入性策略，但其临床转化将取决于更严格的验证、改进的数据质量和为可靠实际使用设计的系统。