综述:自动化技术与数据挖掘在自闭症语音识别中的应用

《Brain and Behavior》:Use of Automation Technologies and Data Mining in Speech Recognition for Autism

【字体: 大 中 小 】 时间:2026年01月29日 来源:Brain and Behavior 2.8

编辑推荐:

  摘要 引言 早期识别自闭症谱系障碍(ASD)对于改善长期预后至关重要,而语音提供了非侵入性的临床相关生物标志物来源。然而,手动语音分析耗时且难以规模化。随着数字录音、信号处理和人工智能的进步,研究人员越来越多地部署自动化工具和数据挖掘方法来表征ASD中的语音

  
摘要

引言
早期识别自闭症谱系障碍(ASD)对于改善长期预后至关重要,而语音提供了非侵入性的临床相关生物标志物来源。然而,手动语音分析耗时且难以规模化。随着数字录音、信号处理和人工智能的进步,研究人员越来越多地部署自动化工具和数据挖掘方法来表征ASD中的语音和语言。

方法
本结构化叙述性综述总结了1994年至2025年间基于语音的ASD评估的方法学发展,涵盖多样化的任务和录音设置,重点关注自动化工具、数据挖掘方法及其临床转化。研究人员首先考察了核心自动化工具链,包括LENA、Praat、HTK/FAVE、CMU Sphinx、Kaldi、AutoSALT、openSMILE/eGeMAPS、说话人日志系统以及基础模型自动语音识别(ASR)系统(如Whisper),以及现代自监督编码器(如wav2vec 2.0和TRILLsson)。研究人员强调了它们的典型用例、心理测量学属性和局限性。随后,研究人员描绘了数据挖掘和机器学习方法的演进过程,从早期的逻辑回归和聚类,通过正则化回归、支持向量机(SVM)和树集成,到卷积神经网络(CNN)/长短期记忆网络(LSTM)序列模型以及基于Transformer的文本和语音模型(如BERT、大语言模型(LLM))。

结果
在这些阶段中,韵律、嗓音质量、语言内容和互动行为的自动化指标在ASD检测中显示出中等至高的准确性,并与临床医生评定的严重程度存在有意义的关联。尽管如此,各种问题依然存在:性能通常在不同语言、年龄、任务和录音设置间下降;评估和报告仍存在异质性;数据集通常规模小且为单站点;隐私、公平性、可解释性和计算效率对部署构成了持续障碍,凸显了针对目标情境的基准测试和预设评估/报告的必要性。

结论
研究人员概述了三个优先策略,以指导未来工作向可扩展、临床可信的ASD语音评估和纵向监测发展:优化和整合现有工具链,实现全球性但保护隐私的数据共享,以及利用增强、标签效率、可解释和边缘就绪人工智能(AI)等跨领域创新。
1 引言
自闭症谱系障碍(ASD)是一种神经发育障碍,特征为社会沟通缺陷以及重复、刻板行为。早期识别和干预对于改善长期发展结果至关重要。语音分析已成为识别ASD个体的关键方法,主要关注三个维度:(1)韵律和嗓音质量特征,如语调、语速和共振峰频率,反映情绪表达和嗓音的物理特性;(2)语言内容特征,包括词汇多样性和语法结构,评估语言发展水平;(3)互动特征,如话轮交替和声音反应性,揭示社交互动语音中的功能特征。本综述将ASD语音识别概念化为一个整合流程,包括语音采集、预处理、自动化语音处理工具、特征提取、数据分析/数据挖掘/建模以及模型评估与验证。研究人员进行了结构化叙述性综述,聚焦1994年1月至2025年10月间的方法学进展,检索了PubMed、Web of Science和IEEE Xplore等数据库,结合自闭症相关关键词与语音及计算分析术语,优先纳入报告ASD语音评估任务定量性能或可靠性的同行评审文章,排除非语音生物标志物、重复报告及无可评估指标的研究。鉴于任务和结果的异质性,未进行元分析,而是综合了与临床转化相关的趋势、方法学转折点和空白。

2 自动化语音分析工具
2.1 LENA(语言环境分析系统)
LENA于2004年左右引入,是最广泛用于研究自闭症儿童早期语音和语言环境的工具之一。它记录儿童在家或学校中的日常声学环境,自动识别说话者以估算成人单词数、儿童发声和对话轮次。LENA录音可进一步处理以导出节奏、音节性、频谱倾斜和音高控制等额外声学参数。早期研究显示,LENA在检测ASD儿童自然语音时准确率达85%-90%,其指标在幼儿中具有良好的重测信度和与后期语言结果的关联。近期心理测量学研究确立了LENA完整变量集在自闭症幼儿中的信度和临床收敛效度,支持其作为自然语言评估工具的实用性。然而,LENA的准确性在多说话者或嘈杂环境中趋于下降,五岁及以上儿童可能低于50%,误分类率随年龄显著增加,且对录音条件高度敏感。人工编码的语音质量测量能捕捉当前自动化算法可能遗漏的沟通细微差别。LENA的主要优势包括生态效度、成本效益和临床应用潜力,但存在说话者识别准确性降低、录音条件变异以及跨人群和发展阶段泛化性有限等局限性。实践中,LENA是基础录音和说话人日志平台,需辅以更精细的声学分析。

2.2 Praat、HTK、FAVE和Sphinx
自2010年代初起,ASD语音研究采用了系列广泛使用的互补性语音分析工具。Praat常用于提取韵律和嗓音质量特征,包括基频(F0)、语速、节奏、强度、基频微扰、振幅微扰、谐噪比(HNR)和共振峰测量。在自闭症诊断观察量表(ADOS)访谈数据中,这些声学标记与临床医生评定的症状严重程度相关(如话轮结束音高斜率r=-0.68、较高的基频微扰r=0.38、降低的HNR r=-0.38)。然而,Praat需要手动参数校准和质量控制,其输出对背景噪声、重叠语音及自闭症说话者非典型发声敏感。尽管如此,它仍是精细声学表型的可靠透明工具,常与自动化流程配对用于交叉验证和可解释性。隐马尔可夫模型工具包(HTK)和强制对齐与元音提取(FAVE)主要提供对齐功能,为下游声学/语言分析提供时间精确边界。HTK将音频与转录对齐,实现时间锁定的分段和超分段测量,但声学模型针对成人美式英语,对儿童/非典型语音及嘈杂或重叠语音准确性降低,依赖于转录/说话人日志质量。FAVE增加了自动元音(F1/F2)测量,便于大规模分析元音空间、节奏和发音精度,但通常需要针对非英语或临床人群进行调整。CMU Sphinx作为自动语音识别(ASR)框架,用于ASD队列中全自动处理自然录音,常与LENA配合导出自动转录和语音数量/时间指标,但准确性在嘈杂或多说话者环境及非典型发声时下降,反映了训练于成人英语语音及对说话人日志/转录质量的依赖。

2.3 现代语音分析框架(wav2vec 2.0、TRILLsson、Whisper和ASDSpeech)
自2020年代初以来,ASD语音研究越来越多地采用数据驱动方法,减少对人工设计特征的依赖。关键趋势是使用预训练声学编码器,包括自监督模型如wav2vec 2.0和轻量蒸馏模型如TRILLsson,提供通用语音表示,可凭借相对较少的临床标签进行微调。在家庭和半结构化儿童语音中,wav2vec 2.0达到76.9%的准确率,提示自监督表示具有标签效率,但仍需适应嘈杂的非典型儿童发声。Noor项目报告了仅需约30分钟标记儿童语音即可有效识别ASD,凸显了迁移学习在低资源临床环境中的价值。然而,此类端到端流程常作为“黑箱”,透明度和临床可解释性有限。同时,现代流程越来越多地整合基础模型ASR以导出转录进行下游语言和会话分析。Whisper被广泛使用,但其准确性在非流利或非典型儿童语音中可能下降,可能低估临床显著现象如停顿、重复和填充词。在教室对话中,Whisper在轻度自闭症中达到低词错误率(WER),但中度自闭症中WER较高且变异性大,凸显了目标情境错误分析的必要性。临床导向的监督系统强调可解释性和与诊断工具的一致性。ASDSpeech是一个开源模型,训练于来自197名儿童、258次ADOS-2评估的99,193个标注发音,使用手工制作的声学和会话特征,与临床医生评定的ADOS-2社会情感得分中等相关(r≈0.50-0.60),但对限制性重复行为(RRB)表现弱,表明仅凭语音无法捕捉完整ASD表型。研究人员正在探索新兴级联和多模态流程,融合原始音频自监督学习(SSL)嵌入与ASR导出的文本和会话线索,以进行端到端临床严重程度估计,但性能有待同行评审。同时,保护隐私和可解释的多模态框架旨在整合语音与其他行为信号,提供透明、临床有用的决策支持。

2.4 其他广泛使用的工具包
Kaldi是一个开源ASR工具包,提供帧对齐转录和错误指标(WER/音素错误率(PER))。在ASD研究中,Kaldi可自动化非词/句子重复评分和客观音素级分析。使用Kaldi(高斯混合模型/隐马尔可夫模型(GMM/HMM)和深度神经网络(DNN)声学模型)结合迁移学习和数据增强,研究报道了与临床医生评分的高度一致性(r≈0.85,平均绝对误差(MAE)≈0.04)和WER降低,但无关片段仍需手动移除,且非典型儿童发声时性能可能下降。系统性语言转录分析(SALT)是一个标准化语言样本分析框架,以AutoSALT形式生成自动化语言测量(ALM),如语素平均长度(MLUM)、不同词根数(NDWR)和每分钟沟通单位。在ASD队列中,AutoSALT显示出良好的重测信度(一致性相关系数(CCC)≈0.73-0.88),但ALM性能因任务而异,需结合声学特征进行稳健分类。OpenSMILE是一个广泛使用的特征提取工具包,eGeMAPS(扩展日内瓦最小声学参数集)是紧凑的副语言参数集,测量F0、基频微扰/振幅微扰、HNR、梅尔频率倒谱系数(MFCC)和能量。在ASD语音研究中,eGeMAPS提供可靠基线:与深度模型结合在婴儿中实现中等区分度,与经典SVM和决策树分类器结合揭示学龄儿童的非典型韵律/嗓音质量。对噪声和重叠的敏感性仍是局限,需仔细质量控制并融合高级特征。DiarTK提供多说话者临床录音(如ADOS)的说话人日志,实现话轮分割/标记及话轮交替、起始和持续时间特征提取。当与CNN或长短期记忆网络(LSTM)模型结合时,日志特征可预测ADOS-2社会情感得分(决定系数(R2)≈0.40),但手动检查和小规模队列仍常见。

3 数据挖掘与机器学习方法
3.1 1990年代:通过手动流程的早期数据挖掘
1990年代,自动化语音分析工具尚不可用,ASD语言和语音研究开始采用知识发现数据库领域的基本概念。研究人员应用相对简单但可扩展的统计技术,如逻辑回归和聚类分析,对手动整理的行为和语言测量进行初步模式发现和定量探索。主要优势包括实现简单、计算效率高和可解释性。但局限性包括依赖小规模手动注释数据集和手工特征,无法建模自然语音的非线性、高维或时间动态特性。

3.2 2000年代-2010年代:正则化线性模型、核/集成学习器和浅层时间模型
随着更大数据集的出现,ASD语音分析进入新阶段,采用经典机器学习方法,包括正则化回归(套索/岭回归)以减少过拟合、非线性核支持向量机(SVM)捕捉复杂特征关系、树集成(如随机森林)稳定决策树变异性。主成分分析和线性判别分析等降维技术用于管理相关声学测量,隐马尔可夫模型(HMM)提供时间模式初步建模。留一法交叉验证(LOOCV)和k折交叉验证成为常规,提高了结果可靠性。代表性研究建立了自动声学和语言评估基础:Oller等人使用基于12个发声发育参数的LENA自动化声学分类器区分ASD与典型发育(TD)儿童,灵敏度0.75,特异度0.98。Prud'hommeaux和Rouhizadeh使用HMM词对齐+对数几率词汇特征和SVM分类器量化语用非典型性,在叙事任务中达到中等区分度(曲线下面积(AUC)≈0.72)。Asgari等人应用岭、套索和支持向量回归自动评分非词重复准确性,与临床医生评分高度相关(r=0.85)。跨语言研究表明节奏类时间特征比语调类线索更稳定,但跨语言变异性阻碍泛化。同时,介于手工流程和端到端模型之间的实用中谱方法出现,如时变谐波模型与SVM配对捕捉韵律/嗓音质量动态(AUC≈0.82-0.83),k-means聚类支持分类前分层(准确率91%)。总体而言,这一时期改善了模型偏差和方差控制,增强了可解释性,并出现了可重复分析流程,但模型仍依赖手工特征和手动注释,难以捕捉长程时间动态,因样本量小和语言/任务特异性导致跨数据集性能不一致。

3.3 2010年代末-2020年代初:用于动态语音特征的CNN/LSTM序列模型
CNN和LSTM等深度学习架构在ASD语音分析中日益常见,相比之前特征方法更好地建模了动态韵律模式和发音动态。Sadiq等人引入大规模深度流程,结合CNN和LSTM层对日志化ADOS访谈预测ADOS-2社会情感得分(R2=0.40)。Lee等人使用自编码器和双向长短期记忆网络(Bi-LSTM)模型对openSMILE导出特征进行ASD与TD分类,准确率约68%,但面临数据不平衡、背景噪声和可解释性受限。Wynn等人使用深度网络对Praat导出的共振峰轨迹,揭示了自闭症儿童和成人的发音精度持续缺陷。文本和多模态方法也取得进展:Kato等人使用BiLSTM和DNN模型对词汇语法特征分类(F1=0.88),但泛化性受限于语言同质数据。MacFarlane等人整合自动化语言测量(ALM)和自动化嗓音测量(AVM)于混合DNN-SVM流程,准确率约87%,AUC=0.92,但数据集偏向英语正常智商人群,可解释性有限。此外,使用Kaldi的ASR迁移学习有效降低了儿童非词重复任务的WER(29.38%降至26.21%)。总体而言,CNN/LSTM整合代表了重大方法学进步,实现了序列声学和语言特征的端到端学习,减少了对手工特征的依赖,但模型通常数据饥饿且领域特异,依赖大量精心注释的语音,可解释性和可重复性有限。

3.4 基于Transformer的模型(BERT、XLNet和GPT)
在Transformer模型成为标准之前,研究使用深度文本嵌入如ELMo和通用句子编码器(USE)配合浅层分类器,较传统词袋和手工特征获得适度改进。Transformer架构用多头自注意力替代递归,实现并行训练和长程上下文建模。关键发展包括BERT引入双向掩码语言预训练、XLNet通过排列语言建模泛化自回归预训练、GPT-3/4扩展自回归Transformer实现少样本/零样本任务迁移。这些能力对ASD研究尤其有价值,因为许多社会相关标记(如非典型话语、回声性重复、代词使用)本质上是语义-语用的,更易被长程上下文语言表示捕获。相比早期特征工程或浅层序列模型,Transformer编码器捕获话语级依赖、长距离共指和词汇语义细微差别,使检测ASD相关的语用异常成为可能。研究使用Transformer嵌入在临床或叙事转录上表现出优于传统文本特征:在书籍叙事重述中,深度文本嵌入超越人类评分者,但低于黄金标准工具;应用于更大儿科数据集,BERT嵌入配合梯度提升在区分ASD与TD中达到约96%准确率。近期基于大语言模型(LLM)的研究表明,Transformer模型能够浮现标志性语言现象并改善真实对话中的分类,例如ChatGPT在互动成人语音中检测回声言语、刻板媒体引用和非典型措辞,在准确率和F1分数上超过各独立基线12-22个百分点。然而,当前研究对转录质量高度敏感,性能在ASR噪声输出(尤其儿童或非典型语音)中常下降,许多系统可解释性有限且计算资源需求大,引发透明度、部署可行性和公平性问题。此外,通用LLM的偏见、幻觉和隐私泄露风险需明确防护。

4 反复出现的挑战
4.1 跨语言、年龄、任务和设置的泛化性
模型应用于不同语言、人口学和声学情境时性能常衰减。跨语言元分析和比较研究表明节奏类时间线索比语调类标记更稳定,但语言特定韵律和人口学不平衡仍限制稳健性。任务异质性进一步破坏稳定性:自动化语言测量(ALM)在任务内可靠,但跨ADOS访谈、对话和叙事时不一致。即使在ADOS内,不同活动可产生显著不同的自动化测量和模型性能。建议明确记录ADOS模块/活动、片段包含/排除规则和关键录音条件。可靠性也依赖于样本:某些自动化发声指标在幼儿单日内稳定,但其他人群需多次录音。年龄效应显著:针对幼儿的系统表现良好,但五岁及以上儿童检测准确性下降。人工编码质量测量仍可超越自动化测量预测语言结果。此外,家庭噪声和多说话者重叠降低对齐和ASR准确性。

4.2 评估和报告可比性
研究报告异质性指标——准确率、AUC、灵敏度/特异度、R2、MAE和WER/PER——基于小规模单站点样本,年龄、语言和任务不同,阻碍元分析综合。很少有研究使用预设外部测试集、跨站点分割或校准症状严重度评分;不确定性区间报告不一致;基准任务分散。缺乏统一结果定义和验证协议,难以比较模型或确定改进源于更好建模还是数据集特殊性。鉴于高维特征空间和分析自由度,该领域特别易受分析灵活性和选择性报告影响。建议明确区分探索性分析和确认性评估,使用预设主要终点、锁定预处理/建模流程和独立复制。

4.3 多模态整合和临床锚定终点
多模态融合(如ALM与AVM结合)通常优于单模态变体,但增益依赖于转录质量、任务标准化和样本组成。深度序列模型可将音频映射到临床医生评定构念(如ADOS-2社会情感),但训练数据集小、标签昂贵、外部验证稀疏。自监督编码器可大规模从原始音频估计症状严重度,但校准、不确定性报告和跨站点协调仍不常见。可解释性和可迁移性落后于标题性能,为研究原型与可部署临床终点之间留下差距。

4.4 数据资源、文档和基础设施
高质量、大规模、临床注释数据集仍然稀缺,尤其是跨多个年龄、语言、任务和录音设置的数据集。可用语料库通常小、单站点或弱标签,限制模型训练、校准和外部验证,加剧抽样偏差。流程仍依赖手动转录或有限注释,进一步限制规模和可重复性。关键元数据记录不足,代码发布不一致。尽管一些团体开始发布开放资源和基准,但覆盖范围狭窄,标签模式未协调,标准化报告工件尚未常规化。

4.5 伦理、隐私、公平性和治理
儿童和家庭音频涉及弱势参与者及高度亲密情境,增加伦理义务。严格同意、数据驻留和二次使用条件决定谁可参与及哪些证据可接受。即使强匿名化,声学信号中仍存在残留重识别风险。随着LLM和自监督模型进入ASD语音流程,模型不透明和数据集不平衡可能削弱问责性、可争议性和利益相关者信任。此外,保护隐私和本地/边缘处理与有效性、可重复性及跨语言、文化和站点的公平覆盖之间存在张力。未解决的治理问题包括所有权和保管权、家长同意期限、跨境传输、偶然发现、模型更新和第三方处理。

4.6 计算效率与部署约束
最先进的深度学习、SSL和Transformer模型计算和内存密集。长、嘈杂、多说话者家庭录音加剧实时或设备上使用的延迟和电池约束;边缘受限诊所面临类似障碍。在隐私敏感情境中,本地处理需求进一步加重资源预算,即使研究环境中准确性足够,也造成实际瓶颈。

5 综述局限性与未来方向
5.1 局限性
本综述聚焦方法学转折点,而非详尽检索或元分析。任务和结果的异质性排除了定量合并,不同研究间性能估计不可直接比较。证据基础集中于英语、流利语音队列,样本小且单站点。部分证据来自初步或预印本报告。这些约束可能限制跨语言、年龄和录音设置的可迁移性,读者应将趋势视为指示性而非确定性。

5.2 未来方向:翻译与规模的三个策略
5.2.1 现有技术的优化与协同
近期优先事项是整合成熟工具链并协调输出。首先,互补组件如LENA说话人日志、Praat/HTK/FAVE声学和对齐工具、Kaldi或wav2vec风格ASR应组合成连贯流程。此外,应利用多模态证据进行情感和语用分析。系统综述和多模态训练研究报道,融合语音与视频及文本流可增强ASD情绪识别,前提是报告标准清晰且跨任务协议对齐。其次,应将异质输出映射到共同指标面板进行报告和模型评估,如分类用准确率或AUC、ASR用WER/PER、连续严重程度用MAE或R2。严格质量控制(手动抽查、标准化预处理、透明记录失败模式)仍然必不可少。

5.2.2 全球合作与保护隐私的数据整合
没有更大、更多样化的数据集,方法学进展将无法泛化。跨国和文化合作可通过共享协议模板、任务组和商定开发/测试分割来弥合当前语言、年龄和共病方面的空白。由于无法允许不受限制地汇集敏感儿童语音数据,保护隐私的整合至关重要。联邦学习或分布式学习、安全飞地和合成数据增强可让模型受益于多站点变异性,而无需集中原始音频。此外,需要清晰的数据治理框架——涵盖同意、保留、二次使用和数据来源透明度——以确保全球模型保持责任和公平,尤其对于资源不足的语言和社区。

5.2.3 技术创新与跨领域借鉴
此策略应包括以下要素:首先,针对真实世界音频的语音增强:推进深度多通道语音增强和麦克风阵列处理——波束成形、盲源分离和学习空间滤波器——以稳定多说话者、低信噪比(SNR)家庭录音中的识别。其次,通过混合注释提高标签效率:结合监督、半监督和主动学习构建高效自动和半自动注释流程,借鉴高通量生物医学和标签高效医学人工智能框架;同时发布任务分类法、错误模式及评分者间信度,并附代码和检查点以提高可重复性。第三,解决类别不平衡或罕见现象(如回声言语变体):结合经典扰动增强(如改变速率、音高、添加噪声或SpecAugment掩码)与通过生成对抗网络(GAN)或文本转语音(TTS)生成的合成数据,但需严格控制并前瞻性跨数据集验证。第四,设计上可解释性:结合局部/事后方法(如局部可解释模型无关解释(LIME))与临床策划概念(如停顿结构、音高变异性、话轮交替),可能时将领域知识嵌入模型架构以稳定推理。第五,硬件加速——关注地平线:跟踪新兴光子人工智能加速器(如硅光子张量核心和神经形态光子芯片)和量子人工智能硬件发展,但暂不部署,专注于统计严谨性、可重复性和治理。第六,边缘就绪轻量推理:追求紧凑模型和分布式/边缘计算,用于诊所和家庭中的低延迟、设备上处理,利用微型机器学习(TinyML)和联邦边缘学习框架,尊重医疗环境中的资源约束和隐私。除筛查和诊断外,自动化语音和语言测量可能特别适合纵向监测发展和干预响应。与受试者间诊断分类相比,受试者内跟踪可利用个体基线,可能对语言水平、情境和共病的异质性不太敏感。频繁、低负担的样本可量化发声率、对话轮次、词汇多样性、韵律和互动时序的变化,支持临床和教育环境中的测量为基础护理和快速反馈。这些建议保留了当前实践的优势,同时优先考虑可迁移性、临床锚定终点、标准化评估和负责任部署,为从概念验证到常规临床使用提供具体路径。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号