用于构音障碍语音识别、检测与分类的深度散射谱

《Computer Speech & Language》:Deep Scattering Spectrum for dysarthric speech recognition, detection and classification

【字体: 大 中 小 】 时间:2026年10月24日 来源:Computer Speech & Language 3.4

编辑推荐:

   •深入调查DSS特征在构音障碍语音识别、检测和严重程度分类中的有效性。•分析DSS语音识别系统在不同说话人和严重程度级别下的性能。•DSS语音识别系统的说话人级别和严重程度级别性能分析。•对DSS配置选择的系统性研究,包括散射阶数、Q因子以及时频分辨率的权衡。•对深度散射功率

  

•深入调查DSS特征在构音障碍语音识别、检测和严重程度分类中的有效性。•分析DSS语音识别系统在不同说话人和严重程度级别下的性能。•DSS语音识别系统的说话人级别和严重程度级别性能分析。•对DSS配置选择的系统性研究,包括散射阶数、Q因子以及时频分辨率的权衡。•对深度散射功率谱(DSPS)系数在自动构音障碍语音识别中的广泛分析。•对声学模型中间表示的探测分析,以更好地理解网络内部的信息流动。•基于混淆矩阵的分析,以评估检测检测和严重程度分类任务中的特征区分能力。引言构音障碍语音是神经损伤的结果(Gowers, 2001;Duffy, 2013),表现为发音、发声和韵律的紊乱,为自动语音处理(包括识别)造成了重大障碍(Kent, 2000;Darley等人, 1969)。这些语音失真的不规则和不可预测特性给传统的语音识别系统带来了巨大挑战,这些系统通常依赖于一致的语音模式来准确解码语音。有效的构音障碍语音识别对于帮助有语音障碍的个体改善沟通、促进其与辅助技术的有效交互至关重要。这种与机器和数字助手的沟通改善对于支持受构音障碍影响者的独立性和提高生活质量至关重要,使他们能够更充分地参与日常活动(Young和Mihailidis, 2010)。已有大量研究致力于提高构音障碍语音识别(ADSR)的性能。语音表示学习是ADSR领域的一个活跃研究方向,因为构音障碍语音具有独特挑战。构音障碍语音在说话人、严重程度和语音模式上表现出巨大的变异性,这凸显了对能够跨这些变化有效泛化的更鲁棒和更具表现力的表示的需求(Wilson和Blaney, 2000)。先前的研究广泛使用传统的自定义特征,如梅尔频率倒谱系数(MFCC)(Davis和Mermelstein, 1980)、感知线性预测(PLP)(Hermansky, 1990)和滤波器组(FBank)用于构音障碍语音的ADSR、检测和严重程度分类任务(Espana-Bonet和Fonollosa, 2016;Joy和Umesh, 2018;Kim等人, 2018;Hermann和Magimai-Doss, 2020)。然而,这些特征往往无法充分捕捉构音障碍语音固有的多样模式和失真。或者,原始特征表示,如原始波形(Yue等人, 2022b)、原始幅度谱(Loweimi等人, 2021b;Yue等人, 2022a)、原始相位特征(Sehgal等人, 2018;Yue等人, 2023)、原始声源和滤波器分量(Yue等人, 2022a)以及傅里叶变换的实部和虚部(Loweimi等人, 2023)已证明对ADSR有效。此外,各种基于深度学习的语音表示,如瓶颈特征(Grezl等人, 2007),也已在前人研究中被证明对ADSR有益(Takashima等人, 2015;Y?lmaz等人, 2019;Yue等人, 2020a;Latha等人, 2023;Geng等人, 2025)。除了语音识别之外,上述语音表示也被广泛应用于构音障碍的二元分类检测任务(Joshy和Rajan, 2022;Rathod等人, 2023;Bhat和Strik, 2025a)。它们还被用于构音障碍的严重程度分类,也称为构音障碍评估,其被建模为多分类问题(Cristianini等人, 2000;Breiman, 2001;O'Shea, 2015;Anuprabha等人, 2025)。自监督学习和大规模ASR模型的近期进展显著提高了ADSR的性能。像Wav2vec2.0(Baevski等人, 2020)和Whisper(Radford等人, 2023)这样的模型,在多样化的多语言和多任务语音数据上训练,学习到了通用的声学表示,可以直接应用于构音障碍语音处理或微调(Hernandez等人, 2022;Hu等人, 2024;Patel和Patil, 2024;Aboeitta等人, 2025;Sapkota等人, 2026)。各种适配技术,如微调(Leivaditi等人, 2024;Zheng等人, 2024;Hu等人, 2024;Takashima等人, 2024)、领域适配(Woszczyk等人, 2020;Stumpf等人, 2025)和数据增强(Leung等人, 2024;Wang等人, 2024;Bhat和Strik, 2025b),进一步提升了其性能。对于构音障碍语音检测和严重程度分类,近期研究也探索了自监督语音表示(Muller等人, 2026b;Muller等人, 2026a;Yue等人, 2026;Engert等人, 2026)和图表示(Liu等人, 2025)。这些研究表明,学习到的表示对于面向分类的构音障碍语音处理任务具有潜力。然而,尽管取得了成功,这些端到端模型缺乏可解释性。2 这类学习到的表示的各个维度通常不与明确的声学或语言学量直接关联,这使得难以分析哪些时频结构或调制模式对它们的决策有贡献,这在临床应用中是一个重要因素(Yue等人, 2026;Wu等人, 2026)。自定义特征相比之下更透明,但可能缺乏足够的跨说话人和录音条件的鲁棒性和表现力。纯数据驱动的方法,如大规模自监督学习,虽然强大,但通常需要大量的数据和计算资源,这在构音障碍语音场景中通常是有限的。这促使了结构化信号处理表示的使用,将可解释性、鲁棒性和区分能力相结合。为解决这些挑战,我们部署了深度散射谱(DSS)(Andén和Mallat, 2014)作为结构化的、特征级可解释的表示,弥合了先进信号处理方法与深度学习之间的差距。通过利用DSS,我们专注于构音障碍语音处理中的三个关键任务:构音障碍语音识别、检测和严重程度分类。我们的方法能够开发出鲁棒的模型,能够准确识别构音障碍语音、评估其严重程度并将其转换为文本。深度散射谱(DSS)是一种基于小波变换的信号表示(Rioul和Vetterli, 1991;Vetterli和Herley, 1992),由于能够捕捉区分性语音动态和时频结构,同时对小形变保持稳定,在自动语音识别(ASR)中展现了巨大的潜力(Mallat, 2008)。与传统自定义特征不同,DSS保留了关键的语音信息,使其非常适合鲁棒的语音处理。先前的研究突出了其在各种ASR任务中的有效性。Peddinci等人(2014)成功地将DSS特征整合到TIMIT语音识别任务中,使用卷积神经网络和全连接神经网络。同样,Sainath等人(2014)探索了大词汇连续语音识别的不同DSS配置,展示了其多功能性。此外,Joy等人(2020)考察了DSS模型在噪声下的鲁棒性,表明它们比传统特征表现更好,减少了对背景噪声的敏感性。这些研究(Peddinci等人, 2014;Sainath等人, 2014;Joy等人, 2020)共同强调了DSS在鲁棒ASR中的潜力,促使其在构音障碍语音处理中的应用,在此场景中鲁棒性和可解释性至关重要。在构音障碍语音处理的背景下,DSS特征由于能够通过基于小波的信号分析捕捉语音的细节和粗粒度信息,提供了显著优势。此外,它们对小形变的不变性可以在提取对构音障碍条件鲁棒的表示方面发挥作用。除了特征表示本身,我们还通过逐层探测和基于混淆矩阵的错误分析来进一步分析训练好的声学模型,这些分析提供了构音障碍相关信息如何在识别流程中被保留、转换或丢弃的见解。利用这些特性有助于更细微的语音参数化,从而提高辅助技术中构音障碍语音处理系统的可解释性和可靠性。本工作的具体贡献如下:•深入调查DSS特征在构音障碍语音识别、检测和严重程度分类中的有效性。•分析DSS语音识别系统在不同说话人和严重程度级别下的性能。•研究DSS特征配置的影响,包括DSS阶数、底层滤波器的Q因子以及时频分辨率之间的权衡对系统性能的影响。•分析深度散射功率谱(DSPS)系数在ADSR中的有效性。•对声学模型中不同子网络输出的逐层探测,以更深入地了解管道中底层的处理过程。•基于混淆矩阵的模型行为分析,以评估DSS特征在构音障碍语音检测和严重程度分类中提升区分能力的区域。本文其余部分结构如下。第2节回顾了DSS特征提取,详细介绍了其底层公式及其优势。第3节介绍了声学模型架构。第4节描述了实验设置,包括数据集、特征提取和架构配置。第5节涵盖了实验结果和讨论。最后,第6节总结了全文并概述了未来研究方向。章节摘录定义深度散射谱(DSS)利用了基于小波的多分辨率分析原理,随后经过非线性处理,旨在实现对小形变和平移的不变性(Mallat, 2010;Mallat, 2012),同时保留关于输入信号的所有信息(Bruna和Mallat, 2013)。信号x[n]的一阶散射谱S1为S1(x[n], λ1) = |x[n] * ψλ1[n]| * φθ[n],其中*表示卷积算子,ψλ1[n](λ1 ∈ Λ1)构成一组声学建模架构用于ASR的声学建模,我们同时使用了混合模型和端到端(E2E)模型。数据集声学模型使用TORGO(Rudzicz等人, 2012)和UASpeech(Kim等人, 2018)构音障碍语音数据集构建。TORGO包含21小时(构音障碍7.3小时,典型语音13.7小时)的录音,采集自15名说话人。其中8名说话人表现出从轻到重不同程度的构音障碍,其他为典型说话人。声学数据同时由头戴式麦克风和单个定向麦克风采集。TORGO包含两种ASR结果与讨论除了报告平均性能之外,我们还分析了DSS表示在本文考虑的不同任务中的误差模式。对于语音识别,误差分析通过TORGO上不同构音障碍严重程度级别的WER分解和UASpeech上不同理解力级别进行分析。对于构音障碍语音检测和严重程度分类,我们进一步分析每个类别的准确率和混淆矩阵,以确定哪些类别从DSS特征中获益最多以及在哪里结论与未来工作展望本文使用基于小波变换的深度散射谱(DSS)表示解决了构音障碍语音识别、检测和严重程度分类这一挑战任务,特别关注了一阶和二阶DSS特征(DSS1和DSS2)。我们的研究探索了各种DSS配置,包括不同的时频分辨率以及平方模非线性操作的影响。我们比较了混合声学模型(包含CRediT作者贡献声明Erfan Loweimi:撰写——审阅与编辑,撰写——初稿,可视化,验证,监督,方法论,调查,形式分析,数据整理,概念化。Zhengjun Yue:撰写——审阅与编辑,撰写——初稿,可视化,验证,方法论,调查,形式分析,数据整理,概念化。Zoran Cvetkovic:撰写——审阅与编辑,监督,资金获取,概念化。利益冲突声明作者声明,他们不存在已知的、可能影响本文报告工作的竞争经济利益或个人关系。Erfan Loweimi | Zhengjun Yue | Zoran Cvetkovic
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号