提升唇腭裂语音自动语音识别的公平性：基于严重性感知的数据混合研究

《Speech Communication》：Improving ASR fairness for cleft lip and palate speech: A study on severity-aware data mixing

　　

摘要：唇腭裂（CLP）患者产生的语音往往因结构性异常而呈现过度鼻音化（有时伴有气息声），导致共振峰结构发生偏移，从而降低自动语音识别（ASR）的性能和公平性。基于主流ASR系统在异常和障碍语音上表现不佳的证据，我们假设广泛使用的服务（如Google Speech-to-Text）对CLP语音表现出较低的公平性，并通过实证方法对此进行评估。为一致地量化公平性，我们提出了一种简单的公平性分数（FS），该分数在整体错误率和组间差异之间进行权衡。尽管存在共振峰干扰，轻度至中度的CLP语音仍保留了部分与典型语音的频谱-时间对齐性，这促使我们采用混合策略来改善公平性。我们系统地研究了不同严重程度的CLP语音与正常语音的严重程度感知混合，并评估了其对公平性的影响。三个ASR模型——GMM-HMM、Whisper和XLSR——在AIISH（卡纳达语）和NMCPC（英语）数据集上进行了评估。一种利用严重程度感知的CLP与正常语音混合策略的方法，在英语（NMCPC）和卡纳达语（AIISH）语料库上均改善了公平性。值得注意的是，词错误率（WER）从37.58%降低至25.47%（GMM-HMM，AIISH），从35.74%降低至21.72%（Whisper，NMCPC）。GMM-HMM在AIISH上的优异表现可能归因于其对卡纳达语儿童语音的有效性，这对XLSR和Whisper等基础模型构成了挑战。采用所提出的混合策略后，公平性分数（FS）在AIISH上提高了32.22%，在NMCPC上提高了39.22%。这些结果确立了一种简单的、以数据为中心的缓解方法，在无需架构变更的情况下同时提升了准确性和公平性，为主流ASR在CLP语音上的跨语言公平性审计提供了依据，并提供了可供临床和可及性场景部署参考的可行基线和指标。

引言：唇腭裂（CLP）是一种颅面区域的先天异常（Zajac和Vallino, 2017; Lohmander和Olsson, 2004; Stengelhofen, 1993）。全球范围内，估计2019年约有192,708人患有CLP（Wang等, 2023）。颅面区域的异常导致所产生的语音出现缺陷（Zajac和Vallino, 2017; Lohmander和Olsson, 2004; Stengelhofen, 1993; Lierde等, 2004）。主要是由于唇与鼻腔之间的开口，所产生的语音具有气息感和高度鼻音化特征（Zajac等, 2011; Whitehill和Chau, 2004）。此外，口腔与鼻腔之间的开口改变了声道共振（增加了鼻腔共振峰和反共振），表现为过度鼻音化和可听见的鼻腔漏气，并阻碍高压辅音（塞音、擦音、塞擦音）的产生，从而降低了语音清晰度（Zajac和Vallino, 2017; Kummer, 2007）。因此，CLP语音偏离了主流算法训练时所依据的声学-语音分布：鼻腔耦合引入了低频鼻腔共振峰和反共振，导致共振峰频率偏移，而气息声降低了谐波性并衰减了塞音/擦音中的高频能量。这些扰动扭曲了语音，使得在正常语音上训练的模型以不匹配的先前知识解释信号，降低了解释保真度。因此，确保对CLP语音的鲁棒性是安全医疗通信、公平教育和公民参与以及负责任且有偏见意识的语音技术部署的先决条件，而不仅仅是平等获取的问题。

尽管先前的CLP研究主要集中在分类和清晰度增强方面，但往往缺乏跨语言、儿童语音和严重程度感知评估，依赖替代指标如音素解码准确率、特征分类器AUC、PESQ、STOI，而非端到端任务的ASR词错误率或听者评估的清晰度，也很少检验广泛使用的ASR服务中的公平性差距。这些局限性促使我们研究在卡纳达语（AIISH）和英语（NMCPC）中使用GMM-HMM、Whisper和XLSR对CLP语音进行公平性和混合评估。Baumann等人的工作利用wav2vec2嵌入并结合机器学习分类器（Baumann等, 2022a）以及Transformer分类器进行正常与CLP分类（Bhattacharjee等, 2024）。Kalita等人报道补偿过度鼻音可以改善清晰度，并提出结合发音和过度鼻音线索的客观测量方法（Kalita等, 2019a）。他们还引入了基于声门活动的过度鼻音分数（Kalita等, 2018a），并采用带有高斯后验图的深度模型来估计过度鼻音（Kalita等, 2018b）。在片段层面，Vikram等人分析了CLP语音中的错误发音颤音（Vikram等, 2018）。在Bhattacharjee和Sinha（2022）的工作中，展示了一种基于MaskCycleGAN的增强方法，通过GMM-HMM后端改善了音素解码。Yao等人（Yao等, 2022）提出了一种IP编码的鲸鱼优化算法，用于自动演化可变长度的DCNN以进行病理语音分类（包括CLP），从而通过优化架构提高CLP识别。Fu等人（Fu等, 2021）引入了声道面积谱（VTAS）和一组基于VTAS的声学特征，以捕捉发音变异和复杂性，并使用AdaBoost分类器自动检测CLP语音中的咽擦音。此外，几项工作也尝试使用生成式端到端深度学习框架增强CLP语音的清晰度（Wang等, 2019; Ha等, 2023）。然而，据我们所知，文献中尚无任何工作研究ASR在CLP语音中的公平性。图1展示了正常、轻度、中度和重度受影响CLP受试者产生的语音信号、语谱图和共振峰轮廓。该图表明共振峰位置从正常到重度呈渐进式偏移，可能是由于口鼻腔开口程度增加所致。然而，尽管正常和轻度语音的共振峰轮廓形状基本保持完整，但中度和重度情况下则逐渐恶化。这表明ASR性能可能因共振峰频率偏移而下降。

本研究调查了典型（正常）语音与CLP受影响语音之间的ASR性能差距，并以最先进的Google ASR API作为基线。为进一步探索正常语音与CLP语音之间的相似性和差异性，我们进行了交叉训练和交叉测试实验。这些实验采用了三种成熟的ASR方法：（1）高斯混合模型-隐马尔可夫模型（GMM-HMM），（2）跨语言无监督语音表示（XLSR），以及（3）由OpenAI开发的大规模弱监督序列到序列ASR模型Whisper。我们在两个数据集上进行了实验：（1）AIISH，主要由卡纳达语儿童语音组成，以及（2）NMCPC，包含英语儿童语音。所选的ASR方法反映了对可用数据量的考虑。GMM-HMM是一种传统方法，以其在低资源环境中的有效性而闻名。XLSR-wav2vec2代表了一种近期流行的无监督方法，而Whisper则基于弱监督的大规模预训练。尽管CLP语音的数据集有限，但AIISH和NMCPC提供了跨语言和录音条件的代表性比较。虽然主要关注ASR性能中的公平性，本研究还旨在评估考虑到语言差异，哪种ASR方法在每个数据集上表现最优。值得注意的是，像XLSR和Whisper这样的基础模型主要是在英语上训练的，对卡纳达语的接触显著较少。

CLP语音研究主要聚焦于过度鼻音检测、清晰度评估和语音增强。过度鼻音是CLP语音的一个关键特征，已使用各种信号处理技术进行了广泛研究。早期的工作如Dubey等人引入了零时窗处理（ZTW）和同态倒谱前端用于过度鼻音检测，将这些特征与SVM配对用于CLP/正常分类（Dubey等, 2016; Dubey等, 2018a）。Nikitha等人分析了CLP儿童基于共振峰的元音空间缩减（Nikitha等, 2017b）。Vikram C.等人提出了一种后验概率框架来估计过度鼻音分数，解决了感知评分的局限性（Vikram C.等, 2018a）。Mathad等人开发了一种基于注意力的BLSTM，改善了自动过度鼻音预测（Mathad等, 2021）。在特征工程方面，Dubey等人设计了基频自适应前端和恒Q倒谱系数（CQCC）以提高检测准确率（Dubey等, 2018b; Dubey等, 2019b），并随后探索了正弦模型特征和结合声道/残差线索以实现更鲁棒的检测（Dubey等, 2020; Dubey等, 2019b）。最近的研究通过先进的频谱/发音特征（Dubey等, 2019a）和预训练Wav2Vec2的潜在表示改善了分类（Song等, 2022）。

清晰度评估研究采用了多种方法来估计语音清晰度，包括高斯后验图（Kalita等, 2018b）、动态时间规整（DTW）（Kalita等, 2018c）和回归模型（Kalita等, 2019b）。这些方法已显示出与人类感知评分的强相关性，证明了其在客观清晰度评估方面的有效性。例如，（Kalita等, 2019c）分析了CLP语音中擦音的谱矩，而（Vikram等, 2019）利用了周期同步特征来检测鼻音化浊塞音。在语音增强领域，利用信号处理和深度学习方法改善清晰度的努力卓有成效。早期工作如（Sudro等, 2018）聚焦于修改音素转换，而（Sudro和Prasanna, 2020）通过改变声道系统特征提出了针对鼻音化语音的增强方法。在Sudro和Prasanna（2021）和Sudro等（2021a）中，通过频谱变换解决了错误发音的擦音和塞音问题。更近期的进展利用了基于深度学习的方法，如Sudro等（2021b）中的CycleGAN，显著改善了CLP语音在ASR评估中的词错误率（WER）。此外，Sudro等（2021c）展示了使用声道长度扰动和混响等数据混合技术增强了CLP语音的识别性能。表1总结了使用CLP语音的现有工作。

尽管先前的研究主要聚焦于清晰度评估和增强，但缺乏评估近期ASR方法在CLP语音上性能和公平性的研究。为弥补这一差距，我们系统地分析了ASR在CLP语音上的性能，并提出了一种严重程度感知的数据混合策略来提高ASR系统的公平性。

此外，图1显示语谱图中的共振动态（以黄色带高亮显示）随着严重程度等级的提高而变得越来越扭曲。特别是图1(e)和(f)保留了几乎完整的频谱共振模式。这些观察促使我们调查严重程度感知的数据混合，以评估ASR系统的性能和公平性。在本工作中，我们以受控方式进行了严重程度语音混合，并分析了ASR方法在典型语音和CLP语音条件下的性能，特别关注公平性。

本工作的主要贡献总结如下：
1. 我们评估了公开可用ASR系统在CLP语音上的公平性，并展示了在这些条件下性能下降。
2. 我们提出了一种严重程度感知的数据混合方法，通过将不同CLP语音严重程度的真实CLP数据与正常语音按等比例混合，来改善不同CLP严重程度下的ASR公平性。
3. 我们分析了CLP语音在具有挑战性的场景下的有效ASR方法，包括儿童语音和低资源语言环境。

数据库设置：鉴于CLP语音语料库公开可用的稀缺性（Javid等, 2020; Bocklet等, 2014; Eshky等, 2018），我们使用了两个数据集来执行实验。首先使用印度全国语音与听觉研究所（AIISH）的数据集进行分析（Nikitha等, 2017b），然后为了一般化目的，使用新墨西哥唇腭裂中心（NMCPC）数据集（Javid等, 2020）重复部分实验。我们选择AIISH和NMCPC数据集是因为……

CLP语音中公开可用Google应用程序编程接口（API）ASR的公平性：本节讨论了公开可用的Google API ASR的性能及其在CLP语音中的公平性。

所提出的CLP ASR方法：CLP语音与正常语音相比存在扭曲，这一点在现有文献中得到了一致强调（Zajac和Vallino, 2017; Lohmander和Olsson, 2004; Stengelhofen, 1993; Lierde等, 2004）。这些扭曲源于生理差异，导致CLP语音具有独特的声学和发音特征（Zajac等, 2011; Whitehill和Chau, 2004）。图1(a-h)展示了正常、轻度、中度和重度语音的语音信号及其对应的语谱图……

ASR模型的实验设置：XLSR和Whisper直接以原始语音信号作为输入，而GMM-HMM模型使用MFCC特征。Whisper和XLSR-Wav2Vec2具有约25毫秒的有效窗口大小，但它们的帧移不同：Whisper使用10毫秒，而Wav2Vec2/XLSR使用20毫秒。在bigram GMM-HMM框架中，三音模型使用50个senone和500个高斯混合建模。在所有实验中……

讨论：最初，在AIISH数据集上使用GMM-HMM系统进行了纵横交叉评估，以检验训练和测试条件不匹配的影响。在此设置中，ASR系统分别在正常语音和CLP语音上进行训练，并在不同严重程度（正常、轻度、中度、重度）的这两类语音上进行测试。

主要目标是分析不同配置下的识别性能，特别是了解在CLP语音上训练的系统的表现。结论本研究提供了一项针对唇腭裂(CLP)患者语音的全面、以公平性为核心的语音识别(ASR)系统评估。首先采用交叉实验框架，分析了在不同CLP严重程度水平下，使用正常语音和CLP语音训练的ASR模型之间的性能差异。研究发现，识别准确率明显下降，尤其是中度和重度CLP语音，突显了采用包容性训练策略的必要性。为解决这一问题，CRediT作者贡献声明Susmita Bhattacharjee：撰写初稿、可视化、验证、软件、资源、方法论、调查、形式分析、数据整理、概念构思。Jagabandhu Mishra：审阅与编辑、监督、方法论、形式分析、概念构思。H.S. Shekhawat：审阅与编辑、监督、概念构思。Ravi Jasuja：审阅与编辑、监督、概念构思。S.R. Mahadeva Prasanna：审阅与编辑。利益冲突声明作者声明，他们不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。Susmita Bhattacharjee|Jagabandhu Mishra|H.S. Shekhawat|Ravi Jasuja|S.R. Mahadeva Prasanna印度理工学院古瓦哈提分校电子与电气工程系，印度阿萨姆邦古瓦哈提781039