《Speech Communication》:A sociolinguistic analysis of automatic speech recognition bias in Newcastle English
编辑推荐:
自动语音识别(Automatic Speech Recognition, ASR)系统广泛应用于日常通信、教育、医疗和工业等领域,但其在不同说话者之间的性能仍不均衡,尤其当方言变异偏离训练数据所代表的主流口音时。本研究通过对纽卡斯尔英语(Newcastle E
自动语音识别(Automatic Speech Recognition, ASR)系统广泛应用于日常通信、教育、医疗和工业等领域,但其在不同说话者之间的性能仍不均衡,尤其当方言变异偏离训练数据所代表的主流口音时。本研究通过对纽卡斯尔英语(Newcastle English)的社会语言学分析考察ASR偏差;纽卡斯尔英语是英格兰东北部的一种区域变体,已被表明对当前语音识别技术构成挑战。研究人员使用泰恩赛德英语历时电子语料库(Diachronic Electronic Corpus of Tyneside English, DECTE)中的自发语音,评估一种最先进的商业ASR系统的输出,并对3000余个转录错误进行细粒度分析。错误按语言域分类,并考察其与性别、年龄和社会经济地位等社会变量的关系。此外,针对选定元音特征的声学案例研究展示渐变语音变异如何直接导致误识别。结果表明,音系变异占错误的多数,反复出现的失败与元音音质、声门化(glottalisation)等方言特异性特征以及本地词汇和非标准语法形式有关。错误率也随社会群体而异,男性和年龄谱两端说话者的错误频率更高。这些发现表明,ASR错误并非随机,而是具有社会模式,并可从社会语言学视角解释。因此,本研究证明将社会语言学专业知识纳入语音技术评估与开发的重要性,并主张更公平的ASR系统需要明确关注方言变异和社区语音数据。
自动语音识别(ASR)已广泛用于教育、医疗、客户服务和日常交流,但其在不同说话者间的性能不均衡,尤其当方言偏离训练数据中的主流规范时。既有研究记录了性别、年龄、族群和方言偏差,但总体指标常难以解释错误来源;社会经济地位(socioeconomic status, SES)研究不足;对同一语言社区内部具体语言特征如何触发错误、错误如何随社会变量分布,缺乏细粒度分析。纽卡斯尔英语(Geordie)是英格兰东北部显著区域变体,持续挑战ASR。研究人员据此以DECTE自然口语为数据,评估商业ASR,并把ASR输出视为社会语言模式化行为,考察音系、形态句法、词汇及标准化/拼写错误,检验性别、年龄和SES相关差异,并用声学案例说明渐变语音实现与误识别的关系。其意义在于把社会语言学专业纳入语音技术评估与开发,主张公平ASR需关注方言变异和社区语音数据。研究结论为:ASR错误并非随机,而具社会模式;音系变异为主,方言特征(元音音质、声门化、单元音化)、本地词汇和非标准语法形式反复失败;性别和年龄呈描述差异,性别×错误类型交互主要见词汇错误;ASR偏差反映并可能强化社会语言层级。
关键技术方法如下(不超过250字):数据来自DECTE(泰恩赛德英语历时电子语料库),该库含160名说话者72小时自然口语,本研究选47段录音81名说话者(34小时0分44秒),平衡性别年龄并尽量平衡SES和音频质量。使用商业系统Rev AI(UK English)转录,人工对齐并由两位社会语音学标注者依据方案编码3005个方言相关错误。统计采用负二项广义线性混合模型(generalised linear mixed-effects models, GLMMs),以说话者为随机截距,检验错误类型、性别、年龄、SES和音频质量。声学案例选取12名说话者1030个face和827个goat标记,使用ELAN时间对齐、Montreal Forced Aligner(MFA)音段对齐、new-fave提取共振峰,并以离散余弦变换(Discrete Cosine Transform, DCT)系数分析轨迹。
研究结果按原文小标题概述如下。
4.1 错误分布:3005个错误中,音系错误1826个(60.8%),词汇错误590个(19.6%),标准化错误294个(9.8%),形态句法错误235个(7.8%),拼写错误21个(0.7%);表明音系错误最突出。
4.1.1 社会因素:描述统计:男性占57.4%错误,女性占42.6%;年龄两端较高(16–20岁26.3%,61–90岁31.4%,21–40岁18.0%,41–60岁24.4%);词汇错误男性24%对女性13%,标准化错误女性12%对男性8%;SES中学生28.4%、工人阶级25.5%、中产阶级19.3%、退休者18.4%;工人阶级形态句法错误12%,中产阶级和学生均7%,退休者8%。说明错误频数按社会群体呈描述差异。
4.1.2 社会因素:推断统计:负二项GLMM最终模型含错误类型×性别和说话者随机截距;性别主效应不显著(p=.188),Standardisation×Women交互显著(p=.017),但事后比较未见标准化错误内部性别差异;事后比较显示音系错误显著多于其他类型,约为标准化错误5.75倍、词汇错误3.43倍;词汇错误男性显著多于女性(β=0.55,p=.008);其他类型无显著性别差异。说明错误类型差异强,性别差异主要见词汇错误。
4.1.3 音系错误:子类包括元音音质721个(39.5%)、声门化/声门塞音414个(22.7%)、单元音化403个(22.1%)、g-dropping 171个(9.4%)等;price元音错误最多,foot/strut和nurse/north合并第二、第三;/t/声门化占音系错误13.9%、声门化错误61.4%(n=254),/k/声门化4%(n=73),/p/声门化2.2%(n=40),声门塞音另占2%;face单元音化占音系错误15.2%、goat为7.5%。说明显著区域元音和声门化直接触发误识别。
4.1.4 形态句法错误:共235个(7.8%);动词范式111个(47.4%)、代词102个(43.6%)、时态17个(7.3%)、复数4个(1.7%);gan→gun/gone/can,div/divn’t→did/didn’t,knaa及第一人称-s被误转;wor、yous、me等本地代词导致语义扭曲或删除。说明本地动词和代词是主要形态句法挑战。
4.1.5 词汇错误:共590个(19.6%);地名占词汇错误13.2%,Sunderland占地名错误20.5%等;本地词汇中aye占38.3%本地词汇错误,Geordie 5.5%、bloke 4.1%、canny 3.9%、lad 3.9%、nowt 3.9%、wey 3.9%、lass 2.9%、bairn 2.3%;男性更多bloke、nowt、canny,女性更多A-levels、loo且地名错误更多。说明区域词汇和地名系统性失败。
4.1.6 标准化与拼写错误:标准化错误294个,代词56.5%、连词16.9%、词汇13.7%;如me→my、wor→our、round→around,复数、动词范式、时态也被标准化;拼写错误21个,多为英式→美式(license/licence、maths/math、favourite/favorite),即使指定UK English仍出现。说明ASR倾向将方言标准化并偏向美式拼写。
4.2 声学分析:12名说话者共1030个face、827个goat标记;Spearman相关弱且不显著(face F1 ρ=-.29,p=.365;F2 ρ=-.24,p=.462;goat F1 ρ=-.10,p=.753;F2 ρ=.15,p=.644);个案显示低错误者滑音明显、接近主流,高错误者face/goat呈中心化或滑音缩短;描述性证据显示face错误较多者共振峰运动减弱,goat无类似模式;样本小为探索性。说明声学变异与误识别相关但证据有限。
讨论部分总结:研究确认男性错误更多,与既有混合证据一致;社会语言学解释为男性更多使用非标准形式,女性更倾向标准形式。年龄描述模式与age grading相符,但统计不显著,不能下结论。ASR偏差复制人类社会语言模式;研究从第一波人口类别转向社区细粒度分析。音系和词汇主导,形态句法与标准化相连;SES不显著或因统计功效和样本不平衡,仍需更大平衡样本。限制包括未与人类可懂度比较、复合错误拆分、声学样本小。原文提出方言特征标注、细粒度评估、社区数据和将语音技术视为社会语言行动者。
结论翻译:本研究考察社会语言学访谈数据中的自动语音识别(ASR)错误模式,关注音系、词汇、形态句法和标准化错误在说话者性别、年龄和社会经济背景上的分布。负二项混合效应模型显示错误类型和性别存在显著差异,男性词汇错误尤其升高,表明ASR表现可以反映潜在的社会语言变异。这些发现表明,ASR错误并非随机分布,而是与具有社会和区域模式的语言使用方式系统性相关,而非仅与人口类别相关。因此,研究人员认为ASR评估必须超越总体准确率指标并纳入社会语言变异,因为认识区域和社会多样性对于开发更公平、更具包容性的语音技术至关重要。