基于嵌入技术的中文语音取证比对系统通过短语音样本的验证

《Forensic Imaging》：Validation of an embedding-based forensic voice comparison system using short speech samples in Chinese languages

　　摘要：本研究评估了ECAPA-TDNN x-vector系统在法医语音比对中的性能，考察了语音时长与校准样本数量对性能的影响。研究使用了90名香港粤语使用者及90名东北普通话使用者的真实语音样本。首先从预训练的ECAPA-TDNN嵌入模型中提取说话人嵌入特征，再通过PLDA评分和逻辑回归进行校准。测试中语音时长从2秒逐步增加到20秒，每次增加1秒；校准样本数量从20人逐步增加到60人，每次增加10人。在两个数据集中，当语音时长不超过10秒时，系统性能显著提升，超过10秒后提升幅度则较为有限。对于香港粤语样本，19秒时长、40个校准样本时的识别效果最佳（Cllr值为0.112），而2秒时长、20个样本时的识别效果最差（Cllr值为0.702）。东北普通话样本中，20秒时长、60个样本时的识别效果最佳（Cllr值为0.172），2秒时长、20个样本时的识别效果最差（Cllr值为0.884）。相比语音时长，校准样本数量对性能的影响较小；尤其是样本较短时，Cllr值的波动更为明显。香港粤语样本的识别性能始终优于东北普通话样本，这可能是因为不同参与者之间的语音内容相似度更高。研究结果还与其他语言的相关研究进行了对比分析。

引言：法医语音比对是一门让法医专家通过比较分析语音样本——通常是犯罪嫌疑人的语音样本与已知样本——来帮助司法人员判断两个语音样本是否来自同一人的技术。目前主要有两种处理方法：一种是听觉与声学结合的方法，通过听觉和声学手段对元音、辅音、音质等语言语音特征进行定性和定量分析；另一种则是利用自动语音识别系统，通过梅尔频率倒谱系数、对数梅尔滤波器组等信号处理特征对语音内容进行整体分析，再借助统计方法构建说话人特征模型，进而比较已知样本与可疑样本的相似性，判断其在相同或不同说话人假设下的概率水平。尽管听觉声学方法仍在全球法医语音比对中占据主导地位，但近年来法医专家越来越多地使用自动语音识别系统，这类系统的输出结果已在荷兰、德国、瑞典、西班牙和加拿大等国家的法庭上获得认可。自动语音识别技术在法医语音比对中得到广泛应用，得益于其较低的劳动强度、完善的验证体系，以及过去二十年间识别准确率的持续提升。技术发展也从高斯混合模型-通用背景模型、i-vector系统，发展到基于深度神经网络的x-vector系统，这类更先进的系统通常具有更高的识别精度。最新研究还表明，最先进的法医语音比对系统在说话人识别精度上甚至超过了普通听辨者及多数协作听辨小组的表现。研究建议法官和陪审团不要仅依赖自身听觉判断，而应采用经过验证的法医语音比对系统得出的专业结论。法医专家必须通过实验证明自己所使用方法的可靠性，许多司法管辖区的法律标准都要求使用准确可靠的技术，相关要求也体现在美国国家科学院的报告以及美国总统科学顾问委员会的相关文件中。过去几十年里，众多研究都在不同场景下验证各类自动语音识别系统的性能，包括GMM系统、i-vector系统、x-vector系统等，这些系统在说话人区分方面均展现了良好的性能。近期研究则聚焦于更先进的x-vector系统变体，如扩展时延神经网络、ECAPA-TDNN系统等。在这些系统中，说话人嵌入特征通常通过预训练在大型语音语料库上的模型提取，再通过余弦相似度或概率线性判别分析等评分方法进行比较。余弦相似度主要作为相似度衡量指标，而概率线性判别分析则能同时考虑说话人之间的差异以及同一名说话人不同样本的典型性，进而生成反映相似程度的分数。这些分数随后会经过校准，转化为可解释的似然比，用于说明证据强度，即现有证据更支持相同说话人假设还是不同说话人假设。Zhang和Ding在2023年报告了E-TDNN x-vector系统的验证及实际应用情况。他们使用的案例包含犯罪嫌疑人的2.04秒、3.32秒、5.14秒自发性语音样本，以及嫌疑人的52.8秒、56.52秒朗读语音样本，所用语言为中国东南部的闽南语。他们的预训练E-TDNN系统是基于约13万条来自不同汉语方言及口语场景的语音样本训练而成的，但未公开预训练模型所使用的说话人数量及总语音时长。在测试前，他们先使用143名男性闽南语说话人的语音数据对系统进行验证，每位说话人提供了至少20秒的非同步自由对话语音。系统首先提取这些语音的嵌入特征，再通过PLDA评分，随后选取100名随机选择的说话人的评分数据训练逻辑回归模型作为校准集，再用该模型计算剩余43名说话人的评分以进行验证测试，最终通过Cllr值评估系统性能。他们发现该E-TDNN系统的Cllr值为0.087，远低于表示无有效信息的1值。另一项研究中，Sztahó和Fejes使用ECAPA-TDNN x-vector系统研究了语言不匹配对法医语音比对性能的影响，旨在探讨在训练数据中代表性不足的语言（如匈牙利语）上，是否可以利用在大型多语言数据集上预训练的模型进行有效识别。他们首先在VoxCeleb语料库上预训练了ECAPA-TDNN模型，随后按照该模型的架构，使用632名匈牙利语说话人的27.31小时语音数据训练了专用匈牙利语模型，又使用395名澳大利亚英语说话人的数据训练了澳大利亚英语模型。另外还使用了包含120名匈牙利语说话人和160名澳大利亚英语说话人的数据集进行验证。尽管这些数据集包含了男性和女性说话人，但系统验证并未将性别作为影响因素。研究还考察了语言、样本时长、语音风格等其他因素。在语言不匹配的对比中，结果显示语言差异并未显著降低系统性能，无论是匈牙利语还是澳大利亚英语，预训练模型的性能都优于定制训练的模型。例如，预训练的ECAPA-TDNN模型在匈牙利语样本上的Cllr值为0.05，而定制模型则为0.19。澳大利亚英语样本也呈现出类似趋势：预训练模型的Cllr值为0.07，定制模型则为0.38。他们进一步分析了表现最佳的匈牙利语配置下的时长效应，发现样本时长越长，系统性能越好（例如，2秒样本的最低Cllr值为0.05，10秒样本的最低Cllr值降至0.006）。而当有多个嫌疑人样本时，语音风格对性能的影响则相对较小。Weber等人也在2022年对其自主研发的E3FS3系统进行了验证，该系统也是基于x-vector技术的改进版本。E3FS3系统使用基于ResNet34的深度神经网络从对数梅尔滤波器组中提取x-vector特征，随后通过线性判别分析实现维度降维和误差补偿，再通过PLDA进行评分，最后通过正则化逻辑回归对评分结果进行校准。该系统最初在VoxCeleb2语料库上预训练，之后又通过CORAL算法，利用2700名说话人的约3万条录音数据进行进一步优化，以解决领域不匹配问题。研究人员首先使用forensic_eval_01数据集进行性能评估，该数据集包含166名澳大利亚男性说话人的录音，可疑样本的平均时长为46秒，已知样本的平均时长为语音活动检测前的126秒。系统从所有说话人中提取嵌入特征，用105名说话人的数据训练PLDA模型，剩余61名说话人的数据用于生成PLDA评分，再通过留一法/留二法交叉验证对评分结果进行校准，最终得到的Cllr值为0.208。随后研究人员又使用另一套澳大利亚英语数据集进行进一步验证，旨在研究电话传输编码格式（GSM 06.10、μ-law + G.729a、μ-law + G.723.1）以及语音样本时长（5至180秒）对系统性能的影响。在男性说话人样本中，91人用于PLDA模型训练，78人用于校准；女性说话人样本中，125人用于训练，108人用于校准。测试结果显示，E3FS3系统在男性说话人样本上的性能优于女性样本，且始终保持较低的Cllr值。此外，随着样本时长的增加，系统性能也会提升，当语音时长达到90秒时性能趋于稳定，Cllr值在0.08到0.09之间。值得注意的是，当语音时长从5秒增加到30秒时，Cllr值会从约0.4迅速下降到0.1。对于不同编码格式的影响，无论男性还是女性说话人，其影响都较为微弱。最近，Sigona和Grimaldi比较了不同归一化方法下ECAPA-TDNN系统与其他x-vector系统的性能。他们同样使用forensic_eval_01数据集提取说话人嵌入特征，但没有采用PLDA评分，而是通过余弦相似度计算嵌入特征之间的相似度，再通过带留一法/留二法交叉验证的核密度估计方法对相似度结果进行校准。Sigona和Grimaldi研究的归一化方法存在差异，具体体现在归一化是在嵌入特征层面还是评分层面进行，以及是使用全局数据集还是自定义选定的子集（例如仅选择相似度最高的100个嵌入特征进行归一化）。关于归一化方法的详细对比超出了本文范围，有兴趣的读者可参考相关研究文献。他们的研究结果表明，ECAPA-TDNN系统的性能最佳，综合Cllr值为0.089，优于之前研究提到的部分x-vector系统。此前的研究大多以英语、匈牙利语等欧洲语言为研究对象，验证了x-vector系统的良好性能，同时也有研究表明，基于大型语音模型预训练的系统性能优于定制训练的系统。本研究则着眼于中文的两个方言变体——东北普通话和香港粤语，同时考察了语音时长以及校准样本数量对系统性能的影响。研究过程中，我们首先使用预训练的ECAPA-TDNN系统提取说话人嵌入特征，随后进行PLDA训练、评分，最后完成评分校准。以下各节详细介绍了研究流程、结果、讨论及结论。数据部分：本研究使用了两种中文变体：香港粤语和东北官话。香港粤语语料库包含102名年轻男性说话者（平均年龄23岁，中位数22岁）（Wang等人，2025年），每位说话者参与了两次录音，两次录音之间相隔三到四周的时间。设置这样的间隔是为了模拟现实场景中，犯罪者与嫌疑人的录音之间通常存在的时间差。在第一次录音中，说话者们进行了录制。结果部分：图1、图2、图3展示了香港粤语语料库中，Cllr值、Cllr最小值以及Cllr校准值随语音时长以及用于校准的说话者数量的变化情况；图5、图6、图7则展示了东北官话语料库的相应结果。x轴表示语音时长，y轴显示对应的数值，图例说明用于校准的说话者数量。表1和表2分别给出了香港粤语和东北官话的相应Cllr值。图4展示了Tippett指标。讨论部分：本研究旨在通过考察语音时长以及用于校准的说话者数量对基于x向量的系统——即ECAPA-TDNN（Desplanques等人，2020年）性能的影响，来验证该系统的有效性，研究采用了两种中文语言作为测试语言。首先使用预训练的ECAPA-TDNN模型提取说话者嵌入特征，随后进行PLDA评分，并通过留一法/留二法逻辑回归进行校准。该系统在两种语言上均表现出良好的性能，整体效果不错。结论部分：本研究探讨了将最新的ECAPA-TDNN模型应用于两种中文语言的短语音样本的语音指纹识别中的有效性，其表现相当不错，可与之前使用澳大利亚英语、匈牙利语以及东南闽南语等语言进行的类似研究相媲美。这些结果为基本的法医案例场景提供了通用验证，涵盖了非同步语音以及不同语音风格的情况。考虑到本研究中所变化的各项因素……资金来源：这项工作得到了香港理工大学战略招聘计划下研究助理教授启动基金的支持（编号P0049447；1-BDUM），同时还获得了中国香港特别行政区研究资助委员会的支持（编号[PolyU]、[P0056858]、[HKU]、[17605124]），以及中国重庆市自然科学基金的支持（编号CSTB2022NSCQ-LZX0007）。CRediT作者贡献说明：WANG Bruce Xiao：写作——审阅与编辑、写作——初稿撰写、可视化、验证、方法论、研究设计、资金获取、正式分析、数据整理、概念构建。Cuiling Zhang：写作——审阅与编辑、写作——初稿撰写、验证、方法论、资金获取、数据整理、概念构建。Chan Ricky K. W.：写作——审阅与编辑、写作——初稿撰写、验证、方法论、资金获取、概念构建。利益冲突声明：作者们声明自己没有已知的可能影响本文所述工作的财务利益或个人关系。致谢：我们感谢Man-Wai MAK教授和Deng Guangmou先生在PLDA模型及其训练方面的建议与指导。同时，我们也感谢编辑以及三位匿名审稿人提出的建设性意见，尤其要感谢第三位审稿人对PLDA模型的详细反馈。Bruce Xiao Wang | Cuiling Zhang | Ricky K.W. Chan中国香港香港理工大学英语与传播系