《Computer Speech & Language》：Direct comparison tests for effective evaluation of text-to-speech with a small number of listeners
编辑推荐：
摘要本文对比了多种用于评估文本转语音系统的主观测试方法。我们将基于五分制绝对评分的MOS测试结果与两种直接比较测试——AB测试和最佳最差评分法（BWS）测试的结果进行了比较。在AB测试中，参与者需从两个选项中选择他们更喜欢的音频；而在BWS测试中，他们则需要从多个音频中选出最佳和
摘要
本文对比了多种用于评估文本转语音系统的主观测试方法。我们将基于五分制绝对评分的MOS测试结果与两种直接比较测试——AB测试和最佳最差评分法（BWS）测试的结果进行了比较。在AB测试中，参与者需从两个选项中选择他们更喜欢的音频；而在BWS测试中，他们则需要从多个音频中选出最佳和最差的。我们从测试时长、参与者一致性、检测到的显著差异数量以及系统排名等方面对这些测试进行了评估。此外，我们还分析了参与者数量和测试时长对测试结果的影响。为了进行比较，我们使用了相同的音频素材分别进行了三种测试（MOS、AB和BWS），并分析了所有评分结果，以及来自部分参与者和部分音频的测试结果。研究结果表明，在相同时间内，BWS测试能获得更多的用户评分。此外，参与者在BWS测试中的评分一致性也更高。我们的研究还发现，与AB测试和MOS测试相比，BWS测试能揭示出更多显著差异，尤其是在参与者较少或测试时间较短的情况下。特别是，仅有10名参与者的BWS测试所发现的差异数量，与20名参与者参加的MOS测试相当。
引言
如今的文本转语音系统已具备极高的质量，其自然度甚至接近人类语音（Tan等人，2024年）。这一进步的背后，得益于能够衡量系统性能并找出改进方向的能力。与十年前相比，语音合成评估已不再是被忽视的环节（Wester等人，2015年）。近年来，该领域已成为研究热点（Shirali-Shahreza和Penn，2018年；Wagner等人，2019年；Kirkland等人，2023年；Yasuda和Toda，2023年；Le Maguer等人，2024年；Cooper等人，2024年；Edlund等人，2024年；Seebauer和Wagner，2025年；Bailly等人，2025年），这些研究推动了业界通过制定如Cooper等人（2025年）提出的评审指南来完善评估流程。
语音合成评估既依赖于客观指标，也离不开主观听力测试。客观指标具有很大优势：它们可重复计算且易于获取，因此非常适合用于大量数据的评估，且不会带来额外成本。不过，它们无法准确反映人类的主观判断（Hinterleitner等人，2011年；Latacz和Verhelst，2015年；Falk等人，2008年；Cooper等人，2022年；Huang等人，2022年），正因如此，主观评估仍被视为黄金标准。
主观评估依赖于人类的反应。虽然客观指标对于相同音频能给出一致的结果，但人类的反应却会存在自然差异。这种差异程度（无论是在不同参与者之间还是同一参与者内部）很大程度上取决于评估设计。如果所有参与者都能正确完成任务，且评价标准明确，那么他们的评分一致性就会很高。而当任务较为模糊（更具主观性）或难度较高时，评分一致性往往会降低：不同参与者可能会关注任务的不同方面，从而给出不同的评价。任务越清晰，参与者之间的评分一致性就越高，因此所需参与者数量也会更少，就能发现明显的规律。
要找出系统之间的真正差异，需要多少评分实际上是评估设计中的一个核心问题，尤其是当可用参与者数量有限时。例如，在评估那些只有少数母语使用者的濒危语言的语音时，就会出现这种情况（Pine等人，2022年；Pine等人，2025a年）。即便人口统计因素不是限制因素，参与者数量也可能较少。这在系统开发过程中尤为常见，由于时间、预算或数据保密等方面的限制，决策往往需要依靠少数人的判断。因此，选择在少量参与者情况下仍能有效运行的测试方法至关重要。
本文是在Wells等人（2024年）工作的基础上进一步展开的，他们在该研究中比较了用于文本转语音系统评估的MOS测试、AB测试和BWS测试。那篇论文主要关注的是参与者对这三种测试类型的偏好，而本文则着重探讨参与者数量和音频数量对各类测试性能的影响。我们特别想了解在参与者数量有限的情况下，哪种测试更为有效。
本文的结构如下：第2节我们将进一步探讨不同类型的主观评估方法以及相关评估研究。第3节会介绍我们的评估设计细节，包括使用的音频素材、测试问题以及参与者招募方式。第4节会展示测试时长、系统排名、参与者一致性，以及参与者数量和音频数量所带来的影响等结果。第5节我们将讨论这些结果对主观评估和客观评估的影响，最后在第6节给出结论。
章节要点
主观评估
主观评估依赖于人类的反应。有些评估方法比其他方法更具主观性。例如，要求参与者评估音频的自然度，显然需要更多主观判断，而让参与者输入他们所听到的内容或从两个样本中选择，则相对主观性较低。当评估问题不够明确时，参与者的反馈往往会更多样化，正如Wester等人（2015年）在比较自然度评估与相似度评估时所观察到的，Alvarez和Huckvale（2002年）以及Shirali-Shahreza也有所提及。
评估设计
本文旨在确定在显著差异数量、测试时长以及参与者数量方面，哪种测试（MOS测试、AB测试或BWS测试）更为有效。为此，我们开展了三种独立的听力测试，研究了参与者数量和音频数量对各类测试结果的影响。本节将详细介绍音频素材的筛选、测试设计以及参与者招募流程。
结果
本节将呈现三种听力测试得出的结果。具体而言，我们会讨论每项任务的持续时间、系统的最终得分、参与者评分的一致性，以及参与者数量和音频数量带来的影响，还会通过标准误差和对MOS数值的标准化处理，对结果进行更深入的分析。
讨论
本节将探讨我们的研究结果对评估设计的启示，具体包括：参与者数量的选择、MOS测试、AB测试和BWS测试的局限性，以及如何利用这些结果来设计更优秀的客观评估指标。
结论
我们比较了三种用于语音合成系统评估的听力测试方法。在比较中，我们采用了该领域最常用的MOS测试，以及两种直接比较测试：AB测试（也称为偏好测试）和BWS测试（最佳最差评分法）。在BWS测试中，参与者需要从一组音频中选出最佳和最差的选项。我们共进行了三种独立的听力测试（MOS、AB和BWS），并比较了每种测试的时长、参与者……
CRediT作者贡献说明
Cassia Valentini-Botinhao：写作——审阅与编辑，写作——初稿撰写，可视化，验证，软件，方法论，正式分析，数据整理，概念构建。Dan Wells：写作——初稿撰写，方法论，正式分析，数据整理，概念构建。Andrea Lorena Aldana Blanco：写作——初稿撰写，方法论，正式分析，数据整理，概念构建。Erica Cooper：写作——初稿撰写，概念构建。Junichi Yamagishi：监督工作。
利益冲突声明
作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：Dan Wells表示获得了英国研究与创新机构的资金支持。其他作者则声明自己没有可能影响本文研究成果的任何已知财务利益或个人关系。
致谢
我们要感谢Blizzard挑战赛的主办方，感谢他们提供以往参赛者生成的音频样本；同时也要感谢Sébastien Le Maguer慷慨提供了我们用于评估的音频素材，还有Gustav Henter，感谢他的深刻见解。本研究还得到了英国自然语言处理博士培训中心（资助编号EP/S022481/1）、爱丁堡大学信息学院及哲学、心理学与语言学院的支持。
Cassia Valentini-Botinhao|Dan Wells|Andrea Lorena Aldana Blanco|Erica Cooper|Junichi Yamagishi|Mengzhe Geng|Patrick Littell|Aidan Pine|Korin Richmond
