DS3：在带有噪声标签的语音表示学习中采用的双空间样本选择方法

《Pattern Recognition》：DS3: Dual-Space Sample Selection for Speaker Representation Learning with Noisy Labels

演讲表示学习依赖大规模标注数据，但网络爬取和众包产生的噪声标签会导致模型过拟合。本文提出双空间样本选择法（DS3），通过特征空间多中心机制区分干净样本与噪声样本，输出空间Top2-Margin度量区分内分布与跨领域噪声样本，并设计多阶段训练框架迭代优化。实验表明DS3在混合噪声场景下较标准方法提升57.77%，且在跨领域CN-Celeb数据集验证泛化能力。

　　

方志华|何亮

新疆大学计算机科学与技术学院，乌鲁木齐，830017，中国

摘要

深度说话人表示学习依赖于大规模标记数据；然而，通过众包和网络爬虫标记的数据集可能包含噪声（错误）标签，针对噪声标签的鲁棒训练方法已成为说话人识别中的一个重要挑战。以往的研究主要集中在分布内（ID）噪声样本上，而忽略了分布外（OOD）噪声样本对模型的影响。在本文中，我们提出了一种双空间样本选择（DS³）方法来区分干净样本、ID噪声样本和OOD噪声样本。在特征空间中，我们为每个说话人引入了多个质心，然后根据样本嵌入与相应说话人质心之间的最大相似度将样本分类为干净或噪声样本。在输出空间中，我们引入了Top2-Margin度量来进一步将噪声样本分类为ID噪声样本和OOD噪声样本。此外，我们提出了一个多阶段训练框架，包括从噪声标签学习、从干净标签学习和从校正标签学习，迭代地进行噪声清理和标签校正。在VoxCeleb数据集上的广泛实验表明，在混合标签噪声情况下，DS³的性能比标准方法提高了57.77%。此外，在具有CN-Celeb的具有挑战性的跨域混合噪声场景中的评估验证了所提方法的鲁棒性和泛化能力。

引言

说话人表示学习旨在将语音信号映射到说话人身份特征的向量表示，通常称为说话人嵌入[1]。这些低维特征保留了足够的区分信息，可以区分不同的说话人，并广泛用于说话人识别和说话人验证任务。随着深度学习的发展，传统的算法（如向量量化和高斯混合模型-通用背景模型）已逐渐被研究人员忽视。x-vector架构[2]的引入为当前的说话人表示建模奠定了基础，催生了各种主流的说话人编码网络（例如，ECAPA-TDNN [3]、CAM++ [4]等）。

类似于大型语言模型中的缩放律[5]，深度说话人模型的性能也会随着模型参数数量的增加和训练数据规模的扩大而提高。然而，获取大规模、高质量、准确标记的说话人数据库成本高昂且存在隐私风险[6]。因此，互联网上大量公开可用的免费语音数据受到了相关机构的青睐。然而，通过网络爬虫和人类众包收集的数据不可避免地引入了噪声标签（也称为标签噪声[7]。由于深度神经网络强大的拟合能力，说话人模型最终会过度拟合这些噪声标签[8]，错误的监督信号导致模型学习到混乱的特征映射，从而导致模型准确性和泛化能力显著下降。

作为一种替代方案，自监督学习（SSL）可以有效减少对标记数据的依赖[9]。一些研究利用语音预训练模型（例如，wav2vec [10]和HuBERT [11]）来提取通用的语音表示用于说话人表示学习；然而，这些预训练模型缺乏区分性说话人信息。其他工作引入了自监督对比学习来展示其在说话人识别系统中的适用性[12]、[13]。为了进一步提高自监督说话人识别系统的性能，提出了一个两阶段训练框架[14]、[15]：第一阶段使用自监督对比学习来训练区分性说话人嵌入；第二阶段通过聚类嵌入来迭代监督学习以生成伪标签。由于第一阶段缺乏说话人身份信息，模型性能较差，导致第二阶段生成了大量不可靠的标签（噪声伪标签）[16]、[17]。因此，标签噪声问题是一个研究人员无法避免的挑战。

标签噪声学习方法大致可以分为两类：损失校正和样本选择。对于损失校正策略，一些方法尝试估计噪声传递矩阵[18]，但这种方法在现实世界的复杂噪声场景中可行性有限。此外，一些方法尝试设计理论上对标签噪声具有鲁棒性的损失函数[19]、[20]，但这些鲁棒损失函数面临学习不足的问题。目前样本选择策略是主流解决方案[21]。关于DNN的记忆效应的研究发现，DNN倾向于首先学习简单、干净的模式（正确标签），然后适应复杂、混乱的模式（错误标签）[22]，因此在训练的早期阶段，小损失样本很可能是正确标记的。基于小损失标准[23]、[24]衍生出了许多样本选择方法。这些方法选择干净样本来更新模型参数，有效地提高了模型对噪声标签的鲁棒性。然而，大多数方法只考虑分布内（ID）噪声样本[25]、[26]，即噪声样本的实际标签在训练标签集内。在开放世界场景中，噪声样本的实际标签不一定在训练标签集内，这些样本被认为是分布外（OOD）噪声样本[27]，如图1所示。对于基于小损失的样本选择方法，样本是否为ID/OOD噪声样本对系统没有显著影响。然而，对于标签校正方法，由于OOD样本的真实标签不存在于已知标签集中，因此校正后的标签仍然是噪声标签，这将继续对模型产生负面影响。在从真实世界的噪声数据集中学习时，考虑利用ID噪声样本的积极影响同时抑制OOD噪声样本对模型性能的负面影响至关重要，这对于实现最佳泛化性能至关重要。

为了解决上述问题，我们提出了一种双空间样本选择（DS³）方法，该方法从特征空间和输出空间的角度协同挖掘样本信息，以有效区分干净样本、ID噪声样本和OOD噪声样本。在特征空间中，我们使用嵌入与说话人质心之间的相似度作为筛选标准。在此基础上，我们为每个说话人引入多个质心，并计算每个样本嵌入与其标签类别的所有质心之间的最大余弦相似度以挖掘困难样本。相似度较低的样本通常偏离该类别的中心分布，因此更可能是噪声样本。在输出空间中，我们引入了Top2-Margin（T2M）度量来细化噪声样本的识别。该度量衡量模型前两个预测之间的置信度差异，反映了模型在当前预测类别中的“领先”程度。由于模型对干净样本和ID噪声样本具有较高的置信度，但对标签不在训练集中的OOD样本缺乏置信度，T2M可以有效地识别和移除OOD噪声样本。最后，我们构建了一个多阶段训练框架，围绕DS³策略进行干净样本筛选、ID噪声标签校正和OOD噪声样本移除。总结来说，我们的主要贡献如下：

1.

我们提出了一种双空间样本选择（DS³）方法，为带有噪声标签的说话人表示学习提供了新的视角。在特征空间中，我们引入了多质心机制来区分干净样本和噪声样本。在输出空间中，我们提出了Top2-Margin度量来区分ID噪声和OOD噪声，从而实现干净样本、ID噪声样本和OOD噪声样本之间的有效区分。

2.

我们设计了一个多阶段训练过程，并引入了一个集成教师模型用于标签校正，使主模型能够分阶段从噪声标签、干净标签和校正标签中学习。

3.

基于VoxCeleb 1和2，我们构建了包含ID和OOD噪声样本的VoxCeleb1K-O和VoxCeleb5K-O数据集。此外，我们引入了CN-Celeb数据集来构建跨域混合噪声评估场景，并通过广泛实验完全验证了所提方法的优越鲁棒性。此外，我们对ID和OOD噪声之间的分类边界进行了可视化分析，探讨了潜在的误分类情况和模型限制，为处理开放世界噪声标签的研究人员提供了宝贵的见解。

本文的其余部分组织如下：第2节回顾了有关带有噪声标签的鲁棒说话人表示学习和OOD噪声样本检测的相关工作；第3节详细介绍了所提出的方法；第4节评估了所提方法的性能并讨论了结果；第5节总结了本文并讨论了未来的研究方向。

章节片段

带有噪声标签的说话人表示学习

已经开发了许多方法来提高带有噪声标签的说话人表示学习的鲁棒性。Borgstr?m等人[28]引入了一种贝叶斯估计方法，用于训练带有噪声标签的PLDA模型，将真实标签视为潜在变量，并使用变分贝叶斯推断来获得最大后验估计。Tong等人[29]提出了一种带有自动错误校正的说话人嵌入学习损失函数，结合了标签噪声

方法论

本节介绍了所提出的方法。表1总结了本节中使用的符号及其定义。

数据

数据集我们在两个最流行的说话人验证基准数据集VoxCeleb1 [38]和VoxCeleb2 [39]上进行了实验。为了模拟OOD场景，我们基于VoxCeleb1和VoxCeleb2生成了VoxCeleb1K-O和VoxCeleb5K-O。此外，我们引入了CN-Celeb [40]作为跨域OOD噪声数据。这些数据集的详细介绍如下¹:

• •
  VoxCeleb1是一个提取的说话人数据集

结论

在这项工作中，我们提出了双空间样本选择（DS³）框架。通过特征空间中的多质心机制和输出空间中的Top2-Margin度量的协同作用，该框架可以有效区分干净样本、分布内噪声和分布外噪声。与传统方法相比，本研究的主要优势在于它在面对复杂条件（如高达50%的标签噪声和跨域噪声）时表现出更稳定的鲁棒性

未引用的引用

缺少引用表10和表11。

CRediT作者贡献声明

方志华：撰写——原始草稿、可视化、验证、方法论、调查、数据整理、概念化、软件、撰写——审阅与编辑。何亮：撰写——审阅与编辑、监督、资源管理、项目协调、资金获取、概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金的支持，授予编号为62366051的资助。