通过向量聚类技术剖析端到端语音转录的分割模型

《Computer Speech & Language》：Dissecting the segmentation model of end-to-end diarization with vector clustering

　　我们在九个数据集上比较了数百种说话者分离系统的配置。使用（微调过的）WavLM是影响最大的架构选择。在大多数情况下，Mamba的表现更优越，但在某些特定配置下，Conformer的表现优于Mamba。提出的powerset损失可以提高性能，但对强大的模型帮助不大。块大小是一个关键的超参数，它能够提升强大模型的性能。

引言
说话者分离任务通常被概括为“谁在什么时候说话”。给定一个音频文件作为输入，我们需要确定音频中的每个时刻哪些说话者是活跃的。这个任务是“说话者不变的”，这意味着我们不需要关心说话者的确切身份；我们只需要能够区分他们即可。历史上，这个任务是通过基于向量聚类的方法来解决的（Reynolds和Torres-Carrasquillo，2005年）；通过结合语音活动检测系统来检测语音的存在，并提取逐帧的说话者嵌入，我们可以使用聚类算法为每个活跃的帧分配一个说话者。聚类算法接收一组向量嵌入并返回一组簇。每个输入嵌入只属于一个簇，同一个簇中的所有嵌入应该具有相似的特性（这里指的是属于同一个说话者）。在基于聚类的说话者分离中，我们为每个帧分配一个簇，目标是使音频中的每个说话者都有一个簇。多年来，随着更好的嵌入提取器（i-vectors Dehak等人，2011年；x-vectors Snyder等人，2018年）和聚类算法（层次聚类Ajmera和Wooters，2003年；Anguera等人，2006年；贝叶斯HMM Landini等人，2022年）的发展，聚类方法已经得到了改进。尽管这些方法使得系统更加健壮且性能更好，能够处理任意数量的说话者和录音时长，但它们难以很好地处理语音重叠的情况。

随着深度学习方法的出现，端到端的神经分离（EEND）被提出来解决基于聚类的方法的问题（Fujita等人，2019a）。EEND依赖于一个单一的神经网络，该网络接收输入音频并直接输出最终的分离结果。它设计上可以处理语音重叠的情况。EEND模型的每个输出都包含了录音中某个说话者的估计语音活动。这意味着神经网络需要能够跟踪长时间录音中的说话者活动，这带来了一些挑战。首先，输出的数量应该设置为目标应用录音中可能存在的最大说话者数量。网络通常需要用该最大数量的说话者数据进行训练，因此无法很好地泛化到任意数量的说话者。此外，由于需要一次性处理长录音，EEND具有较高的内存成本（尤其是在训练期间）。由于这些限制，完全的EEND系统主要应用于持续时间较短或说话者数量有限的场景（Fujita等人，2019b；Horiguchi等人，2022年）。

由于EEND有其自身的局限性，另一种方法“基于向量聚类的端到端神经分离”（EEND-VC）被提出，以结合基于聚类的方法和基于EEND的方法的优势（Kinoshita等人，2021年）。其原理是将输入录音分割成较小的块，使用EEND模型获得局部分割，然后通过随后的向量聚类步骤将它们聚合成一个完整的文件长度的分离结果。我们称EEND模型对音频块的输出为局部分割。由于我们对每个块独立进行EEND处理，因此不同块之间的说话者身份并不保证是一致的，即两个局部分割中的第i个活动不一定属于同一个说话者。向量聚类步骤是必要的，以解决否则会阻止局部分割聚合的排列歧义问题。这种两步过程允许处理任意长度的录音（通过使用小块的EEND模型）和任意数量的不同说话者（通过依赖聚类算法），同时保留了EEND处理语音重叠的优势。EEND-VC为分离问题提供了一种实用的方法，因此有许多后续的研究遵循了这个框架（Bredin，2023年；Baroudi等人，2023年；Delcroix等人，2023年；Tawara等人，2024年；Han等人，2024年）。EEND-VC框架可以通过多种方式实现，而在原始框架中，EEND模型同时预测每个块的说话者活动和说话者嵌入；pyannote框架则结合了一个仅预测说话者活动的EEND模型和一个预训练的说话者嵌入提取器来实现EEND-VC（Bredin，2023年）。由于pyannote框架依赖于通用的EEND模型，它可以直接利用EEND架构的最新进展。不同的编码器已被使用，如BLSTM（Fujita等人，2019a；Bredin，2023年）、Transformer（Fujita等人，2019b；Kinoshita等人，2021年）、Conformer（Han等人，2024年）等。特征提取使用了对数梅尔滤波器组（Fujita等人，2019a）、可训练的SincNet滤波器组（Ravanelli和Bengio，2018年；Bredin，2023年）或预训练的WavLM（Chen等人，2022年；Baroudi等人，2023年）。尽管提出了许多系统配置，但由于这些系统在架构、训练和评估数据方面通常有所不同，因此缺乏公平的比较。

在本文中，我们研究了EEND-VC模型的架构选择。首先，我们介绍了对EEND-VC系统的局部EEND模型的两个修改，这些修改基于我们之前的会议论文（Plaquet和Bredin，2023年；Plaquet等人，2024年）。第一个修改涉及模型架构，我们引入了一个基于Mamba的模块（Gu和Dao，2024年；Plaquet等人，2024年）。Mamba是一种状态空间模型，已被证明在处理长序列时非常强大，并被用于多种语音任务，如语音增强、语音识别和语音合成（Zhang等人，2024年；Miyazaki等人，2024年）。然而，尽管分离任务处理的语音序列通常比大多数其他语音任务更长，但它之前并未被用于说话者分离。第二个修改涉及模型的训练目标。历史上，说话者分离任务被建模为一个多标签问题，使用二元交叉熵损失（Fujita等人，2019a）。相反，我们引入了一种说话者活动的powerset表示方法，这将多标签问题重新定义为可以用交叉熵损失优化的多类问题（Plaquet和Bredin，2023年）。我们期望多类优化问题可以简化分离系统的训练，从而在复杂架构上获得更好的性能。

EEND-VC的另一个重要因素是块大小（也称为块时长），这在过去的研究中没有得到充分探讨（Tawara等人，2024年）。如果块非常短（例如1秒），EEND模型不需要长时间跟踪说话者，其行为类似于语音活动检测（VAD）模型。然而，当块中的语音重叠时，估计可靠的说话者嵌入变得困难。因此，这种流程最终与更传统的聚类流程非常相似，对语音重叠的处理较差。另一方面，如果块很长（例如120秒），EEND模型需要长时间跟踪说话者，这对某些模型架构来说可能具有挑战性。尽管如此，如果模型能够提供正确的分割，VC部分会变得简单，因为可以在更多的音频样本上提取说话者嵌入，使它们更准确且更容易聚类。很明显，这两种极端之间存在权衡。由于现有的关于EEND-VC流程中块长度变化的工作很少（Tawara等人，2024年），我们旨在通过实验来澄清这种权衡，针对不同的模型配置和数据集进行实验。

我们的研究涵盖了在相同评估协议下的120种不同的EEND-VC框架配置。特别是，我们比较了不同的实际编码器方法（基于轻量级SincNet的编码器，该编码器在分离数据上预训练；以及从更大的WavLM语音SSL模型派生出的编码器）、解码器块（LSTM、Conformer、Mamba）和训练损失（多标签对比powerset多类）。对于每个研究的因素，我们观察了其对局部分割质量和最终分离结果的影响。此外，我们还研究了块大小对不同模型性能的影响。

本文基于我们之前使用powerset（Plaquet和Bredin，2023年）和Mamba进行EEND-VC的工作（Plaquet等人，2024年），并包含了更多讨论和实验分析。它扩展了（Plaquet和Bredin，2023年）的研究，该研究展示了powerset损失的优势，但仅在一个EEND架构和一种块大小上进行测试。在这里，我们研究了它在多种EEND-VC模型配置和块大小上的性能。它还扩展了（Plaquet等人，2024年）的研究，该研究展示了使用Mamba块作为解码器所获得的性能提升，但没有与基于注意力的强解码器进行比较，且仅使用了WavLM Base编码器。在这里，我们包括了使用SincNet编码器进行轻量级特征提取的系统评估，并与基于强注意力的Conformer解码器进行了比较。本文的结果是对EEND-VC框架的各种配置进行了广泛的评估，这有助于更好地理解架构选择对于不同设计要求的影响。特别是，我们发现块大小是一个关键的流程超参数。如果EEND架构足够强大以处理长序列，它可以显著提高性能，Mamba和Conformer就是这样的例子。使用Mamba或Conformer时，我们获得了可比的结果，但Mamba的性能在不同配置下更加稳定，而Conformer在最佳配置下表现略好。同样，powerset损失似乎有助于训练，但与多标签损失相比，它会妨碍足够强大的模型的性能。如果解冻WavLM权重以允许微调，这一点尤为明显，这对达到最先进（SOTA）结果至关重要。在撰写本文时，我们最好的系统配置在研究的八个数据集中的四个上达到了SOTA：在其中两个数据集上建立了新的SOTA，并在另外两个数据集上获得了略微更好的DER。在修订期间，新的SOTA系统超过了我们的结果，但本文的结论仍然成立，并可以在新的SOTA系统（Han等人，2026年；Laurent等人，2026年；Liao等人，2026年）中观察到。

在本文的其余部分，第2节提供了EEND-VC框架的概述，第3节详细介绍了EEND模型的不同配置，包括我们提出的Mamba模型和多类powerset损失。第4节描述了实验协议，第5节讨论了结果。最后，第6节总结了实验发现，第7节总结了本文。

EEND-VC框架概述
本研究专注于EEND-VC框架，它包括两个不同的步骤：“EEND”步骤和“向量聚类”步骤，如图1所示。我们在下面总结了这些步骤。第一步是EEND-VC过程中的“EEND”部分，它依赖于一个神经网络来估计输入语音信号中的说话者活动。这里，我们假设EEND模型可以处理多达N个说话者。这个限制存在于当前的架构中，可能是由于EEND模型在局部分割方面的限制。

在本文中，我们关注的是不同EEND模型架构对说话者分离的影响，这些模型用于获得EEND-VC的局部分割。我们在本文中研究的不同架构总结在图2中。我们可以将EEND模型分为三个主要部分：编码器、解码器和训练损失。编码器对信号进行降采样并提取特征，然后由解码器处理，接着是几个线性层和一个激活函数。

实验协议
我们设计了一个实验协议，允许对EEND-VC框架中使用的不同EEND模型配置进行广泛的比较。该协议允许在各种数据集上进行比较。在这一节中，我们简要解释了使用的数据和我们的EEND-VC流程的不同设置。

结果
在这一节中，我们展示了不同EEND-VC配置的比较实验结果。我们首先在5.1节评估了每个因素（编码器、解码器、训练损失、数据块大小）对验证集整体性能的影响。然后在5.2节研究了WavLM微调的效果。最后，在5.3节中，我们将每个模型的最佳配置与每个数据集在评估集上的最佳性能进行了比较。

**讨论**
我们在下面总结了广泛评估的关键发现。

**结论**
我们分析了EEND模型的多种系统设计选择对EEND-VC性能的影响。我们发现，最具影响力的因素是编码器。经过微调的WavLM Base（结合了大规模的SSL预训练）相对于简单的基于SincNet的编码器（预训练侧重于语音分割）能够将整体误识率（DER）降低约25%。此外，当WavLM在语音分割任务上进行微调时，它大大减少了解码器的影响。

**署名成员**
Alexis Plaquet：撰写——审阅与编辑，撰写——初稿，可视化，验证，软件，方法论，调查，形式分析，数据整理，概念化。
Naohiro Tawara：撰写——审阅与编辑，撰写——初稿，验证，监督，软件，资源，方法论，调查，形式分析，概念化。
Marc Delcroix：撰写——审阅与编辑，验证，监督，方法论，调查，形式分析，概念化。

**未引用的参考文献**
Broughton和Samarakoon（2025年），Cheng等人（2024年），H?rk?nen等人（2024年）

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Alexis Plaquet表示，他获得了日本学术振兴会（Japan Society for the Promotion of Science）的财务支持、行政支持和旅行费用。如果还有其他作者参与，他们也声明没有已知的财务利益或个人关系可能影响本文所述的工作。

**作者列表**
Alexis Plaquet | Naohiro Tawara | Marc Delcroix | Shota Horiguchi | Atsushi Ando | Shoko Araki | Hervé Bredin