揭露深度伪造：利用增强技术和特征变异性进行深度伪造语音检测

《Computer Speech & Language》：Unmasking deepfakes: Leveraging augmentations and features variability for deepfake speech detection

　　因巴尔·里蒙（Inbal Rimon）| 奥伦·加尔（Oren Gal）| 海姆·佩尔穆特（Haim Permuter）
本-古里安大学，以色列贝尔谢巴

**摘要**
随着生成音频技术的不断进步，深度伪造语音检测面临着日益严峻的挑战。我们提出了一种混合训练框架，通过创新的增强策略提升了检测性能。首先，我们引入了一种双阶段掩码方法，该方法在时频层面（MaskedSpec）和潜在特征空间（MaskedFeature）中同时进行操作，提供了互补的正则化处理，提高了对局部失真的容忍度并增强了泛化能力。其次，在自监督学习过程中引入了压缩感知策略，以在资源有限的场景中增加数据的多样性，同时保持学习到的表示的完整性，从而提高了预训练特征在深度伪造检测中的适用性。该框架将一个可学习的自监督特征提取器与ResNet分类器集成在一个统一的训练流程中，实现了声学表示和判别模式的联合适应。在ASVSpoof5挑战赛（Track 1）中，该系统在封闭条件下取得了4.08%的等错误率（EER）的领先成绩，通过融合具有不同预训练特征提取器的模型，这一成绩进一步降低到了2.71%。当在ASVSpoof2019数据集上进行训练时，我们的系统在ASVSpoof2019评估集（0.18% EER）和ASVSpoof2021 DF任务（2.92% EER）中均取得了领先性能。

**引言**
深度伪造语音在网络安全、执法和军事行动等多个领域引发了严重的安全问题。合成音频可能被用于传播错误信息、进行身份冒充和欺诈活动，因此需要检测技术来确保基于音频的通信的完整性。早期的检测系统依赖于手工制作的特征，如梅尔频率倒谱系数（MFCCs）和频谱图，通常由支持向量机（SVMs）或高斯混合模型（GMMs）等分类器进行处理（Mcuba等人，2023年；Sahidullah和Kinnunen，2015年；Yi等人，2023年；Alzantot等人，2019年）。这些方法取得了一定的成功，但面对不断发展的生成式深度伪造技术时缺乏鲁棒性。最近的方法采用了卷积神经网络（CNNs），它们能够有效捕捉生成模型留下的局部时频模式和细微缺陷。ASVSpoof挑战赛系列（Todisco等人，2019年；Yamagishi等人，2021年）已成为评估深度伪造检测系统的关键基准。最新版本ASVSpoof5（ASVSpoof2024）包括两个赛道：Track 1专注于独立于自动声音验证（ASV）系统的深度伪造语音检测，而Track 2则将检测集成到ASV流程中（Delgado等人，2024年）。ASVSpoof5引入了多种欺骗技术、编解码器和说话者变体，以反映实际部署场景。性能通常使用等错误率（EER）等指标进行评估，这促进了能够适应未见攻击类型的检测系统的发展。挑战赛在两种评估条件下进行：封闭条件和开放条件。在封闭条件下，参与者仅限于使用ASVSpoof5训练数据集中的数据，不得使用任何外部数据集来训练检测模型；在开放条件下，可以使用外部数据集和预训练模型，但前提是这些数据集与ASVSpoof5数据集中的说话者或话语没有重叠。这些条件旨在评估数据受限的系统设计（封闭条件）以及大规模预训练和数据利用策略（开放条件）。在这项工作中，我们在封闭条件下参与了ASVSpoof5的Track 1。

**特征提取**
特征提取对于有效的深度伪造检测至关重要。传统的表示方法，如频谱图，提供了信号的时频视图（Oppenheim和Schafer，1999年），并被广泛用作CNN的输入。尽管这些特征在早期系统中发挥了重要作用（Mittal和Dua，2022年；Li等人，2024年），但使用频谱图可能已接近性能上限。最近的进展表明，为了进一步提高深度伪造检测的效果，可能需要更复杂的特征提取方法，因为欺骗攻击的复杂性不断增加。

**数据增强技术**
最近的研究探索了使用预训练模型进行语音表示学习的方法，特别是Wav2Vec 2.0（Baevski等人，2020年）和WavLM（Chen等人，2022年）。这些模型最初是为自动语音识别（ASR）和说话者验证等任务开发的，并在大型未标记的语音语料库上使用掩码预测目标进行训练。虽然它们并非专门为深度伪造检测设计，但它们的学习表示已被证明在此领域有效，因为它们能够捕捉到丰富的声学特征和说话者区分特征，有助于识别合成语音生成引入的细微缺陷（Tak等人，2022年；Xie等人，2021年）。

**混合训练框架**
数据增强技术在深度伪造语音检测模型的稳定性和广泛应用性中起着关键作用。通过向训练数据中引入变化，增强方法旨在模拟现实世界条件，使模型能够学习出能够更好地处理未见过的、对抗性的或分布外输入的通用模式。常见的声音增强技术包括音高移动、时间拉伸、噪声添加和速度扰动。这些方法帮助模型适应不同的说话者特征、环境条件和录音质量（Yi等人，2023年；Zeng等人，2023年）。除了声音增强之外，还有其他专注于音频增强的方法。SpecAugment（Park等人，2019年）是为语音识别开发的，通过掩盖频谱图中的随机时间和频率块来增强泛化能力。另一种改进方法SpecAverage（Cohen等人，2021年）旨在解决音频特征的非零均值问题，使其更适合深度伪造语音检测。然而，SpecAugment和SpecAverage的一个限制是应用的掩码形状是固定的，可能无法充分反映现实世界语音数据中遇到的复杂和动态噪声分布。这一限制源于掩码形状主要是为了计算效率而设计的，而不是为了模拟音频失真模式。另一种通用增强技术是RawBoost（Tak等人，2022年），它直接在波形域中进行扰动，如幅度缩放、混响和滤波。此外，低通滤波（LPF）通过衰减高频成分来提高检测性能，因为高频成分通常包含在语音合成过程中引入的残余缺陷。

**结论**
本研究提出了一种端到端训练的深度伪造语音检测模型，用于ASVSpoof5挑战赛，在封闭条件下的Track 1中取得了领先性能。该研究重点关注增强和训练策略，以提升模型在训练数据规模有限和语言范围受限的情况下的表现能力。本研究的主要贡献总结如下：
1. **时频掩码波形增强（MaskedSpec）**：我们提出了一种通过时频掩码应用于话语频谱图的波形增强方法。掩码后的频谱图通过逆STFT重建回时间域，然后使用重建的波形作为特征提取器的输入，而不是原始音频。这种形式允许将时频扰动纳入基于波形的训练中，同时保持端到端的波形输入流程。
2. **特征级掩码增强（MaskedFeature）**：我们提出了一种直接应用于特征提取器产生的中间特征表示的特征级掩码增强方法，在分类阶段之前进行。通过在表示层而不是波形或频谱图层引入扰动，这种方法鼓励模型学习更强大和不变的特征表示。
3. **高斯掩码策略**：我们引入了一种高斯掩码策略，其中掩码形状是根据高斯分布定义的，而不是掩盖连续的时间或频率序列。这产生了平滑、空间分布的掩码模式，而不是硬质的矩形遮挡。这种掩码在特征级掩码设置中特别有效，因为特征表示没有严格的时频结构。高斯掩码在特征空间中产生更平滑的扰动，鼓励模型依赖分布式的特征信息而非局部模式。
4. **压缩感知自监督预训练**：我们将有损编解码器扰动直接纳入自监督预训练阶段，与之前仅在微调阶段应用压缩的方法不同。这种策略在自监督预训练阶段直接引入了真实的现实世界失真，同时增加了训练数据的有效大小和多样性，这对于需要大规模和多样化数据集的自监督表示学习尤为重要。
5. **混合训练框架**：我们提出了一种混合训练框架，将一个可学习的特征提取器与卷积分类器（ResNet34）集成，并在流程的多个阶段应用增强。虽然每个模型本身都很成熟，但我们的框架将它们结合在一个统一的混合训练过程中，并以端到端的方式共同优化它们。这种设计使得低级声学表示和高级判别特征能够针对特定任务进行适应。

**方法部分**
本节概述了我们采用的方法论，从我们提出的混合流程开始，该流程结合了一个可训练的特征提取模块（Wav2Vec2）和一个分类器（ResNet34）。我们的方法在流程的不同阶段应用增强策略来提升模型性能。对于原始音频，我们使用了MaskedSpec、低通滤波（LPF）、Rawboost和压缩增强。特别是压缩增强，在...

**结果与洞察**
本节详细评估了所提出的深度伪造检测框架，重点关注各个组件的贡献以及所提出的增强策略的影响。除非另有说明，所有实验均使用ASVSpoof5训练数据集进行训练，并在ASVSpoof5开发和评估集上进行评估。我们首先评估了不同掩码配置在波形层面的效果...

**模型性能分析**
在本节中，我们使用ASVSpoof5挑战赛组织者提供的评估方法，详细分析了表现最好的系统。我们检查了各种欺骗攻击类型和编解码器条件下的EER聚合趋势，从而推断出模型的行为。通过分析每种条件下的汇总EER，我们能够识别出脆弱性和抗性的模式，评估我们增强策略的有效性，并突出哪些模型配置提供了...

**MaskedSpec和MaskedFeature**
我们评估了在原始音频和特征层面四种掩码策略。MaskedSpec和MaskedFeature中的掩码形状比较（表2、表4）确定了最有效的配置：MaskedSpec使用频谱带掩码，MaskedFeature使用高斯掩码。从理论角度来看，这些掩码策略可以被视为针对音频领域的结构化dropout形式。频谱带掩码在频率域中起到dropout的作用，遮挡连续的频率区域...

**结论与未来工作**
本研究提出了一个全面的深度伪造语音检测框架，该框架结合了多阶段增强策略和混合训练。我们提出了在波形层面（通过时频掩码）和学习表示层应用的新型掩码增强方法，并对其在不同掩码形状下的效果进行了实证分析。我们的发现表明，频谱上的频谱带掩码和特征层上的高斯掩码特别有效，从而实现了稳定的性能提升...

**作者贡献声明**
因巴尔·里蒙（Inbal Rimon）：写作——审稿与编辑、原始草稿撰写、软件开发、项目管理、方法论设计。
奥伦·加尔（Oren Gal）：监督指导。
海姆·佩尔穆特（Haim Permuter）：监督指导。

**未引用参考文献**
表14，Khan等人（2024年）；Liu等人（2023年）；Wang和Yamagishi（2021年）；Wang等人（2022年）