OpenST：迈向用于神经编码器深度伪造音频的开源集合追踪技术

《Neurocomputing》：OpenST: Toward open-set source tracing for neural codec deepfake audio

　　摘要：当前，音频深度伪造检测研究正逐渐从二元分类转向多类任务，即音频深度伪造来源追踪。然而，现有研究主要聚焦于同分布内检测及单一类型的异分布检测，而忽视了涉及未知真实样本和多种新型伪造内容的更具挑战性的开放集场景。本文提出OpenST这一开放集来源追踪评估协议，包含8种不同的检测场景，可在现实条件下实现全面评估。与以往主要针对基于声码器的音频的研究不同，我们的工作致力于追踪基于神经编解码器的新型深度伪造音频。为此，我们构建了一个专门的数据集ST-Codecfake，其中包含由11种最先进的神经编解码器方法生成的双语音频。基于OpenST和ST-Codecfake，我们使用3种具有代表性的音频深度伪造检测模型以及6种异分布检测方法对神经编解码器来源追踪任务进行了评估，从而形成了首个全面的NCST基准测试。在OpenST协议下，我们发现尽管NCST模型在同分布分类和异分布检测方面表现良好，但在面对未知真实音频时却显得不够稳健。ST-Codecfake数据集及相应代码已在线公开。

引言：近年来，文本转语音和语音转换领域发展迅速，这类技术被称为深度伪造音频。为推动深度伪造防御技术的发展，人们开展了诸多研究和竞赛，如ASVspoof[1][2]以及音频深度伪造检测挑战赛[3][4]。随着深度伪造音频检测领域中二元分类（真实/伪造）性能的不断提升，研究逐渐转向音频深度伪造来源追踪任务[8][9]。著名的音频深度伪造检测挑战2023第三赛道ADD2023 T3明确定义了来源追踪任务，该任务不仅需要识别真实及同分布内的伪造音频，还需将基于不同方法生成的异分布新型伪造音频也视为异分布样本。不过，用于评估来源追踪模型的任务设计和方法仍需进一步优化。首先，同分布真实类别并未考虑未知真实音频，目前的评估方式忽略了模型识别未知真实音频的能力，而当异分布类别被视作未知伪造音频时，这一能力尤为重要。一个性能良好的来源追踪模型必须能够高度自信地将未知真实音频正确分类为同分布真实音频。其次，对于伪造音频类别，现有方法仅将一种新型伪造音频视为异分布样本，且未探讨不同配置、来源和方法生成的深度伪造内容对来源追踪系统性能的影响。最后，在评估来源追踪模型时，目前常用的基于阈值的F1分数虽有助于决策，但阈值的选择过于主观，可能导致对异分布方法的评估出现偏差。综上所述，有必要重新定义一种适用于开放集来源追踪场景的评估协议，以实现对其的全面评价。

在深度伪造音频生成方法方面，前述大多数深度伪造音频检测研究都集中在基于声码器的音频上。但随着大型语言模型的发展，如今社交媒体上的大部分伪造音频都是基于音频语言模型的深度伪造音频，这类音频通常以神经编解码器模型作为后端进行合成。作为防御手段，一些研究人员利用神经编解码器模型重建音频，以此有效检测基于音频语言模型的音频[10][11]，但这些研究主要聚焦于对真实音频和基于编解码器的音频的二元分类，尚未探索针对基于编解码器的音频的来源追踪方法。针对神经编解码器的来源追踪涉及分析同质性（真实音频与所有神经编解码器音频之间的差异）和异质性（不同神经编解码器类别之间的差异），如图1(a)所示。通过使用预训练的神经编解码器来源追踪模型，我们可以区分真实音频与不同的同分布编解码器音频，同时识别出异分布的新型编解码器音频。这一能力能够有效保护同分布神经编解码器方法的知识产权。此外，如图1(b)所示，预训练的NCST模型还能提升基于音频语言模型的音频检测的可解释性。例如，对于近期开发的基于音频语言模型的口语对话模型，如Moshi[12]和Mini-Omni[13]，NCST模型无需针对这些模型的任何音频进行训练，即可识别其为伪造内容，并通过确定其背后的编解码器（如Mimi[12]和SNAC[14]作为后端）来提供可解释的来源信息。

本文重点研究NCST任务，并进一步完善开放集来源追踪的评估条件。首先，我们构建了一个名为ST-Codecfake的数据集，其中包含235,736个双语音频样本以及大量基于音频语言模型的异分布测试音频样本。具体而言，ST-Codecfake中的真实音频数据来源于VCTK[15]和AISHELL3[16]的子集，而伪造语音样本则由11种不同的神经编解码器方法生成。其次，我们建立了开放集来源追踪评估协议OpenST，该协议在八种不同条件下对NCST模型进行评估，包括考察未知真实音频对同分布真实类别的影响，以及分析由不同方法、配置和来源生成的伪造音频所带来的影响。依据OpenST协议，我们采用了3种基线模型和6种具有代表性的异分布检测方法，为NCST任务构建了全面的基准测试体系。在评估指标方面，我们使用F1分数来进行同分布测试的决策；为了更准确地衡量异分布性能，我们采用了三种无阈值指标来评估来源追踪系统在处理异分布数据时的表现。通过OpenST协议下的各项评估，我们发现虽然NCST模型在同分布分类和异分布检测方面表现良好，但在面对未知真实音频时却难以保持稳定性。

本文的贡献如下：与以往仅考虑同分布检测和单一异分布检测的评估方案不同，我们构建了全面的开放集来源追踪评估协议OpenST，该协议包含8种模拟现实场景的评估场景。与以往主要关注基于声码器音频的来源追踪研究不同，我们的工作着眼于追踪基于新型神经编解码器的伪造音频，同时我们提出了专门的ST-Codecfake数据集，该数据集包含中英文语音样本，涵盖了11种最先进的神经编解码器方法。基于OpenST和ST-Codecfake，我们对NCST任务进行了全面评估，涉及3种具有代表性的深度伪造音频检测模型和6种异分布检测方法，从而形成了首个针对NCST任务的全面基准测试。通过OpenST协议的分析，我们发现尽管NCST模型在同分布分类和异分布检测方面表现优异，但在识别未知真实音频时却缺乏稳定性。ST-Codecfake数据集2及所有相关代码3均已公开发布。

章节节选：

音频深度伪造生成方法：目前，音频深度伪造生成方法可根据其后端架构大致分为基于声码器和基于编解码器两类。基于声码器的方法是现代神经语音合成和语音转换技术的基础。典型的神经文本转语音流程包括文本分析前端、声学模型（如Tacotron2[17]、FastSpeech[18][19]、Glow-TTS[20]、Grad-TTS[21]）以及负责从梅尔频谱图重建波形的声码器。自WaveNet[22]问世以来……

ST-Codecfake数据集：本节介绍ST-Codecfake数据集，该数据集由基础集和扩展集两部分组成。基础集可用于开放集神经编解码器来源追踪的训练、验证和测试工作；扩展集则用于评估NCST模型在检测基于音频语言模型生成的音频时的可解释性。

OpenST协议：如图2左侧所示，以往的来源追踪模型是在真实音频和已知伪造音频上训练的，用于进行同分布分类。在测试阶段，除了同分布分类外，还会对未知伪造音频进行评估，以开展异分布检测实验。为全面评估NCST模型的性能，我们制定了全新的OpenST评估协议，用于对这类模型进行综合评测。

基线模型：本节介绍了用于NCST任务的基线模型，其中包括深度伪造音频检测领域的3种代表性模型：Mel-LCNN、AASIST和W2V2-AASIST。首先，我们研究了不同特征在NCST场景中的影响，因此选择了经过手工设计的、结合LCNN[61]后端的梅尔频谱特征，以及结合AASIST[40]的原始音频波形，还有结合AASIST的经过冻结处理的自我监督特征Wav2Vec-XLS-R4（即W2V2-AASIST）。值得注意的是……

同分布开放集评估：在基于ST-Codecfake数据集完成训练后，我们按照第4.1节描述的NCST模型评估流程开展了实验。①同分布测试：首先，我们使用F1分数在ST-Codecfake测试集（0 - 6）上对NCST模型进行了同分布封闭集分类测试，测试结果见表3。可以看出，在同分布分类实验中，三种基线模型均取得了优异的性能，其中AASIST和W2V2-AASIST的平均F1分数高达99.99%。

局限性及未来发展方向：通过实验，我们发现了当前工作中存在的一些局限性以及未来需要改进的方向。未来的工作将围绕以下几方面展开以进一步提升性能：增加更多类型的音频内容。本研究基于的ST-Codecfake数据集目前仅包含语音类音频，而在现实场景中，单个音频语言模型往往能够生成多种类型的音频内容，如语音、音效、歌声等。

结论：本文聚焦于神经编解码器来源追踪（NCST）任务。为此，我们提出了用于评估来源追踪模型的全面评估协议OpenST，同时构建了专为该任务设计的ST-Codecfake数据集。基于OpenST协议和ST-Codecfake数据集，我们对NCST模型进行了全面评估，涉及3种具有代表性的深度伪造音频检测模型和6种异分布检测方法，从而形成了首个针对NCST任务的全面基准测试。

基准测试结果

CRediT作者贡献说明：谢远坤：写作——审稿与编辑，写作——初稿。王晓鹏：资源获取、数据整理。傅瑞波：指导。王志勇：概念构思。文正奇：项目管理。曹松军：资源获取。马龙：指导、资源获取。李晨星：项目管理。程浩楠：方法论、形式化分析。叶龙：指导、资源获取、项目管理。

利益冲突声明：作者声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：傅瑞波表示其获得了中国国家自然科学基金的资金支持。其他作者则声明自己没有已知的可能影响本文所汇报工作的财务利益或个人关系。谢远坤于2021年在北京中国传媒大学获得通信与信息系统硕士学位，目前他正在该校信息与通信工程学院攻读博士学位，同时还是中国科学院自动化研究所的联合博士生。他的研究兴趣包括音频深度伪造检测、领域泛化、异分布问题等。

谢远坤|王晓鹏|傅瑞波|王志勇|文正奇|曹松军|马龙|李晨星|程浩楠|叶龙
中国北京中国传媒大学媒体融合与传播国家重点实验室