NAUSS-Spoof50:面向音频欺骗检测与伪造定位的多任务阿拉伯语音基准

《IEEE Transactions on Aerospace and Electronic Systems》:NAUSS-Spoof50: A Multi-Task Arabic Speech Benchmark for Audio Spoofing Detection and Forgery Localization

【字体: 大 中 小 】 时间:2026年09月23日 来源:IEEE Transactions on Aerospace and Electronic Systems 7.0

编辑推荐:

  阿拉伯语拥有超过4亿使用者,但在语音深度伪造检测研究中仍然代表性严重不足。现有的阿拉伯语基准均未提供对全合成欺骗检测与帧级伪造定位的统一评估。本文介绍了NAUSS-Spoof50,一个经过精心整理的多任务阿拉伯语音基准,包含来自50名以阿拉伯语为母语的说话人的

  
阿拉伯语拥有超过4亿使用者,但在语音深度伪造检测研究中仍然代表性严重不足。现有的阿拉伯语基准均未提供对全合成欺骗检测与帧级伪造定位的统一评估。本文介绍了NAUSS-Spoof50,一个经过精心整理的多任务阿拉伯语音基准,包含来自50名以阿拉伯语为母语的说话人的76 730条话语,这些说话人来自13个国籍背景,分布于四个广泛区域群体,并依据严格的说话人无关协议在三种设备、两种声学环境下录制。六种欺骗生成方法涵盖四种范式:神经声码器、神经编解码重建、文本到语音和声音克隆。一个部分篡改子集为五种信号级变换提供了帧级精确真值标注。研究人员评估了三种架构多样的基线系统用于话语级欺骗检测:RawNet2、AASIST 和基于 wav2vec 2.0 的检测系统。AASIST 取得了最低的点估计等错误率(Equal Error Rate, EER)0.283% [95%置信区间:0.177%, 0.400%],其次是 wav2vec 2.0,为0.431% [95%置信区间:0.301%, 0.584%];两者的配对差异无统计学显著性。跨数据集评估揭示了显著的性能下降,表明在语料库和语言迁移下鲁棒性有限。XTTS v2 和 ElevenLabs 在所评估的生成方法中产生了最高的数值EER。条件分层分析显示,在所有模型中,清洁环境录音产生的点估计EER高于嘈杂录音。对于帧级伪造定位,基于 wav2vec 2.0 的模型取得了边界F1(Boundary-F1)为0.913,其中部分删除产生的定位性能最低。NAUSS-Spoof50 为不同攻击和采集条件下的阿拉伯语音反欺骗与伪造定位研究建立了一个结构化基准。
**研究背景与问题**

音频操纵技术的快速发展使得全合成语音与部分篡改语音的检测成为两种既相关又不同的取证挑战。全合成语音通过神经文本到语音(Text-to-Speech, TTS)、声音转换、神经声码器、编解码重建及声音克隆等方法生成,可能被用于身份冒充、社会工程和绕过声纹认证。部分篡改语音则是对真实录音中的局部区域进行复制粘贴、音高修改、时间扭曲等信号级编辑,需要帧级分析才能定位。尽管已有ASVspoof等基准推动了欺骗检测研究,但现有资源高度偏向英语和受控录制条件,阿拉伯语等低资源语言严重缺乏统一基准。尤其尚无阿拉伯语数据集能同时支持全合成欺骗检测和帧级伪造定位,且多数资源在说话人无关评估、多设备多环境覆盖、现代欺骗范式以及帧级标注方面存在明显不足。因此,研究人员构建了NAUSS-Spoof50,以填补这一空白。

**研究内容与意义**

NAUSS-Spoof50是一个精心整理的多任务阿拉伯语音基准,包含来自50名以阿拉伯语为母语的说话人的76 730条话语,说话人涵盖13个国籍背景、四个区域群体(海湾与阿拉伯半岛、黎凡特与美索不达米亚、北非与马格里布、非洲之角),在三种设备(手机、录音机、笔记本麦克风)和两种声学环境(安静与嘈杂)下采集,并遵循严格的说话人无关协议。数据集包含六种欺骗生成方法,覆盖神经声码器、神经编解码重建、TTS和声音克隆四种范式;部分篡改子集为五种信号级变换提供帧级真值标注。该基准支持话语级欺骗检测与帧级伪造定位的统一评估,并进行了跨数据集验证,为阿拉伯语音反欺骗研究提供了结构化、可诊断的评估框架。

**关键技术方法**

研究人员主要采用了以下关键技术方法:(1)数据采集与组织:从50名说话人(25男25女)采集真实语音,使用三种设备在安静和嘈杂环境录制,统一重采样至16 kHz并分割为5秒片段;采用说话人无关划分,确保同一说话人不跨训练、开发、评估集。(2)欺骗生成:使用HiFi-GAN和BigVGAN生成神经声码器攻击,EnCodec生成编解码重建攻击,MMS-Arabic TTS生成TTS攻击,XTTS v2和ElevenLabs API生成声音克隆攻击。(3)局部伪造生成:通过复制粘贴、音高修改、时间扭曲、局部时移和部分删除五种原子变换,以10 ms分辨率生成帧级标注。(4)基线模型:RawNet2、AASIST和基于wav2vec 2.0的检测与定位模型,采用标准训练评估协议。(5)统计评估:使用EER和最小检测代价函数(minimum Detection Cost Function, minDCF)等指标,并通过bootstrap计算95%置信区间和配对差异检验。

**研究结果**

A. 话语级深度伪造检测(Utterance-Level Deepfake Detection)

1) 总体性能(Overall Performance):在协议1下,AASIST取得最低点估计EER 0.283%和minDCF 0.00095,wav2vec 2.0为0.431%,RawNet2为2.308%。配对bootstrap分析显示,AASIST和wav2vec 2.0均显著优于RawNet2,但两者之间差异无统计学显著性。

2) 逐生成器分析(Per-Generator Analysis):协议2下,所有模型对声码器攻击(HiFi-GAN、BigVGAN)和TTS攻击(MMS-Arabic)的EER接近零,EnCodec略高;声音克隆攻击(XTTS v2、ElevenLabs)在所有模型中产生最高数值EER。XTTS v2在AASIST和wav2vec 2.0上高于ElevenLabs,但RawNet2相反。

3) 设备、环境与性别细分(Device, Environment, and Gender Breakdown):按设备、环境和性别分层计算EER,以评估条件变化对检测性能的影响。

4) 设备(Device):AASIST在手机录音上EER最低(0.053%),在录音机上最高(0.376%);wav2vec 2.0和RawNet2则相反,在录音机上性能更好。不同架构对设备特征的学习方式存在明显差异。

5) 环境(Environment):所有模型在清洁环境录音上的EER高于嘈杂环境,说明清洁录音可能与高质量合成语音共享更多声学特征,而背景噪声引入了额外的判别线索。

6) 性别(Gender):AASIST在女性说话人上EER更低(0.123% vs 0.336%),wav2vec 2.0和RawNet2在男性说话人上EER更低,呈现跨架构不对称。

7) 跨数据集泛化(Cross-Dataset Generalization):双向跨数据集评估中,NAUSS-Spoof50→ASVspoof2019的EER为37.455%–59.498%,反向为44.585%–50.677%,表明低域内EER不保证跨语料库鲁棒性。由于语言、录制条件、说话人群体、语料库构建和欺骗生成方法同时变化,退化不能仅归因于语言迁移。

B. 帧级伪造定位(Frame-Level Forgery Localization)

1) 总体定位性能(Overall Localization Performance):基于wav2vec 2.0的定位模型在评估集上达到帧级F1(Frame-F1)0.9114、边界F1(Boundary-F1)0.9130、片段F1(Segment-F1)0.7970和帧级交并比(Intersection over Union, IoU)0.8507,展现出较强的定位能力。

2) 逐变换分析(Per-Transform Analysis):音高修改和复制粘贴的定位性能最高,时间扭曲次之,局部时移略低,部分删除在所有指标上最低(Frame-F1 0.8286,IoU 0.7253),因为删除区域可能被误判为静音或低能量语音。

**总结讨论与结论**

讨论部分指出,聚合检测指标会掩盖不同攻击、设备和环境下的性能差异;跨数据集结果显著削弱了强域内结果,表明模型学习到的是语料库相关的规律而非通用的欺骗线索。清洁环境录音的EER高于嘈杂环境这一现象被提出为假设,而非因果结论。XTTS v2与ElevenLabs的差异可能与条件化粒度有关,但未单独隔离验证。wav2vec 2.0在英语上预训练的表征,经过阿拉伯语监督适应后仍可作为有效初始化,但不支持零样本跨语言鲁棒性。

研究结论部分可翻译为:本文提出了NAUSS-Spoof50,一个包含76 730条话语的多任务阿拉伯语音基准,来自50名母语说话人、13个国籍背景和四个区域群体,使用三种设备和两种声学环境按说话人无关协议采集。六种欺骗生成方法涵盖神经声码器、神经编解码重建、TTS和声音克隆四种范式,部分篡改子集为五种信号级变换提供帧级真值标注,支持话语级欺骗检测和帧级伪造定位。实验评估显示,AASIST取得最低EER点估计0.283%,wav2vec 2.0为0.431%,两者无显著差异,但均显著优于RawNet2。声音克隆攻击产生最高数值EER,清洁录音较嘈杂录音产生更高EER。帧级定位中,wav2vec 2.0模型的Boundary-F1为0.913,部分删除的定位性能最低。跨数据集评估中EER升至37.455%–59.498%和44.585%–50.677%,表明低域内EER不代表跨语料库鲁棒性。NAUSS-Spoof50为阿拉伯语音欺骗检测和伪造定位提供了结构化基准,并凸显了声音克隆检测、部分伪造定位和跨数据集迁移方面的持续挑战。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号