《Array》：Transformer Encoder and Ensemble Learning-based Deepfake Audio Detector using Mel-Frequency Cepstral Coefficients
编辑推荐：
近年来，基于深度学习（DL）的语音欺骗检测技术在合成语音与变声语音检测中表现良好，但基于卷积神经网络（CNN）、循环神经网络（RNN）及Transformer架构的多数方法难以同时有效表征判别性局部声学特征与长距离依赖关系，降低了对复杂合成与变声攻击的抵抗能力
近年来，基于深度学习（DL）的语音欺骗检测技术在合成语音与变声语音检测中表现良好，但基于卷积神经网络（CNN）、循环神经网络（RNN）及Transformer架构的多数方法难以同时有效表征判别性局部声学特征与长距离依赖关系，降低了对复杂合成与变声攻击的抵抗能力。为克服上述局限，研究人员提出一种自动语音欺骗检测新检测器，称为基于Transformer编码器与集成学习的检测器（TEEL-Det）。该框架融合集成学习、梅尔频率倒谱系数（MFCCs）与Transformer编码器，以增强特征表征与上下文建模能力。集成学习模块提取互补判别特征，MFCCs从原始语音中给出紧凑且具信息量的声学表征，Transformer编码器利用自注意力机制学习对准确分类真实（bonafide）与欺骗（spoofed）语音感兴趣的语音特性，同时保持长距离依赖。所提模型在ASVspoof 2019挑战赛逻辑访问（LA）子集（含合成语音与变声语音）上测试，实验结果表明TEEL-Det在语音欺骗检测中的有效性与鲁棒性，性能优于其他方法，LA评估集等错误率（EER）达0.003%。
研究背景方面，随着基于深度学习（DL）的语音转换（VC）与文本到语音合成（TTS）技术快速发展，合成语音在自然度上已接近真人发声，在被滥用于声纹认证绕过、诈骗转账等场景时带来严重社会安全风险。ASVspoof系列基准推动反欺骗研究，但现有基于CNN、RNN或单一Transformer的检测器常面临局部声学特征判别力不足、长距离上下文依赖建模弱、对手工声学特征与深度表征利用不充分、跨攻击类型泛化差等问题。为此，研究人员在《Array》发表该研究，提出TEEL-Det框架，旨在联合手工声学特征、多预训练CNN集成深度特征与Transformer编码器自注意力机制，提升对ASVspoof 2019 LA及2021深伪音频的判别力与鲁棒性。
关键技术方法上，研究人员以ASVspoof 2019 LA（含已知与未知TTS/VC攻击）为主、ASVspoof 2021为辅评测；前端将16 kHz重采样语音转为梅尔谱并提取梅尔频率倒谱系数（MFCCs，帧长25 ms、步长10 ms）；深度侧选用Xception、ResNet50、InceptionResNetV2、VGG16、EfficientNetB7五类预训练CNN，去顶后取末卷积特征零填充对齐，构建三种三模型集成（Ensemble_1/2/3）；将集成拼接向量与MFCC拼接送入12层Transformer编码器（嵌入维256、前馈维512、多头自注意力头数调优选8、GELU激活、残差连接、丢弃率0.1），后接全连接与Softmax，以标签平滑交叉熵优化，AdamW训练80轮。
研究结果部分，在实验评估中，研究人员先通过头部数（2/4/8）与集成方案消融，确认8头+三模型集成+MFCC组合最优，LA评估集精度98.9%、EER 0.011%（无MFCC时降至0.071%）。分类性能显示单CNN在PA集上ResNet50居首（精度91.23%）；Ensemble_1在LA集优于Ensemble_2/3；最终TEEL-Det（Hybrid+Ensemble_1+MFCC+8头）在LA评估集获精度99.38%、EER 0.003%、min-t-DCF 0.042，显著优于EDL-Det（EER 0.045%）与W2V2-light-DARTS（EER 1.08%）等对照。计算与推理分析表明模型约110.7 M参数、350 GFLOPs、单图推理约100 ms（10 FPS），三次随机初始化重复实验精度方差仅±0.07%，稳定性高。跨验证中ASVspoof 2021上TEEL-Det精度98.8%、EER 0.02%；特征描述符对比中MFCC（98.8%精度）远优于LFCC/PNCC/IMFCC；可视化显示自注意力可聚焦真实语音呼吸噪声与合成语音静默段暗区差异。
讨论与结论翻译部分，研究人员指出当前二分类检测器对多跳重放、跨VC/TTS攻击泛化仍有限，而TEEL-Det通过声学（MFCC）与深度（CNN集成）互补表征、Transformer多头自注意力上下文建模，在ASVspoof 2019 LA评估集取得0.003% EER与99.38%精度，在ASVspoof 2021深伪集达0.02% EER，证明混合手工特征、预训练集成与注意力架构可有效缓解局部判别与长程依赖矛盾；未来方向包括降低110.7 M参数带来的计算负担、引入对抗训练提升对先进生成模型的噪声环境鲁棒性，该工作为声纹认证系统抵御AI深伪语音提供了高判别力基线。
