基于多特征提取方法的深度伪造音频检测集成学习模型

《Scientific Reports》：Ensemble learning model for deepfake audio detection using multi-feature extraction approach

　　

摘要

本文采用先进的集成学习方法，利用多种音频特征来提高检测精度。为提取不同的信号特征，该方法使用了梅尔频率倒谱系数（MFCCs）、统计特征以及短时傅里叶变换（STFT）特征。针对每组特征，都采用了专门的神经网络：多层感知器根据统计描述对语音进行分类，循环神经网络从MFCC中识别时间异常，而卷积神经网络则分析STFT中的频谱模式。最后通过堆叠集成方法将这些模型结合在一起，从而提升系统的稳健性并减少误分类现象。与单独使用的模型相比，该系统在“真假数据集”上的检测效果更为出色。实验结果表明，当将频谱、时间和统计数据融合在一起时，深度伪造检测的准确率会显著提升。此外，该模型已通过Hugging Face上的Gradio平台实现，可提供实时的深度伪造检测功能。