
-
生物通官微
陪你抓住生命科技
跳动的脉搏
PRISM:基于视频手工描述符的可解释深度伪造检测框架
《Scientific Reports》:PRISM: a physics-reality integrated signal multistream framework for explainable deepfake detection using handcrafted forensic features
【字体: 大 中 小 】 时间:2026年09月22日 来源:Scientific Reports 4.9
编辑推荐:
摘要深度伪造检测器在基准测试中表现出色,但仍然难以解释其检测机制,并且在面对未知的伪造手法、压缩过程或采集条件时可能会失效。我们提出了PRISM(Physics-Reality Integrated Signal Multistream)这一基于视频层面的框架,该框架使用了50个
深度伪造检测器在基准测试中表现出色,但仍然难以解释其检测机制,并且在面对未知的伪造手法、压缩过程或采集条件时可能会失效。我们提出了PRISM(Physics-Reality Integrated Signal Multistream)这一基于视频层面的框架,该框架使用了50个精心设计的人工制作的取证描述符,这些描述符能够捕捉传感器残差、生理特征、几何信息、运动轨迹、纹理、光照变化以及压缩效应等关键信息。MediaPipe仅被用作预训练的基准点定位工具;PRISM的取证模型并不包含任何学习得到的深度视觉嵌入特征,分类过程直接基于这些50维的视频表示数据进行。在FaceForensics+c23协议的测试中,PRISM-50在深度伪造(DeepFakes)、人脸交换(Face2Face)和神经纹理(NeuralTextures)任务上的AUC分别为0.9706、0.8096、0.9631和0.7867。针对零样本Celeb-DF v2数据集的评估显示,当压缩程度、噪声水平、生理特征和几何信息发生变化时,PRISM的AUC为0.6322。在五种常见的DF40伪造处理流程中,PRISM的零样本AUC范围在0.5995到0.9719之间,这表明其检测结果强烈依赖于具体的伪造手法。逻辑回归(Logistic Regression)、随机森林(Random Forest)和LightGBM模型能够从相同的视频表示数据中提取有用的分类特征,而Xception和LSDA模型则展现了更高的预测性能。SHAP稳定性分析和扰动实验表明,某些关键描述符对分类器的决策有显著影响,但这些影响并未揭示出伪造行为的因果关系。因此,PRISM被视为一个可解释的取证框架,适用于分析伪造过程中各种可测量特征之间的相互作用以及失败机制。