编辑推荐:
面对人脸伪造滥用带来的隐私威胁,现有基于 DNN 的检测模型易受对抗攻击,防御策略有限。研究人员提出基于掩码条件扩散模型(MCDM)的对抗防御框架,通过净化对抗图像提升检测 robustness,在效果和计算效率上优于现有策略。
随着人工智能技术的迅猛发展,基于深度学习的人脸伪造技术如生成对抗网络(GAN)在教育、娱乐、商业等领域展现出广泛应用前景。然而,其滥用也带来了严重的隐私侵犯、社会信任危机甚至国家安全风险。例如,犯罪分子利用人脸伪造技术实施身份欺诈、敲诈勒索和舆论操纵,虚假视频和伪造政治演讲等更是可能扰乱社会秩序、触发政治危机。在此背景下,人脸伪造检测成为研究热点,但基于深度神经网络(DNN)的检测模型却面临着一个严峻挑战:极易受到对抗攻击。那些人眼难以察觉的对抗扰动,能轻易使模型将伪造图像误判为真实,导致检测性能大幅下降。尽管已有对抗训练、辅助检测模块过滤样本、对抗净化技术等防御策略,但它们普遍存在计算成本高、易受自适应攻击、跨伪造技术泛化能力有限等问题,且人脸伪造检测领域的对抗防御研究相较于图像分类等成熟领域仍显不足,亟需更有效、自适应的解决方案。
为应对上述难题,国内研究人员开展了相关研究,其成果发表在《Expert Systems with Applications》。
研究人员提出了一种基于掩码条件扩散模型(MCDM)的人脸伪造检测对抗防御框架,这是该领域首次尝试将扩散模型应用于对抗防御。
研究中用到的主要关键技术方法包括:设计掩码条件扩散模型(MCDM)作为净化模块,在将图像输入检测器前对对抗图像进行净化;在扩散模型中引入掩码条件编码器(MCE),有选择地提取鲁棒面部特征,抑制对抗扰动,以提高净化效率;采用残差学习策略,通过预测对抗图像与干净图像的差异而非重建整个图像,加速训练和推理过程。实验使用了 FaceForensics++数据集,该数据集包含真实视频以及由 FaceSwap、DeepFakes、Face2Face 和 NeuralTextures 生成的虚假视频,从中随机提取帧并经人脸提取脚本裁剪为 160×160 像素图像,生成包含 10 万张图像的人脸数据集,其中真实和虚假图像各占 50%,并按 7:2:1 的比例划分为训练集、验证集和测试集。
研究结果
- 模型设计与原理:MCDM 框架利用扩散模型的固有随机性有效对抗对抗攻击,通过掩码条件扩散过程去除对抗图像中的扰动信息,将干净图像输入检测器,显著增强其对抗攻击的鲁棒性。MCE 与对抗图像的纹理掩码结合作为扩散过程的条件输入,经多步图像处理,旨在充分利用对抗图像中的信息特征,同时抑制对抗扰动,提升模型的净化效率和稳定性。
- 残差学习的优势:相较于直接使用扩散模型预测干净图像,残差预测通过捕捉对抗图像与干净图像的差异,因学习残差(输入与输出的差异)比学习复杂未知特征更简单,可在更少迭代次数内实现对抗防御。
- 实验效果:大量实验表明,该方法显著增强了人脸伪造检测器对多种对抗攻击的鲁棒性,在有效性和计算效率上均优于现有防御策略。尽管基于扩散的方法仍存在计算效率挑战,但残差学习和减少扩散步骤(T=200)显著提升了效率,在 RTX 3090 GPU 上,ResNet-50 每十秒可处理 33 张图像。
研究结论与讨论
该研究提出的新颖对抗防御框架通过基于扩散的净化显著增强了检测器的鲁棒性,首次成功将条件扩散模型适配于人脸伪造防御领域,实现了三大重要进展:引入掩码条件编码,在保留关键面部特征的同时抑制对抗扰动;利用残差学习策略加速训练和推理;作为即插即用的预处理模块,无需修改现有检测系统即可无缝集成。这一成果为应对日益复杂的对抗攻击对人脸伪造检测系统构成的挑战提供了新的有效途径,提升了人脸伪造检测系统在对抗环境下的安全性和可靠性,对保障个人隐私、维护社会稳定和国家安全具有重要意义。当然,研究也存在一定局限性,如计算效率问题,未来可进一步探索优化方向,以推动该技术的实际应用和发展。