《Signal Processing: Image Communication》:Secure Vision: Integrated Anti-Spoofing and Deep-fake Detection System Using Knowledge Distillation Approach
编辑推荐:
本文提出一种结合知识蒸馏、双注意力机制和Tent混沌优化算法的深度伪造与反欺骗检测系统。通过加权中值滤波预处理和DAD-DRAE模型特征提取,优化OMT-RKD分类器,在三个数据集上分别达到98.68%、98.22%和98.44%的准确率。
K Jayashree|S Chakaravarthi|J Samyuktha|J Savitha|M Chaarulatha|A Yogeswari|G Samyuktha
人工智能与数据科学系,Panimalar工程学院,隶属于Anna大学,金奈,600123,印度
摘要
恶意用户生成虚假视频和图片,传播错误信息,骚扰和勒索穷人。为了制作深度伪造内容,他们使用了多种技术,包括合并、替换以及照片和视频录制的叠加。此外,还通过深度伪造技术生成音频欺骗和通话,这需要专门训练的模型。机器学习和深度学习技术正在迅速发展,已有许多技术和工具被用于检测深度伪造和音频欺骗。通过解决泛化性、过拟合和复杂性等问题,可以实现对抗这两种行为的检测。本文引入了一种知识蒸馏模型来克服这些挑战。该过程首先使用加权中值滤波器(WmF)进行预处理,通过这种方式可以平滑相邻像素的强度差异。随后,采用基于双注意力机制的扩张ResNeXT与残差自编码器(DAD-DRAE)进行特征提取,从而得到维度较低的特征。在分类阶段,使用优化多任务Transformer引导的关系知识蒸馏模型(OMT-RKD)对反欺骗和深度伪造检测进行分类。分类模型中的超参数通过Tent混沌Hippo优化算法(TCHOA)进行调优,这种混沌函数可以提高收敛速度并降低模型参数的复杂性。在评估中,该模型在Deepfake Detection Challenge(DFDC)数据集、ASVspoof数据集和FaceForensics++数据集上分别取得了98.68%、98.22%和98.44%的准确率。
引言
如今,深度伪造技术已成为一种危险威胁,利用机器学习生成虚假视频、照片和声音。这些虚假数据会影响个人的私生活、财务和政治[1]。深度伪造是通过结合、合并、替换和叠加图像及视频片段等方式制作的。先进的AI技术,如生成对抗网络(GAN),能够将音频转换为视频,从而创建逼真的内容[2]。深度学习模型用于评估面部行为,有助于复制面部图像[3]。虽然已经开发出多种生成人工语音、图像和视频的方法,但人眼仍难以区分合成内容和真实内容[4]。
基于高级音频语言模型的音频生成技术提高了深度伪造音频的难度,也给新开发的深度伪造检测方法带来了挑战[5]。此外,上述的音频欺骗和深度伪造通话需要专门的训练模型[6]。定位和导航安全面临的最大威胁之一是欺骗攻击,这种攻击具有多样性,现有的抑制技术无法检测到所有类型的攻击[7]。因此,反欺骗检测系统被用来提高对重放攻击、语音攻击和文本转语音攻击等的防御能力[8]。在生物识别安全领域,由于简单性和有效性,面部识别系统被广泛使用。然而,这类系统容易受到欺骗攻击的影响,攻击者可能利用用户的视频、照片和面具来伪装[9]。
传统的局部二值模式技术被用于面部反欺骗任务中以提取特征,但传统技术无法识别多种类型的欺骗行为[10]。现有的多种技术被用于深度伪造和反欺骗的检测。多通道卷积神经网络(MCNN)用于识别虚假面部[11]。VGG-19算法常用于检测帧中的特征提取[12]。深度伪造预测器(DFP)基于CNN和VGG16架构[13]。此外,基于生成对抗网络的技术也被用于社交媒体上的深度伪造识别[14]。CNN-DDA框架是一种用于检测指纹的反欺骗技术[15]。
基于深度学习的生成模型的发展,以及面部欺骗和深度伪造攻击,对生物识别认证系统、数字媒体和身份验证过程构成了重大安全威胁。传统的反欺骗和深度伪造检测技术通常不具备泛化能力,在实时处理方面表现较差,且容易受到对抗性攻击。因此,需要一种强大、高效且可扩展的解决方案,能够在不同类型的攻击下准确区分真实和虚假媒体。本文采用知识蒸馏(KD)方法将反欺骗和深度伪造检测集成到一个系统中,以提高安全性和效率。该方法将大型复杂模型的知识转移到轻量级模型上,而不会显著降低准确性。知识蒸馏是这一领域的一个有前景的方法。所提出的系统有望解决不同数据集的泛化问题,减少计算负担,并通过将高容量深度模型的训练压缩为更小尺寸的实时模型来提高检测准确性。此类系统将应对包括面部变形、对抗性深度伪造攻击和展示攻击在内的多种挑战,从而在生物识别安全和数字媒体认证应用中提供强大的安全性。本文的贡献如下:
- •
提出基于双注意力机制的扩张ResNeXT与残差自编码器(DAD-DRAE)来提取特征,以提高检测准确性。
- •
开发优化多任务Transformer引导的关系知识蒸馏模型(OMT-RKD)来分类反欺骗和深度伪造。
- •
提出Tent混沌Hippo优化算法(TCHOA)来优化分类模型的超参数,从而降低模型复杂性。
上述贡献基于以下事实:所提出的工作通过优化的知识蒸馏方法实现了深度学习框架的统一。DAD-DRAE系统结合了扩张卷积和残差自编码器架构,不同于传统的ResNeXT(无论是否包含通道或空间注意力)。双通道机制同时实现了通道间相关性和空间显著性。扩张技术在不增加参数数量的情况下扩大了感受野,提高了上下文感知能力。残差自编码器将特征压缩到低维流形中,保持了空间完整性,增强了泛化能力并防止过拟合。这种模型的组合使其能够有效捕捉多尺度面部和纹理特征,这对于识别细微的欺骗和深度伪造伪迹至关重要。传统的KD方法直接传输logits/中间特征,但在输入跨域或多模态变化时效果不佳。OMT-RKD基于Transformer引导的关系蒸馏思想,重新定位了教师网络和学生网络嵌入之间的结构关系(距离和角度相关性),提高了跨数据库的泛化能力,并使学生模型以较低的复杂性接近教师模型的性能。采用了一种结合混沌映射和河马启发式探索的元启发式优化策略来动态调整超参数,从而提高了收敛速度并避免了局部最小值,确保了对大型多模态数据集的有效训练。
本文结构如下:第1节介绍背景和问题陈述;第2节回顾相关文献并分析作者的工作成果与局限性;第3节阐述提出的方法;第4节展示结果和讨论;第5节总结全文并展望未来研究方向。
文献综述
文献综述
< />的窗口提取空间数据。使用了三个数据集(replay attack、MSU-MFSD和NUAA)进行验证
提出的方法
为了反欺骗检测和深度伪造检测,开发了基于轻量级神经网络的新型深度学习模型,如知识蒸馏(KD)。建议框架的工作流程如图1所示。
过程首先进行预处理,通过平均相邻像素的强度来平滑图像差异。随后进行特征提取,得到维度较低的特征。然后部署一种新型KD模型
结果与讨论
使用Python实现所提出的模型,系统配置包括运行在3.40 GHz频率下的Intel(R) Core(TM) i7-3770 CPU和64位操作系统及x64处理器。该模型使用三个数据集(ASVspoof数据集、FaceForensics++数据和Deep Fake Detection数据集)进行测试,以验证其泛化能力。评估指标包括准确性、精确度、召回率和曲线下面积(AUC)以及F1分数。
结论
本研究旨在通过知识蒸馏过程实现反欺骗和深度伪造检测。首先使用加权中值滤波器进行预处理,去除噪声并平滑图像。然后将预处理后的图像输入特征提取阶段。在此阶段,基于双注意力机制的扩张ResNeXT与残差自编码器模型去除图像中的相关结构。由此提取的特征
CRediT作者贡献声明
K Jayashree:撰写 – 审稿与编辑、原始草稿撰写、可视化。
S Chakaravarthi:验证、监督、软件开发。
J Samyuktha:形式分析、数据管理、概念化。
J Savitha:项目管理、方法论制定、资金筹集。
M Chaarulatha:监督、软件开发、形式分析。
A Yogeswari:验证、监督、软件开发。
G Samyuktha:监督、方法论制定、概念化。