利用改进的CLIP模型实现少样本深度伪造检测

《Neural Networks》:Towards Few-Shot Deepfake Detection with an Enhanced CLIP Model

【字体: 大 中 小 】 时间:2026年04月27日 来源:Neural Networks 6.3

编辑推荐:

  针对现有深伪检测方法在少样本场景下的泛化能力不足问题,本文提出基于CLIP的Instance-level Few-shot Prompt Learning框架,通过多尺度文本提示、视觉扰动模块和原型缓存,有效提升少样本检测性能,实验表明优于SOTA方法。

  
杨玉敏|张学毅|严波|郭彦明
国防科技大学系统工程学院,中国湖南长沙410073

摘要

深度伪造技术的扩散威胁到了隐私、公众信任和民主制度的完整性,因此需要能够在实际环境中有效运行的强大检测方法。当前的深度伪造检测器主要通过监督学习来泛化到未知的伪造方式,这需要大量的训练数据。由于伪造技术的多样性以及它们之间往往关联性较低,跨技术的泛化变得越来越困难。近期在少样本学习方面的进展显示出了一定的潜力,但尚未完全将传统图像分类任务的能力应用到深度伪造检测中。为了克服这些挑战,我们提出了一种名为“实例级少样本提示学习”(IFPL)的三管齐下的方法,该方法基于CLIP框架。在文本分支中,我们用多尺度自适应上下文替换了手动模板,并通过结合实例级面部嵌入来增强特征提取。在视觉分支中,我们为每个输入样本引入了可学习的视觉扰动模块,以引导编码器识别伪造特征。最后,我们引入了一个基于非参数原型的实例缓存模块,为CLIP提供外部指导,以实现更强大的决策能力。实验表明,在少样本条件下,IFPL能够持续超越现有的最先进方法,为需要少量样本的细粒度视觉任务提供了一种新的解决方案。

引言

“深度伪造”一词在2017年一名Reddit用户传播了一张人脸交换视频后开始广为人知,它指的是使用深度学习技术(如生成对抗网络GANs(Goodfellow等人,2020年)和变分自编码器VAEs(Kingma和Welling,2022年)生成的合成面部媒体。这些伪造内容通常表现为人脸交换、属性篡改和表情重现(Zhang,2022年)。近年来,深度伪造技术的普及及其在政治诽谤、军事欺骗、经济犯罪和恐怖主义等领域的潜在滥用引发了人们对隐私和安全的严重担忧。因此,迫切需要有效的检测方法来可靠地识别这类合成媒体并降低相关风险。
目前大多数深度伪造检测方法依赖于监督学习,通过在公共数据集上训练深度神经网络来将图像或视频分类为真实或伪造。早期的方法侧重于挖掘空间域的伪造痕迹,针对特定生成模型实现了高精度(Afchar、Nozick、Yamagishi、Echizen,2018年;Li、Bao、Zhang、Yang、Chen、Wen、Guo,2020a;Nguyen、Yamagishi、Echizen,2019年)。然而,随着单一伪造技术的检测能力接近饱和,研究方向转向了能够处理未知伪造技术的泛化检测。已经提出了一些策略来增强泛化能力,例如捕捉跨模型通用伪造模式的新网络架构(Bai、Wang、Han、Hou、Wang、Pang,2025年;Yan、Luo、Lyu、Liu、Wu,2024年;Yan、Zhang、Fan、Wu,2023a),以及利用通用光谱特征的频域分析(Kashiani、Talemi、Afghah,2025年;Liu、Li、Zhou、Chen、He、Xue、Zhang、Yu,2021年;Luo、Zhang、Yan、Liu,2021年)。尽管这些努力取得了显著成果,但它们仍然需要大量的标记数据,并且在数据稀缺时容易过拟合于特定于训练的伪造特征(Wu等人,2025年)。
鉴于数据集构建的高成本和伪造技术的快速演变,提高深度伪造检测器的少样本学习能力对于确保其在实际场景中的实用性至关重要。然而,尽管在更广泛的图像分类领域中少样本学习研究取得了显著进展,但针对深度伪造检测的专门研究仍处于起步阶段。现有的少样本深度伪造检测方法(Aneja和Nieber,2020年;Guan等人,2023年;Sun等人,2021年)虽然有所进展,但主要基于泛化有助于从有限标记样本中转移知识的理念。关键的是,这些方法往往忽略了优化每个样本表示效率的必要性——这一疏忽导致在实际应用中面对新或未见过的伪造模式时检测精度不佳且适应能力不足。
视觉语言模型(VLMs),如CLIP(Radford等人,2021年),由于其在大规模预训练后具备强大的零样本能力而受到广泛关注。最近的研究开始探索将CLIP应用于深度伪造检测任务(Guo等人,2025年;Lin等人,2024年;Sun等人,2025年),但这些方法主要利用CLIP的预训练知识在完全监督的环境下提升泛化性能,而无法适应少样本场景下的检测任务。同时,轻量级的微调技术(如CLIP-Adapter(Gao等人,2023年)和CoOpZhou等人,2022年)通过少量样本优化了任务的适应性,在多个通用视觉数据集上取得了显著成果,为图像识别的少样本学习提供了新的范式(图1)。然而,CLIP在深度伪造检测中的快速有效适应能力仍不如在一般计算机视觉任务中那样强。如图2所示,基于CLIP模型的基线方法在传统图像数据集上表现出稳定且强大的适应性能,但在深度伪造数据集上却容易过拟合。这清楚地表明了现有CLIP适应方法在面对深度伪造检测特定挑战时的固有局限性。
我们将这些观察到的局限性——特别是性能下降和过拟合问题——归因于三个主要的技术瓶颈:(1)文本提示不足:现有的可学习提示表达能力有限,无法在少样本条件下同时捕捉微观纹理异常和宏观语义不一致性。(2)视觉特征提取不佳:预训练的图像编码器更侧重于通用面部语义而非伪造特征,导致在数据量较少时判别能力不足。(3)样本信息利用效率低下:CLIP的原始推理仅依赖其预训练特征,未能充分利用有限标记样本中的特定信息,从而导致预测不稳定和泛化能力差。
为了解决这些挑战,我们提出了一个名为“实例级少样本提示学习”(IFPL)的框架,其简化示意图如图1(c)所示。该框架包含三个专门设计的组件,旨在系统地克服上述局限性:(1)多尺度可学习上下文向量结合实例级面部嵌入(Lin等人,2024年),以增强文本特征提取;(2)可学习的视觉扰动模块(Jia等人,2022年),引导编码器识别细微的伪造特征;(3)基于非参数原型的缓存(Snell、Swersky、Zemel,2017年;Zhang、Zhang、Fang、Gao、Li、Dai、Qiao、Li,2022年),通过有效利用少样本信息来提高样本效率和稳定性。通过这些设计,IFPL成功地将CLIP适应于少样本深度伪造检测,在数据量少的情况下展示了强大的细粒度图像识别潜力。我们的主要贡献如下:
1. 我们观察到,在应用于深度伪造检测等细粒度任务时,当前的基于CLIP的少样本学习方法存在严重的性能下降和不兼容性问题。
2. 我们提出了IFPL,这是一种新颖的少样本深度伪造检测框架,结合了专门的CLIP微调方法和基于原型的缓存,两者都通过利用样本级信息增强了检测能力。
3. 大规模实验表明,IFPL在少样本深度伪造检测中有效缓解了精度下降问题,优于多种公共基准测试中的最先进方法。

部分摘录

深度伪造检测

深度伪造检测旨在验证被篡改图像或视频的真实性。对于视频数据,一种常见的策略是提取帧序列进行逐帧分类(Lal、Shiwani、Gandhi,2025年;Ni、Zeng、Xia、Yang、Tan,2024年;Qin、Lu、Zhang、Peng、Wan,2023年),从而将问题视为图像分类任务——这也是本研究采用的方法。早期的检测方法主要利用精心设计的卷积神经网络(CNNs)来实现高精度检测(

方法

本文提出了一种用于深度伪造检测的少样本学习方法IFPL。在CLIP模型的基础上,引入了两种专门的微调技术,用于视觉和文本分支,以高效提取样本的细粒度特征。此外,还引入了一个基于原型的轻量级缓存,在测试阶段提供补充样本信息,帮助模型做出决策。整个框架如图3所示。

设置

数据集。为了全面评估模型性能,实验使用了在深度伪造检测中广泛采用的数据集:FaceForensics++(FF++)(R?ssler等人,2019年)、DeepFakeDetection(DFD)(R?ssler等人,2019年)、DFDCP(Dolhansky等人,2020年)和CelebDF(CDF)(Li等人,2019年)。这些数据集包含伪造和真实的人脸视频,其中FF++是使用最广泛的基准数据集。FF++包含1,000个真实视频和4,000个伪造视频

结论

本研究解决了现有基于CLIP的少样本学习方法在细粒度深度伪造检测中的性能下降和适应能力不足问题。我们提出了“实例级少样本提示学习”(IFPL)框架,该框架整合了三个核心组件:多尺度上下文文本提示与实例级面部嵌入、可学习的视觉扰动模块以及基于原型的非参数缓存。在基准测试上的广泛实验表明,IFPL优于基线方法

CRediT作者贡献声明

杨玉敏:撰写——原始草稿、可视化、验证、监督、软件开发、方法论、调查、形式分析。张学毅:撰写——审稿与编辑、监督、形式分析、概念化。严波:资源获取、数据管理、概念化。郭彦明:撰写——审稿与编辑、资源管理、项目协调、资金筹措。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号