“深度伪造”一词在2017年一名Reddit用户传播了一张人脸交换视频后开始广为人知,它指的是使用深度学习技术(如生成对抗网络GANs(Goodfellow等人,2020年)和变分自编码器VAEs(Kingma和Welling,2022年)生成的合成面部媒体。这些伪造内容通常表现为人脸交换、属性篡改和表情重现(Zhang,2022年)。近年来,深度伪造技术的普及及其在政治诽谤、军事欺骗、经济犯罪和恐怖主义等领域的潜在滥用引发了人们对隐私和安全的严重担忧。因此,迫切需要有效的检测方法来可靠地识别这类合成媒体并降低相关风险。
目前大多数深度伪造检测方法依赖于监督学习,通过在公共数据集上训练深度神经网络来将图像或视频分类为真实或伪造。早期的方法侧重于挖掘空间域的伪造痕迹,针对特定生成模型实现了高精度(Afchar、Nozick、Yamagishi、Echizen,2018年;Li、Bao、Zhang、Yang、Chen、Wen、Guo,2020a;Nguyen、Yamagishi、Echizen,2019年)。然而,随着单一伪造技术的检测能力接近饱和,研究方向转向了能够处理未知伪造技术的泛化检测。已经提出了一些策略来增强泛化能力,例如捕捉跨模型通用伪造模式的新网络架构(Bai、Wang、Han、Hou、Wang、Pang,2025年;Yan、Luo、Lyu、Liu、Wu,2024年;Yan、Zhang、Fan、Wu,2023a),以及利用通用光谱特征的频域分析(Kashiani、Talemi、Afghah,2025年;Liu、Li、Zhou、Chen、He、Xue、Zhang、Yu,2021年;Luo、Zhang、Yan、Liu,2021年)。尽管这些努力取得了显著成果,但它们仍然需要大量的标记数据,并且在数据稀缺时容易过拟合于特定于训练的伪造特征(Wu等人,2025年)。
鉴于数据集构建的高成本和伪造技术的快速演变,提高深度伪造检测器的少样本学习能力对于确保其在实际场景中的实用性至关重要。然而,尽管在更广泛的图像分类领域中少样本学习研究取得了显著进展,但针对深度伪造检测的专门研究仍处于起步阶段。现有的少样本深度伪造检测方法(Aneja和Nieber,2020年;Guan等人,2023年;Sun等人,2021年)虽然有所进展,但主要基于泛化有助于从有限标记样本中转移知识的理念。关键的是,这些方法往往忽略了优化每个样本表示效率的必要性——这一疏忽导致在实际应用中面对新或未见过的伪造模式时检测精度不佳且适应能力不足。
视觉语言模型(VLMs),如CLIP(Radford等人,2021年),由于其在大规模预训练后具备强大的零样本能力而受到广泛关注。最近的研究开始探索将CLIP应用于深度伪造检测任务(Guo等人,2025年;Lin等人,2024年;Sun等人,2025年),但这些方法主要利用CLIP的预训练知识在完全监督的环境下提升泛化性能,而无法适应少样本场景下的检测任务。同时,轻量级的微调技术(如CLIP-Adapter(Gao等人,2023年)和CoOpZhou等人,2022年)通过少量样本优化了任务的适应性,在多个通用视觉数据集上取得了显著成果,为图像识别的少样本学习提供了新的范式(图1)。然而,CLIP在深度伪造检测中的快速有效适应能力仍不如在一般计算机视觉任务中那样强。如图2所示,基于CLIP模型的基线方法在传统图像数据集上表现出稳定且强大的适应性能,但在深度伪造数据集上却容易过拟合。这清楚地表明了现有CLIP适应方法在面对深度伪造检测特定挑战时的固有局限性。
我们将这些观察到的局限性——特别是性能下降和过拟合问题——归因于三个主要的技术瓶颈:(1)文本提示不足:现有的可学习提示表达能力有限,无法在少样本条件下同时捕捉微观纹理异常和宏观语义不一致性。(2)视觉特征提取不佳:预训练的图像编码器更侧重于通用面部语义而非伪造特征,导致在数据量较少时判别能力不足。(3)样本信息利用效率低下:CLIP的原始推理仅依赖其预训练特征,未能充分利用有限标记样本中的特定信息,从而导致预测不稳定和泛化能力差。
为了解决这些挑战,我们提出了一个名为“实例级少样本提示学习”(IFPL)的框架,其简化示意图如图1(c)所示。该框架包含三个专门设计的组件,旨在系统地克服上述局限性:(1)多尺度可学习上下文向量结合实例级面部嵌入(Lin等人,2024年),以增强文本特征提取;(2)可学习的视觉扰动模块(Jia等人,2022年),引导编码器识别细微的伪造特征;(3)基于非参数原型的缓存(Snell、Swersky、Zemel,2017年;Zhang、Zhang、Fang、Gao、Li、Dai、Qiao、Li,2022年),通过有效利用少样本信息来提高样本效率和稳定性。通过这些设计,IFPL成功地将CLIP适应于少样本深度伪造检测,在数据量少的情况下展示了强大的细粒度图像识别潜力。我们的主要贡献如下:
1. 我们观察到,在应用于深度伪造检测等细粒度任务时,当前的基于CLIP的少样本学习方法存在严重的性能下降和不兼容性问题。
2. 我们提出了IFPL,这是一种新颖的少样本深度伪造检测框架,结合了专门的CLIP微调方法和基于原型的缓存,两者都通过利用样本级信息增强了检测能力。
3. 大规模实验表明,IFPL在少样本深度伪造检测中有效缓解了精度下降问题,优于多种公共基准测试中的最先进方法。