SpongeNet:通过知识海绵(knowledge sponge)保留伪造痕迹,并利用二进制信息瓶颈(binary information bottleneck)实现深度伪造检测

《Pattern Recognition》:SpongeNet: Preserving forgery traces by knowledge sponge with binary information bottleneck for deepfake detection

【字体: 大 中 小 】 时间:2026年08月30日 来源:Pattern Recognition 9.1

编辑推荐:

   • SpongeNet将深度伪造检测分为吸收和压缩两个阶段。

  
  • •
    SpongeNet将深度伪造检测分为吸收和压缩两个阶段。
  • •
    残差结构和希尔伯特约束确保了全面的伪证吸收。
  • •
    二值化信息瓶颈保留了低层次的伪造特征。
  • •
    SpongeNet仅使用1.79 GFLOPs的吞吐量就取得了具有竞争力的性能。

引言

随着生成模型(如GANs [1]和扩散模型 [2])的快速发展,非专家也能在几乎没有专业技能的情况下创建出高度逼真的图像。虽然这些技术对数字创意产业有益,但也被用于深度伪造的滥用,引发了金融欺诈和隐私泄露等担忧。
以往的研究 [3], [4], [5], [6] 通常将深度伪造检测视为一个二值图像分类问题。例如,Rossler等人 [4] 使用Xception来区分真实图像和伪造图像。然而,深度伪造检测与传统图像分类不同:它不仅需要区分语义类别,还需要识别微妙的低层次伪造特征。随着现代AI生成内容(AIGC)技术生成的伪造图像越来越逼真和多样化,最近的研究探索了多种图像线索以改进检测的泛化能力。根据所使用的线索类型,主流方法大致可以分为空间频率方法和大规模预训练方法。大多数现有的空间频率方法 [7], [8], [9], [10], [11], [12] 通过直接从输入图像中学习伪造敏感线索(如空间域中的局部纹理不一致性和频率域中的异常模式)来检测深度伪造。例如,CADDM [11] 将检测器集中在局部空间区域以减少身份相关的干扰,而FreqNet [13] 利用频率域特征作为补充的伪造线索。最近,大规模预训练方法 [14], [15], [16], [17], [18] 通过使用外部先验(通常是通过大型预训练编码器如CLIP)展示了强大的泛化潜力。例如,Baru等人 [16] 利用CLIP-ViT特征来区分伪造图像和真实图像,增强了对抗分布变化的鲁棒性。尽管现有方法的表现令人印象深刻,但仍存在两个关键挑战。
(1) 与任务无关的知识的干扰: 如图1所示,现有方法已做出了大量努力从空间、频率域和预训练表示中捕获与伪造相关的线索。最近的研究(如CLIP-IB [18])进一步探索了压缩机制以提取与任务相关的知识。然而,从吸收-压缩的角度来看,全面的多视图知识吸收和冗余信息压缩的联合建模仍然相对较少。这可能会阻碍模型获得足够多样的法证线索或学习具有泛化能力的伪造相关表示,从而限制检测准确性和跨域泛化能力。
(2) 压缩与伪造痕迹保留之间的困境: 尽管像信息瓶颈(IB)这样的压缩机制在抑制语义冗余方面非常有效,但直接将连续的IB应用于深度伪造检测可能无法保留微妙的低层次伪造痕迹。从Lipschitz条件的角度来看,基于CNN或Transformer的连续编码器产生的特征变化受其Lipschitz常数的上限限制。当有效敏感性界限相对于微小伪造特征的幅度不够大时,引入的潜在变化可能太弱,无法使这些特征变得可区分。
为了解决上述挑战,我们提出了一个新颖的模型SpongeNet,它将直接二值分类理解为类似于海绵的吸收和压缩的过程。该模型包含全吸收模块(OAM)和知识压缩模块(KCM)。在吸收阶段,OAM结合了多视图特征(包括频率域线索和局部二值化模式),并将它们与RGB表示深度融合。在此过程中,我们使用希尔伯特-施密特独立性准则(Hilbert–Schmidt Independence Criterion)来防止特征之间的直接相互作用抑制特定视图的伪造特征。在压缩阶段,我们提出了二值信息瓶颈(Binary Information Bottleneck,简称BIB)作为KCM的核心组件。受Lipschitz连续性的启发,我们对变分编码器进行二值化,并引入了二值化多尺度交互机制。通过利用二值阶跃函数 sign(x),这种设计有助于减少语义冗余,同时保留低层次的伪造相关特征(如图2(c)–(d)所示)。总之,本文的贡献包括:
  • •
    我们将深度伪造检测分为吸收和压缩两个阶段,并相应地引入了SpongeNet,该模型共同增强了知识吸收和冗余压缩。
  • •
    我们构建了KCM来抑制与任务无关的信息并保留与伪造相关的特征,其中BIB是基于信息瓶颈的Lipschitz分析激发的核心组件。
  • •
    我们设计了OAM,它能够从多个视角有效吸收独特的伪造线索。
  • •
    SpongeNet在多个基准测试中取得了具有竞争力的性能,同时仅需要1.79 GFLOPs的吞吐量。

章节片段

信息瓶颈

Tishby等人 [20] 提出的信息瓶颈(Information Bottleneck,简称IB)[19] 旨在通过平衡数据压缩和保留与任务相关的信息来提取关键特征。基于IB,Alemi等人 [21] 引入了变分信息瓶颈(Variational Information Bottleneck,简称VIB),将IB与变分推理结合起来创建了一个可训练的深度学习模型。同时,作为强大的理论框架,IB被广泛应用于各种场景。Hu等人 [22] 提出了用于少样本分割任务的前景IB(foreground IB)

提出的模型

在本节中,我们首先阐述了问题并概述了提出的SpongeNet模型。然后详细介绍了核心组件,包括知识提取、吸收和压缩模块。最后,我们提供了BIB的理论见解和模型的整体优化目标。

数据集和评估指标

我们的评估使用了三个最新且公开的数据集:CIFAKE [32]、DFFD [33] 和 COCOFake [14],这些数据集涵盖了多种先进的伪造生成方法,包括GANs和扩散模型。详细信息如下:
  • •
    CIFAKE。这是一个基于CIFAR-10的数据集,共包含120,000张图像。其中包含60,000张来自原始CIFAR-10数据集的真实图像和60,000张使用Stable Diffusion v1.4 [2]生成的伪造图像。该数据集分为100,000张用于训练的图像

结论

在本文中,我们提出了SpongeNet模型,旨在提高深度伪造检测的准确性,该模型受到海绵吸收和压缩机制的启发。首先,我们为吸收阶段设计了OAM。为了捕获全面的知识,我们设计了包含HSIC的架构,以防止不同视角下的伪造特征在交互过程中合并,从而避免丢失独特信息。同时,一个简单的残差结构处理了...

CRediT作者贡献声明

Kai Chen:写作 – 审稿与编辑,撰写原始草稿,可视化,方法论,调查,形式分析,数据策划,概念化。Qiming Wang:验证,资源管理,方法论。Zhuoyue Qin:可视化,软件开发,调查,数据策划。Youwei Wang:监督,资源管理,项目行政。Shizhe Hu:监督,资金获取。

利益冲突声明

作者声明他们没有任何已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本项工作得到了中国国家自然科学基金(项目编号62576320)和河南省杰出青年科学基金计划(项目编号252300421223)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号