基于自适应图卷积与多尺度提示融合的深度伪造检测多样性信息聚合框架

这篇研究提出了一种创新的深度伪造检测框架DINA（Diverse INformation Aggregation），通过自适应图卷积网络（AGCN）构建语义关联的组令牌（group tokens），并结合多尺度提示融合（MSPF）模块整合RGB与频域信息。该方案突破了传统ViT固定分块的局限性，在FaceForensics++等跨域测试中展现出卓越的泛化能力。

　　

亮点

• 提出DINA框架，通过组令牌构建鲁棒的全局信息表征

• 设计AGCN模块，基于空间-特征双视角构建图结构邻居

• 开发MSPF模块，以提示（prompts）形式实现多尺度-多模态细粒度融合

深度伪造检测

该领域通常被视为二分类任务。早期方法依赖眼部闪烁等明显特征，但跨数据集表现骤降。当前研究主要聚焦：1）挖掘更普适的细微伪影；2）利用频域上采样模式等固有痕迹。

框架概览

如图2所示，DINA框架包含双分支CNN特征提取器、AGCN与MSPF模块及Transformer块。首先通过并行分支提取RGB/频域多尺度特征，随后AGCN构建动态图结构聚合语义信息形成组令牌，MSPF则通过可学习的提示令牌（prompt tokens）注入互补模态特征。

实验设置

数据集：采用FaceForensics++（含DeepFakes等4种伪造技术）、Celeb-DF V²等主流基准，测试时使用未见过的压缩版本验证泛化性。

结论

本研究提出的DINA框架通过AGCN实现令牌间自适应信息聚合，结合MSPF的提示机制融合多尺度-多模态特征。在跨域测试中显著优于现有方法，为深度伪造检测提供了全局上下文建模的新范式。