
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于空间核选择与光环注意网络的通用性深度伪造检测方法
【字体: 大 中 小 】 时间:2025年05月28日 来源:Image and Vision Computing 4.2
编辑推荐:
针对现有深度伪造检测方法因固定感受野和局部表征学习不足导致的泛化性差问题,本研究提出SKSHA-Net模型。通过空间核选择(SKS)模块动态调整感受野捕捉伪造痕迹,结合光环注意(HA)机制强化局部像素关联学习。在FF++、Celeb-DF等数据集上验证显示,该模型在跨域测试中显著优于现有方法,为应对AIGC技术滥用提供了新解决方案。
随着AI生成内容(AIGC)技术的爆发式发展,以生成对抗网络(GAN)和扩散模型为代表的工具已能合成以假乱真的人脸图像。这种技术虽为创意产业带来变革,却也催生了恶意篡改视觉媒体的风险。当前深度伪造检测方法面临严峻挑战:固定尺寸的卷积核难以捕捉多尺度伪造痕迹,而过度关注全局或局部的特征学习会丢失关键线索。更棘手的是,现有模型对未知伪造类型的泛化能力不足,例如FaceForensics++数据集训练的模型在Celeb-DF等新场景中性能骤降。
为解决这一难题,山东大学的研究团队在《Image and Vision Computing》发表论文,提出空间核选择与光环注意网络(SKSHA-Net)。该研究创新性地融合动态感受野调整和局部上下文建模:通过空间核选择(SKS)模块自动适配不同尺度伪造特征,采用光环注意(HA)机制建立像素级关联图谱。实验证明,该方法在跨数据集测试中准确率提升显著,尤其对高分辨率视频的伪造检测具有突破性进展。
关键技术包括:1)基于Xception模型构建特征编码器;2)设计多分支SKS模块处理128×76×76特征图;3)HA模块建立环形感受野的局部注意力;4)采用FF++、Celeb-DF和WildDeepfake三组数据集验证。
【Deepfake detection】
系统梳理了从早期基于面部形变分析到现代三类主流方法(异常检测/统计特征/神经网络)的演进历程,指出现有技术仅能二分类而无法识别具体伪造类型的缺陷。
【Overview】
模型架构创新体现在双路径处理:SKS路径通过可变形卷积动态调整3×3至7×7的核尺寸,HA路径则采用环形扩张注意力捕捉R128×76×76特征图的局部关联。
【Experimental setup】
在FF++的四种篡改类型(F2F/NT/DF/FS)测试中,SKSHA-Net平均准确率达98.7%,跨数据集测试时对Celeb-DF的AUC提升12.3%,显著优于DABN和RECCE等对比模型。
【Ablation study】
消融实验显示,单独使用SKS或HA模块可使WildDeepfake检测率分别提高8.5%和6.2%,而联合策略带来17.8%的增益,证实模块协同效应。
研究结论揭示,传统方法受限于静态感受野和局部-全局表征失衡,而SKSHA-Net通过动态核选择与光环注意的协同机制,首次实现伪造痕迹的多尺度捕获与上下文关联建模。这不仅将跨数据集检测准确率提升至新高,更为应对未来进化式伪造技术提供了可扩展框架。该成果对维护数字媒体可信度具有重要实践价值,其模块化设计思路也可迁移至其他图像真伪鉴别领域。
生物通微信公众号
知名企业招聘