《Computer Vision and Image Understanding》：A comprehensive evaluation framework and efficient regularization strategy for adversarial robustness of deepfake detectors under closed and open set scenarios
编辑推荐：
研究人员提出一个用于深度伪造检测器在闭集和开集上对抗鲁棒性评估的框架。研究人员提出显著性引导梯度正则化（Saliency-Guided Gradient Regularization，SG-GradReg）以提高深度伪造检测器的对抗鲁棒性，同时降低训练计算需求
研究人员提出一个用于深度伪造检测器在闭集和开集上对抗鲁棒性评估的框架。研究人员提出显著性引导梯度正则化（Saliency-Guided Gradient Regularization，SG-GradReg）以提高深度伪造检测器的对抗鲁棒性，同时降低训练计算需求。卷积神经网络（Convolutional Neural Networks，CNN）在开集场景下表现出比视觉变换器（Vision Transformers，ViT）更高的鲁棒性。显著性引导梯度正则化（SG-GradReg）在减少训练时间和峰值内存的同时，显示出与所分析的防御技术相当的结果。
深度伪造检测（deepfake detection）旨在识别由生成对抗网络（Generative Adversarial Networks，GANs）和扩散模型（diffusion models）等生成的合成媒体。近年来，这类技术使合成媒体高度逼真，给数字内容真实性验证带来巨大挑战。现有检测器在特定基准（如FaceForensics++和Face X-ray）上取得高准确率，但攻击者利用生成技术和对抗扰动（adversarial perturbations）——即向输入图像添加不可察觉噪声以利用神经网络决策边界——可有效绕过检测，导致实际部署中性能下降。传统检测框架主要在闭集场景（closed-set scenario）下评估，即训练与测试分布共享相同生成伪影；然而实际应用中，检测器需面对开集场景（open-set scenario），处理训练中未见过的合成方法。领域差异加剧了模型性能退化，尤其在遭受对抗攻击时更为显著。因此，鲁棒检测器需满足双重约束：在开集场景下泛化至未知深度伪造类型，并抵抗对抗攻击。现有防御方法如对抗训练（adversarial training）和梯度正则化（Gradient Regularization）计算成本高昂，亟需轻量级且鲁棒的策略。为此，研究人员提出一个模块化评估框架，用于在闭集和开集场景下评估深度伪造检测器的对抗鲁棒性，并引入显著性引导梯度正则化（Saliency-Guided Gradient Regularization，SG-GradReg），一种降低计算开销的轻量级防御技术。该研究发表在《Computer Vision and Image Understanding》。
研究人员开展的研究包括：构建涵盖六种架构（卷积神经网络CNN：ResNet50、Xception、EfficientNet-B0、ConvNeXt-Base；视觉变换器ViT：ViT-Small、ViT-Base）的评估框架，利用WILD数据集（Bongini等，2025）中的深度伪造图像，以及来自Flickr-Faces-HQ（FFHQ）和FaceForensics++的真实图像。样本队列来源为WILD数据集，闭集划分包含Adobe Firefly、Dall-E 3等生成器，开集划分包含Dall-E 1、StyleGAN等未见生成器，且真实身份无重叠。关键技术方法包括：SG-GradReg，通过软显著性掩码（soft saliency mask）将特征空间扰动限制在最具判别性的空间区域，并利用显著性图变异系数的指数移动平均（Exponential Moving Average，EMA）自适应调整每批次的扰动幅度，仅使用一阶梯度计算，无需辅助网络或额外参数。对比的防御方法包括标准梯度正则化（GradReg）、高频特征解耦与重校准（HFDR）、雅可比范数与选择性输入梯度正则化（J-SIGR），以及经验风险最小化（ERM）基线。攻击方法包括快速梯度符号法（FGSM）、投影梯度下降（PGD）、自适应PGD（A-PGD）、AutoAttack、梯度范数惩罚（GNP）、加权雅可比显著性图攻击（WJSMA）和块混洗与旋转（BSR）。评估指标包括准确率（Accuracy）、F1分数、曲线下面积（AUC）和攻击成功率（ASR）。
研究结果如下：
- **5.1 干净性能分析**：在未扰动数据上，GradReg、J-SIGR和SG-GradReg的准确率保持在基线ERM的1%–3%以内。Xception在闭集和开集上均达到最高准确率（>0.98）。卷积架构在开集干净数据上准确率常高于0.93，而ViT模型在0.86–0.89之间，表明CNN在此场景下泛化性更优。
- **5.2 闭集对抗鲁棒性**：SG-GradReg在ViT-Small、ResNet-50和EfficientNet-B0上对梯度攻击（FGSM、PGD、GNP）表现出最低ASR或最高准确率。例如，在ResNet-50上，SG-GradReg在所有FGSM强度下ASR比基线低30%–36%，且准确率保持>0.85。J-SIGR在Xception上对迭代攻击和WJSMA表现最佳，例如在PGD ?=8/255时准确率0.5885，远超其他方法。梯度稳定架构（如ConvNeXt-Base）上GradReg和SG-GradReg共享领先位置。
- **5.3 开集对抗鲁棒性**：所有防御方法在生成领域偏移下性能下降，但相对排名稳定。SG-GradReg在ViT-Small、ResNet-50和EfficientNet-B0上对梯度攻击保持最佳准确率（如ResNet-50上FGSM ?=2/255时准确率0.8217）。J-SIGR在强迭代攻击和WJSMA下仍表现最优（如Xception上WJSMA准确率0.9817）。HFDR因干净准确率崩溃而ASR值误导性低。
- **5.4 自适应和可迁移黑盒攻击**：在A-PGD和AutoAttack攻击下，J-SIGR在卷积骨干上最强（如Xception上A-PGD准确率0.962），但计算成本高。SG-GradReg在ViT架构上提升鲁棒性（如ViT-Small上A-PGD准确率0.649）。在BSR可迁移攻击中，J-SIGR在卷积目标上ASR最低（如ResNet-50上ASR 0.14），SG-GradReg在ViT骨干上表现相当（ViT-Small ASR 0.05）。
- **5.5 计算效率**：SG-GradReg显著降低计算开销。与J-SIGR相比，在Xception上训练时间缩短约53倍（12–14分钟 vs 651分钟），峰值显存减少约2.7倍（平均），吞吐量提高约51倍。HFDR为第二昂贵方法，但鲁棒性较差。
- **5.6 消融研究**：SG-GradReg的四种配置（C1固定扰动半径、C2动态无预热、C3动态+预热、C4仅预热）在不同架构上表现不同。梯度稳定架构（Xception、ConvNeXt-Base）在C3（组合预热与显著性缩放）下最佳；ViT在C4（仅预热）下最佳；具有残差连接的CNN（ResNet-50）在C1（固定参数）下最佳；EfficientNet-B0在C2（显著性缩放无预热）下最佳。连续软掩码比硬掩码或无掩码在自适应PGD下准确率更高（平均提升5.4–6.2个百分点）。
讨论部分总结：实验结果揭示了深度伪造检测器在对抗扰动和生成领域偏移下的性能特征。闭集场景下SG-GradReg对梯度攻击表现稳健，J-SIGR对局部显著性攻击最优。开集场景下所有防御性能下降，但相对排序稳定。CNN在开集干净数据上优于ViT。可迁移黑盒攻击对CNN效果更显著，ViT因架构差异更抗迁移。部署鲁棒检测器需平衡泛化、对抗鲁棒性和计算成本。消融表明正则化调度有效性依赖骨干梯度稳定性。
研究结论部分翻译：在本研究中，研究人员解决了深度伪造检测中对抗攻击鲁棒性和对未见伪造方法泛化性的挑战。研究人员引入了一个模块化评估框架，涵盖六种架构、七种攻击以及闭集和开集场景。在此框架内，研究人员提出了SG-GradReg，一种防御技术，通过软显著性掩码将特征空间扰动集中在最具判别性的空间区域，并通过显著性图变异系数的EMA自适应调整每批次的扰动强度。该方法仅使用一阶计算，不增加额外参数或辅助网络。在所有评估条件下，SG-GradReg在梯度攻击下实现了竞争性准确率，同时最小化ASR，并且在ViT-Small、ResNet-50和Xception上相比竞争方法获得了最高准确率、F1和AUC。在计算效率方面，SG-GradReg在所有评估架构上平均训练速度比J-SIGR快11倍，峰值内存使用减少2.7倍，使其适用于高分辨率数据集。此外，研究人员进行了消融研究，表明最优缩放配置取决于骨干梯度稳定性；稳定架构在组合预热和显著性缩放下表现最佳，而变换器偏好纯预热调度。未来工作将扩展框架至视频级深度伪造检测，其中帧间时间一致性增加了静态图像评估之外的复杂性。
