基于傅里叶输入变换（FIT）增强对抗样本可迁移性的黑盒攻击方法研究

《Big Data and Cognitive Computing》：Enhancing Adversarial Transferability via Fourier-Based Input Transformation Zilin Tian, Xin Wang, Yunfei Long and Liguo Zhang

为解决对抗样本在黑盒攻击中可迁移性受限及现有输入变换方法未能充分解耦风格与语义的问题，Zilin Tian等提出FIT方法，利用傅里叶变换分别操纵振幅与相位以实现风格变换和语义混合，实验表明该方法在多种模型与防御下ASR显著提升，为评估DNN鲁棒性提供了新思路。

　　

如今，人工智能尤其是深度神经网络（Deep Neural Networks, DNNs）在计算机视觉、图像识别和视觉理解等领域大放异彩。然而，这些看似强大的模型却有一个致命的弱点：它们极易被“对抗样本”欺骗。所谓对抗样本，就是在原始图片上添加人眼几乎无法察觉的微小扰动，就能让最先进的模型张冠李戴，甚至指鹿为马。这种特性引发了人们对AI安全性的深切担忧。

更令人头疼的是，在现实世界中，我们往往无法得知目标模型的具体结构和参数（即黑盒场景）。幸运的是，对抗样本具有“可迁移性”（Adversarial Transferability）——用一个已知模型（替代模型，Surrogate Model）生成的对抗样本，往往也能欺骗其他未知的黑盒模型。这使得黑盒攻击成为可能。为了提升这种可迁移性，研究者们提出了许多方法，其中“输入变换”（Input Transformation）被认为是最有效的策略之一。

但问题在于，现有的输入变换方法大多在空间域进行操作，往往忽视了图像中“风格”与“语义”的解耦，也缺乏针对性的变换策略，导致性能提升有限或结果不尽如人意。例如，有些方法只改了改图片大小或做了些平移，有些虽然混合了其他类别的图像，却引入了冗余信息，甚至可能因为语义不一致导致梯度计算不精确。

正是在这样的背景下，Zilin Tian, Xin Wang, Yunfei Long 和 Liguo Zhang 开展了这项名为“Enhancing Adversarial Transferability via Fourier-Based Input Transformation”的研究。他们独辟蹊径，从傅里叶变换（Fourier Transform）的视角出发，利用频率域中振幅（Amplitude）包含风格信息、相位（Phase）包含语义信息的特性，提出了一种新颖的基于傅里叶的输入变换（Fourier-based Input Transformation, FIT）方法。该方法通过对振幅进行随机掩码实现风格变换，利用相位仅重构（Phase-only Reconstruction）实现精准的语义混合（Semantic Mixup），并在迭代攻击框架中混合原始图像与增强图像以维持语义一致性。相关论文发表在《Big Data and Cognitive Computing》期刊上。广泛的实验证明，FIT 在 ImageNet 兼容数据集上，无论是面对常规训练模型、对抗训练模型，还是各种高级防御机制，其攻击成功率（Attack Success Rate, ASR）均显著优于现有的输入变换攻击方法。

主要关键技术方法

本研究采用 ImageNet 兼容基准数据集（1000 张 299×299 图像），以 Inception-v3、ResNet-101、ViT-B 等为替代模型，以 DenseNet-121、Swin-B、DeiT-B 及多种对抗训练模型（如 Inc-v3_adv）和目标防御方法（DiffPure, RDC, NRP）为目标黑盒模型。核心技术包括：1. 离散傅里叶变换（DFT）分解图像为振幅谱与相位谱；2. 对振幅谱施加随机高斯掩码生成风格变体，并将原相位与常量振幅结合生成相位仅重构图用于语义混合；3. 将原始图像与 FIT 变换图像按 Beta 分布采样的系数混合，输入 MI-FGSM（Momentum Iterative FGSM）框架进行迭代攻击，利用多次增广的平均梯度更新扰动，最终生成高迁移性对抗样本。

1. Introduction

引言部分指出 DNNs 易受对抗样本攻击，且可迁移性是黑盒攻击的关键。现有提升可迁移性的方法主要分为梯度优化（如 MI-FGSM、NI-FGSM）、模型集成（Ensemble）和输入变换（如 DIM、TIM、Admix 等）。作者分析认为，现有输入变换方法未能充分解耦风格与语义，也未针对高低层特征设计专门策略。为此，他们利用傅里叶变换中振幅对应风格、相位对应语义的特性，提出了 FIT 框架，通过风格变换和语义混合增强输入多样性，并将 FIT 集成到攻击流程中，混合原始与变换图像以保证语义一致性和梯度精确性。

2. Related Work

2.1. Transfer-Based Attack

回顾了基于迁移的攻击方法，包括梯度优化类（FGSM, I-FGSM, MI-FGSM, VMI-FGSM 等）、输入变换类（DIM, TIM, SIM, ATTA, Admix, SSA, STM, BSR, SSEPs 等）以及模型集成类（MI-Ens-FGSM, SVRE, AdaEA, CWA, SMER 等），明确了本文方法在输入变换这一分支上的定位与改进方向。

2.2. Frequency-Based Analysis and Attacks

讨论了频率域分析与攻击的现状，指出虽然已有研究关注 DNN 对频率成分的敏感性并进行频域操作（如 AdvDrop、频段选择攻击），但大多未利用傅里叶域中风格与语义的内在解耦关系，而将频率成分主要视为低级信号，限制了可迁移性的进一步提升。

3. Methodology

3.1. Motivation

阐述了研究的动因：现有方法未能解耦低级风格信息与高级语义结构，且 DNN 浅层和深层对不同信息的敏感度不同。利用傅里叶变换将振幅（风格）与相位（语义）解耦，分别进行随机调制和精确混合，可增加输入多样性并欺骗 DNN 不同层级，从而提升可迁移性。

3.2. Preliminaries

定义了对抗攻击的基本目标：给定干净图像 x 和标签 y，寻找对抗样本 x' 在 ε-球约束内误导模型 f。给出了基础攻击算法 MI-FGSM 的迭代更新公式。

3.3. Fourier-Based Input Transformation

详细介绍了 FIT 的两个核心步骤：

(1) 风格变换（Stylistic Transformation）：对 DFT 得到的振幅谱 A(x) 施加随机高斯掩码 M 进行乘法调制，再与原相位谱 P(x) 通过逆 DFT 重构出风格变化图像 x_sty。

(2) 语义混合（Semantic Mixup）：将原振幅替换为常量 ε 并与原相位重构得到相位仅图 x_ph（保留轮廓语义，消除颜色风格）；再从其他类别随机选图做相位仅图 x'_ph，将 x_sty与 x'_ph混合。

3.4. Fourier-Based Input Attack

描述了 FIT 攻击的完整流程：在每次迭代 t，将当前对抗样本 x^t与其 FIT 变换图像按系数 λ（Beta 分布采样）混合得到增广图像 x^t_aug；计算 K 个含均匀噪声的增广图像的平均梯度；将该平均梯度代入 MI-FGSM 更新公式，并结合衰减因子 μ 累积梯度 g，最终生成下一轮对抗样本 x^t+1。

4. Experiments

4.1. Experimental Setup

说明了实验细节：使用 ImageNet 兼容数据集（1000 图，299×299×3）；目标模型包括常规模型（Dense-121, Res-152, Swin-B, IncRes-v2, DeiT-B）和对抗训练/防御模型（Inc-v3_adv等，及 DiffPure, RDC, NRP）；基线为 TIM, DIM, SIM, ATTA, Admix, SSA, BSR, STM, SSEPs；超参数设为 ε=16/255, α=1.6/255, T=10, μ=1.0, ε_A=0.2, β=0.2；指标为攻击成功率 ASR。

4.2. Attacks on Normally Trained Models

以 Inc-v3, Inc-v4, Res-101, ViT-B 为替代模型攻击常规目标模型。结果显示 FIT 始终取得最高 ASR，例如以 Inc-v3 为替代模型时，在 Res-152, Dense-121, IncRes-v2, Swin-B, DeiT-B 上 ASR 分别达 66.7%, 85.5%, 90.0%, 38.2%, 45.7%，较 DIM 提升显著。可视化显示其扰动与其他方法一样几乎不可感知。

4.3. Attacks on Advanced Defense Methods

以 Inc-v3 为替代模型攻击对抗训练模型及 DiffPure 等防御。FIT 依然表现最强，例如在 Inc-v3_adv上 ASR 达 73.5%，远高于 ATTA (29.8%)、SSA (59.2%) 和 BSR (48.6%)。

4.4. Attacks on Ensemble of Models

使用 Inc-v3, Inc-v4, Res-101 集成替代模型。FIT 在常规模型上平均 ASR 达 88.3%（高于 DIM 18.5%），在对抗训练模型上达 94.9%（高于 SIM 15.0%），证明了其在集成设定下的优越迁移性。

4.5. Efficiency Analysis

分析了计算复杂度：FIT 的梯度计算量与现有输入变换攻击相当（取决于增广数 K），DFT/IDFT 在输入层且不含网络前后向，轻量且 GPU 优化。运行时每迭代批处理 10 张图，FIT 时间短于 ATTA、Admix、STM 等，证明其在提升迁移性时无过重计算负担。

4.6. Visualization of Attack Influence

使用 Grad-CAM 热力图可视化。干净图像的热力图集中在目标物体区域（模型正确分类），而 FIT 生成的对抗样本的热力图则偏向背景纹理或外围伪影，说明 FIT 成功误导模型关注无关区域，导致错误预测。

4.7. Evaluation in Real World Applications

攻击 Google Cloud Vision API（完全黑盒）。设置 ε=16/255，转移成功率达 19.8%。示例显示，原图“鸟”被分为“鱼”，“鹿”被分为“蝙蝠”，证实 FIT 在真实黑盒场景有效。

4.8. Ablation Study

分析了超参数：语义混合权重 β 在 0.2 时 ASR 最优，过高（如 0.5）因过扰动性能下降；混合系数 λ 从 Beta(2,2) 采样优于固定值，在 λ~Beta(2,2) 时 ASR 峰值。Inc-v3 与 ViT-B 作为替代模型时趋势一致。

5. Conclusions

作者总结了 FIT 方法的核心：在频率域统一进行风格变换（振幅调制）与语义混合（相位仅重构混合），集成到迭代梯度攻击中以生成高可迁移性对抗样本，在多样模型和防御上验证了其优越性。同时指出当前研究限于图像域，未来可扩展到音频（如声谱图振幅/相位对应音色/结构），且由于 FIT 利用了风格与语义解耦的漏洞，提示未来防御可考虑联合建模低层统计与高层结构以减少此类脆弱性。

总体而言，这项研究通过巧妙结合信号处理领域的傅里叶变换与对抗攻击领域的输入变换，精准地解耦并操纵了图像的风格与语义信息，不仅显著提升了黑盒攻击下对抗样本的可迁移性，也为深入理解 DNN 的特征敏感性提供了新视角，同时对推动更鲁棒的防御机制设计具有重要的启发意义。