《Expert Systems with Applications》：Adversarial Patch Attacks on Vision Transformers using Transferable Gray-Box with Self-Attention
编辑推荐：
视觉Transformer（ViT）及其变体在智能系统中被越来越多地采用。然而，部分暴露ViT中自注意力信息的安全含义在很大程度上仍未得到充分探索。现有的针对ViT的对抗性攻击通常依赖于具有不切实际访问权限的白盒假设或效果有限的黑盒设置，限制了它们在受限部署条
视觉Transformer（ViT）及其变体在智能系统中被越来越多地采用。然而，部分暴露ViT中自注意力信息的安全含义在很大程度上仍未得到充分探索。现有的针对ViT的对抗性攻击通常依赖于具有不切实际访问权限的白盒假设或效果有限的黑盒设置，限制了它们在受限部署条件下的相关性。在本文中，研究人员调查了一个由可解释性导向部署场景激发的合理灰盒威胁模型，其中有限的自注意力相关信息可能通过可解释性或分析接口可观测。研究人员的分析表明，这种部分注意力暴露可能在视觉Transformer中引入一种先前未被充分探索的漏洞。基于这一观察，研究人员提出了靶向补丁扰动（TPP），一种针对受限灰盒设置量身定制的注意力引导补丁扰动框架，该框架定位语义重要的补丁并将扰动限制在这些区域。所提出的方法能够在攻击执行期间无需访问目标模型的梯度即可实现有效的对抗性攻击。在CIFAR-10、CIFAR-100和ImageNet上的实验表明，在相同的扰动预算下，TPP持续优于强黑盒基线。对多个ViT架构的进一步评估揭示，注意力引导的补丁选择可以显著提高在受限信息设置下的攻击可迁移性，表明语义对齐的扰动定位可能影响跨Transformer模型的共享语义表示，并影响视觉Transformer系统的对抗鲁棒性。源代码可在以下网址获取：https://github.com/BaoChau-Ho/TGP_adv
**论文解读：基于可迁移灰盒与自注意力的视觉Transformer对抗性补丁攻击**
**研究背景与动机**
深度神经网络（DNN）在计算机视觉任务中取得了显著成功，其中视觉Transformer（ViT）及其变体凭借其通过自注意力机制捕捉长程依赖的能力，已逐渐成为卷积神经网络（CNN）的有力替代品，并广泛应用于医疗诊断、自动驾驶等安全关键系统。然而，ViT仍高度易受对抗性样本攻击，即通过精心设计的微小扰动导致模型预测错误。现有对抗性攻击研究多集中在白盒（完全访问模型参数和梯度）或黑盒（仅通过查询或可迁移性攻击）设置下，但白盒攻击假设过于理想，黑盒攻击效果有限且计算开销大。随着可解释性需求的增加，实际部署中可能通过注意力可视化接口部分暴露自注意力信息，这引入了一种新的灰盒威胁模型，即攻击者可在离线阶段获取有限注意力信息，但无法获取梯度。现有研究未充分探索这种部分注意力暴露带来的安全性影响，缺乏针对灰盒设置的定向攻击方法。因此，本研究旨在填补这一空白，提出一种利用注意力引导补丁定位的灰盒对抗攻击框架，以评估ViT系统在受限信息条件下的鲁棒性。
**研究内容与结论**
研究人员提出了靶向补丁扰动（TPP）框架，包含白盒变体TPP-W和灰盒变体TPP-G。TPP-G在离线阶段利用受害者模型的自注意力图定位语义重要补丁，在线阶段则在代理模型上优化扰动并迁移至受害者模型，全程无需受害者梯度。实验在CIFAR-10、CIFAR-100和ImageNet数据集上进行，以ViT-B/16为受害者模型，评估了多种攻击方法（PGD、C&W、FGSM）和多个代理模型（ViT-S、DeiT、Swin-B等）。结果表明，TPP-W在相同补丁预算下显著优于随机补丁基线（RPP-100%），并达到最高攻击成功率（ASR），例如在ImageNet上PGD攻击ASR达96.94%。TPP-G在灰盒设置下持续优于现有黑盒基线（如SVRE、AdaEA），展现出强可迁移性，例如ViT-S→ViT-B/16配置在ImageNet上PGD ASR为55.13%。进一步分析表明，注意力引导补丁定位可跨不同ViT架构（包括DeiT、PiT、CaiT、Visformer、Swin）有效迁移，但存在方向不对称性（如ViT-B/16→DeiT-B ASR低于反向）。该方法在保持高攻击成功率的同时，显著提升了感知质量（PSNR和SSIM远高于RPP-100%），并能在JPEG压缩和高斯平滑等防御下保持非平凡攻击效果。该研究揭示了注意力信息暴露可能引入新的安全风险，强调了针对ViT系统设计防御机制和可解释性策略的重要性。论文发表在《Expert Systems with Applications》。
**主要关键技术方法**
研究人员采用的关键技术方法包括：（1）注意力引导补丁重要性估计，通过聚合所有层和头部的注意力权重，从[CLS]令牌到每个补丁的注意力得分计算补丁语义重要性；（2）Top-k补丁选择，根据得分选取前k个最显著补丁，生成二值空间掩码限定扰动区域；（3）黑盒扰动学习，利用代理模型通过掩码投影梯度下降（masked-PGD）优化扰动，仅修改掩码覆盖的像素，并迁移至受害者模型。实验使用CIFAR-10、CIFAR-100和ImageNet标准数据集，未涉及特定样本队列。
**研究结果**
**4.3.1 随机补丁扰动基线（Random Patch Perturbation baseline）**
通过评估不同扰动比例（25%、50%、75%、100%）下的随机补丁扰动（RPP），发现ASR随补丁比例增加而提升，但感知质量下降。RPP-100%在PGD攻击下达到最高ASR（CIFAR-10: 85.85%，CIFAR-100: 89.58%，ImageNet: 91.56%），但PSNR较低，表明随机密集扰动在增强攻击效果的同时牺牲了视觉相似性。
**4.3.2 靶向补丁扰动的白盒与灰盒评估（White-box and gray-box evaluation of targeted patch perturbation）**
在白盒设置下，TPP-W在三个数据集上均超越所有基线，PGD ASR分别达88.17%、93.69%和96.94%，且仅扰动25%补丁，远优于RPP-100%的100%扰动。灰盒设置下，TPP-G（ViT-S→ViT-B/16）在CIFAR-10、CIFAR-100和ImageNet上PGD ASR分别为42.51%、68.31%和55.13%，显著高于黑盒基线SVRE（如ImageNet上ViT.*→ViT/B ASR 44.07%）和AdaEA（46.13%），证明有限注意力信息可有效指导语义补丁定位。
**4.3.3 跨视觉Transformer架构的可迁移性（Transferability across Vision Transformer architectures）**
使用ViT-S、DeiT-Tiny、DeiT-S、DeiT-B作为代理模型，在ImageNet上PGD ASR介于53.60%至55.13%之间，表明注意力引导定位在多种ViT变体间保持稳定迁移性，且生成样本的注意力图一致聚焦于语义区域。
**4.3.4 跨多样Transformer骨干的可迁移性（Transferability across diverse transformer backbones）**
采用PiT-B、CaiT-S24、Visformer-S等架构差异较大的代理模型，PGD ASR分别为47.72%、50.70%和47.66%，虽低于ViT类代理，但仍高于黑盒基线，表明注意力引导定位在异构架构间仍有效。
**4.3.5 跨层次Transformer架构的可迁移性（Transferability across hierarchical transformer architectures）**
使用Swin-B（层次化窗口注意力）作为代理，PGD ASR为46.26%，证明即使代理模型注意力机制不同，语义补丁定位仍可支持迁移。
**4.3.6 反向可迁移性分析（Reverse transferability analysis）**
以ViT-B/16为代理、DeiT-B为受害者，PGD ASR降至30.90%，显著低于反向（DeiT-B→ViT-B/16）的53.60%，揭示可迁移性存在方向不对称性。
**4.3.7 计算效率分析（Computational efficiency analysis）**
TPP-G总运行时间（222.77 ms/图像）低于TPP-W（663.40 ms）和RPP-100（725.48 ms），主要得益于在较小代理模型上优化，且注意力定位开销仅6.84 ms，表明框架高效实用。
**4.3.8 基于置信度的鲁棒性分析（Confidence-based robustness analysis）**
TPP-W和TPP-G均显著降低受害者模型对真实类别的置信度（AC），TPP-W在CIFAR-100上AC降至4.32%，置信度下降（CD）达83.69%，表明攻击不仅改变预测标签，还削弱模型决策可靠性。
**4.3.9 感知质量评估（Perceptual quality assessment）**
TPP-W和TPP-G在ImageNet上PSNR分别达34.75 dB和35.76 dB，SSIM达0.671和0.668，远高于RPP-100%的14.18 dB和0.338，表明注意力引导扰动在保持高攻击成功率的同时显著降低视觉失真。
**4.3.10 对抗防御机制的鲁棒性（Robustness against defense mechanisms）**
在JPEG压缩和高斯平滑防御下，所有攻击ASR均下降，但TPP-W仍保持最高防御ASR（CIFAR-100: 92.32%和91.03%），TPP-G在CIFAR-100上ASR为60.79%和49.68%，表明简单防御无法完全消除注意力引导攻击的影响。
**讨论与结论**
讨论部分总结：本研究揭示了ViT系统在部分暴露自注意力信息时可能引入新的安全漏洞，所提出的TPP框架通过注意力引导补丁定位实现了高效且可迁移的灰盒攻击。实验表明，语义对齐的扰动能跨不同架构迁移，但存在方向不对称性，且攻击在常见防御下仍具非平凡效果。结论部分翻译如下：本文研究了视觉Transformer在补丁约束对抗性攻击下的漏洞，并引入了靶向补丁扰动（TPP），一种利用自注意力定位语义重要补丁的注意力引导框架。通过将扰动放置与注意力主导区域显式对齐，TPP在相同补丁预算下实现了比随机补丁扰动和现有黑盒基线更强的攻击效果。在CIFAR-10、CIFAR-100和ImageNet上的全面实验表明，TPP-W和灰盒变体TPP-G在保持高感知质量的同时持续提高攻击成功率。特别是，TPP-G在多种Transformer架构间展现出强可迁移性，表明注意力相关信息的部分暴露可能影响视觉Transformer系统的对抗鲁棒性，且语义信息补丁定位可促进跨模型对抗迁移。研究人员的分析进一步强调了紧密相关Transformer模型之间灰盒可迁移性的不对称性。尽管所提出的框架并不假设所有部署环境都普遍暴露注意力图，但结果表明，在受限灰盒条件下，有限的注意力相关信息仍可能引入安全隐患。这些发现突显了进一步研究针对Transformer视觉系统的防御机制和可解释性策略的重要性。
