超越单对攻击：利用双重语义频率隐蔽技术干扰视觉语言预训练模型

《IEEE Design & Test》：Beyond Single-Pair Attacks: Disrupting Vision-Language Pre-Training Models with Dual-Semantic Frequency Stealth

　　

摘要：

视觉语言预训练模型在多模态任务中表现优异，但极易受到对抗性攻击的威胁。现有的可迁移对抗样本生成方法通常通过修改孤立图像-文本对中的语义来发挥作用。这种策略往往产生的扰动泛化能力较差，无法有效破坏跨模态对齐，因此在黑箱环境中的效果有限。另一个问题是这些方法常常忽视对抗性的隐蔽性。为此，我们提出了双语义频率引导型可迁移攻击方法（DSFG-Attack），该方法通过多样化跨模态交互来破坏语义一致性，同时利用频域约束来增强扰动的隐蔽性。具体而言，我们的方法首先向图像-文本对中注入不一致的语义，以打破其固有的多模态关联；其次将扰动限制在高频域（如细微纹理）中，以提高隐蔽性。在图像-文本检索任务上的大量实验表明，DSFG-Attack显著提升了攻击的可迁移性，在黑箱环境中的攻击成功率平均提高了5.08%（源模型：TCL；目标模型：CLIP；数据集：Flickr），同时也有助于提升白箱环境下的攻击效果。此外，这类对抗性样本还能实现跨领域的对抗性迁移，包括跨任务迁移（如检索与标题生成之间的迁移）以及跨模型迁移（如视觉语言预训练模型与多模态大型语言模型之间的迁移），从而在GPT-4o和Qwen 2等先进系统中引发语义错位。多项指标的评估结果都显示出，这类对抗性样本的隐蔽性有了显著提升。