AdvCritic：让大语言模型像人类一样感知对抗性扰动

《Neurocomputing》：AdvCritic: Making LMMs perceive adversarial perturbations like humans

　　摘要：深度神经网络仍然极易受到对抗性样本的攻击，这使得已部署的系统面临严重的安全风险。现有的检测防御方法存在根本性缺陷：它们会记住针对特定攻击的统计模式，一旦遇到未见过的威胁就会失效；而最先进的大型多模态模型由于对难以察觉的对抗性扰动缺乏敏感性，其性能仅接近随机水平（AUROC≤0.61）。我们提出了AdvCritic，这是首个多模态视觉语言框架，它通过比较感知判断来学习与攻击无关的视觉自然性概念，从而实现不受攻击机制影响的强大检测能力。我们的三阶段渐进式训练方案将这一理念付诸实践：第一阶段通过成对自然性比较建立与攻击无关的感知基础；第二阶段借助链式思维的多任务监督微调，将这一基础提升为专业的取证能力；第三阶段通过指令微调，将所有任务整合到一个可解释的接口之下。在ImageNet数据集上，AdvCritic在七种机制各异的测试攻击下平均AUROC达到99.63%，远远优于所有基准模型。值得注意的是，在亚感知阈值下（?=4/255），AdvCritic的检测准确率仍可达91.5%，比人类评估者的76.8%高出14.7个百分点，这表明专业的取证系统能够超越人类的视觉感知极限。这项工作为可解释的对抗性防御开辟了新范式，突破了传统的被动模式匹配，转向基于原理的感知推理，进而可应对开放世界中的威胁。

引言：深度神经网络在众多关键安全系统中得到广泛应用，涵盖自主感知、临床诊断以及网络入侵检测等领域，但其运作依赖于一个越来越不可靠的假设——即模型行为对输入中难以察觉的变化具有鲁棒性。对抗性样本[20]、[44]、[56]是通过在良性样本上叠加小型、有界扰动而刻意制造出来的，它们能够可靠地在最先进的模型中引发任意的错误分类，从而打破了这一假设。其在现实世界中的后果极为严重：对抗性扰动能够绕过恶意软件分类器[21]，欺骗自动驾驶系统[16]，还会破坏放射学诊断结果[18]——在这些场景中，一次错误的分类都可能带来改变人生的后果。至关重要的是，这种脆弱性并不会随着模型规模的扩大或精度的提升而减弱；它似乎是高维、依赖梯度结构的架构所固有的特征[20]，因此提升对抗性鲁棒性已成为人工智能安全领域中最重要的未解问题之一。

为应对这一问题，人们开发出了大量基于检测的防御方法。除了从源头强化模型抗性的对抗性训练方法[32]之外，检测方法则是在推理之前拦截对抗性输入——这是一种实用且具有吸引力的方案，无需对现有模型进行任何修改即可应用于已有系统。这类研究从早期基于局部内在维度[31]和特征压缩[53]的统计启发式方法，发展到利用中间层表示的专用二元分类器[27]，再到近期的基于概率原理和能量评分的框架[9]、[58]。然而，每一代方法都存在两个根本性的局限。首先，现有的检测器在不同类型的攻击之间泛化能力较差：在投影梯度下降法[32]上训练出的检测器，在面对诸如平方攻击[1]或稀疏L0方法等机制不同的攻击时，性能会大幅下降，这就导致了需要不断收集数据并重新训练的循环，而这种方式与开放世界环境下的应用需求并不契合。其次，也是更根本的问题在于，这些检测器实际上是在编码与特定攻击相关的统计特征——如分布异常、能量特征或与已知攻击类型扰动特征相匹配的潜在空间相关性——而非任何普遍的视觉自然性原则。而熟练的人类取证分析师即便不了解背后的攻击算法，也能识别出对抗性图像中的不自然纹理或局部感知矛盾，现有的检测器却无法做到这一点。这种感知推理上的差距——即未能将检测基于与攻击无关的视觉自然性——至今仍未得到解决。

大型多模态模型[19]、[37]的出现似乎为这一问题提供了有效的解决方案。这类模型具备复杂的视觉问答、场景理解以及开放式指令执行能力，其通用的视觉智能使其看似有望成为能够超越传统专用检测器那种脆弱且依赖特定分布的启发式方法的优秀取证工具。然而如图1所示，实际测试结果却并非如此。当被要求评估对抗性样本时，包括GPT-4o、Claude-3.5-Sonnet和Qwen2-VL-72B在内的前沿多模态模型会给出反复无常、不一致的判断结果，其性能甚至接近随机水平，在某些情况下还逊于轻量级的传统检测器。这种失败并非偶然，而是由模型架构决定的。多模态模型旨在实现语义连贯性和对自然图像分布的强有力高层理解，而这恰恰会导致其对高频、非语义层面的细微变化缺乏敏感性——而对抗性扰动恰恰属于这类变化。对抗性噪声并不会干扰场景的语义内容，而是会破坏细微的视觉自然性。这是两种性质截然不同的信号，无论如何进行提示工程，都无法让那些训练目标本身就忽视了此类细微感知信息的模型恢复相应的敏感度。

我们摒弃了上述两种传统思路，将对抗性检测重新定义为一种基于感知的取证任务，这一思路建立在两个相互关联的见解之上。首先，要实现可泛化的检测，就需要一种与攻击无关的视觉自然性概念——就像熟练的分析师能够不管视觉异常的来源如何就能识别出来一样——而非记忆特定攻击的统计特征。其次，相对质量判断要比绝对质量判断可靠得多[49]、[57]：正如文件鉴定专家通过对比两份文件能更准确地识别伪造品，而非单独检查其中任意一份一样，那些无法单独察觉微妙扰动的人类观察者，在看到成对的图像时也能准确识别出受扰动更严重的那幅。这不仅仅是一种认知现象，更是一种强大的训练信号：在引入任何绝对监督机制之前，先根据扰动程度对对抗性图像对进行排序，就能自然而然地形成一种与攻击机制无关的、连续的、关于视觉不自然性的潜在结构。我们将这种方法称为“相对性学习”，并首次将其应用于对抗性检测领域。

基于这一见解，我们提出了AdvCritic，这是首个专为可解释的对抗性取证而设计的多模态视觉语言框架。该框架通过三阶段的渐进式训练流程进行优化，依次建立起与攻击无关的感知基础、专业的多任务取证能力，以及具有清晰决策边界的统一推理接口——最终形成的模型真正理解了什么是视觉不自然性，而非某种特定攻击的统计特征表现形式。

本文的主要贡献如下：
• 提出了AdvCritic，这是一种统一的、可解释的取证框架。我们设计了首个专为对抗性取证而打造的多模态视觉语言框架，它在单一架构中整合了四项功能：二元对抗性检测、定量自然性评分、定性扰动特征描述以及成对自然性比较。通过生成人类可理解的取证依据，AdvCritic将原本不透明的对抗性分析转变为透明且可被人审查的过程。
• 确立了“相对性学习”作为实现跨攻击泛化的核心原理。我们首次将比较感知监督方法应用于对抗性检测领域。控制实验表明，这一阶段是推动模型泛化的关键因素：若去除这一环节，模型的平均AUROC值会下降25.66个百分点，这充分证明了成对自然性对齐对于构建与攻击无关的感知表征而言至关重要。
• 实现了针对未知攻击的顶尖级零样本泛化能力。AdvCritic仅通过基于梯度的攻击数据进行训练，却在七种机制各异、未被用于训练的威胁类型上实现了99.63%的平均AUROC值，远超所有传统的专用基准模型，为与攻击无关的检测确立了新的标杆。
• 明确了零样本多模态模型在对抗性取证领域的能力边界。通过与六种最先进的多模态模型（包括GPT-4o和Claude 3.5 Sonnet）进行对照实验，我们发现模型规模和通用型指令微调并不能替代专门的取证优化：所有经过测试的通用模型其性能都仅能达到≤0.61的AUROC值，这从实证层面证明了低级别的安全感知能力需要专门的领域适配。
• 展示了AdvCritic在亚感知阈值下超越人类感知能力的优势。在?=4/255的亚感知阈值条件下，AdvCritic的检测准确率为91.5%，而人类评估者的准确率为76.8%（共10名独立评估者，1200次标注），两者相差14.7个百分点。随着扰动程度增大，这一优势会逐渐缩小（当?=16/255时，AdvCritic的准确率为99.0%，而人类评估者为95.6%），这进一步证实了AdvCritic的敏感度是基于细微的视觉自然性偏差，而非依靠肉眼可直接察觉的粗糙语义特征。

本文的其余部分结构如下：第2节回顾相关研究工作；第3节详细介绍AdvCritic框架及训练流程；第4节阐述实验评估结果，包括跨攻击泛化能力、与人类感知的一致性、适应性鲁棒性、与前沿多模态模型的对比以及各种消融实验；第5节总结本文的局限性及未来研究方向。