关于将“通用鲁棒特征”作为触发条件：一种针对黑盒模型的可迁移后门攻击方法

《Pattern Recognition》：Regarding general robust-feature as trigger: A transferable backdoor attack against black-box models

　　王金波 | 王瑞金 | 张凤丽
中国电子科技大学信息与软件工程学院，成都，四川，中国

**摘要**
后门攻击对深度神经网络构成了严重的安全威胁。现有的攻击通常需要强烈的假设——即能够操纵训练数据或以白盒方式访问目标模型——这从根本上削弱了它们在现实世界环境中的实用性。为了解决这一限制，我们提出了GeneralTrigger，这是一种新的后门攻击方法，它在弱假设甚至零假设的情况下仍能发挥作用，显示出与针对黑盒训练模型的传统攻击相当的高迁移能力和攻击成功率（ASR）。具体来说，我们观察到特定模型依赖于过拟合的模型特定鲁棒特征模式进行类别识别，而更通用的模型无关鲁棒特征可以跨不同模型迁移。受此启发，本研究专注于提取通用鲁棒特征模式，并将其视为针对目标模型的触发器。为此，我们开发了三个关键组件来优化GeneralTrigger中的通用鲁棒特征：锐度感知知识蒸馏（SAKD）、模型无关联合优化（MAJO）和锐度感知鲁棒特征优化（SARFO）。广泛实验表明，GeneralTrigger成功攻击了4个数据集中的71个目标模型，最高ASR达到98%–99%。此外，即使在没有任何训练数据的情况下，GeneralTrigger也能保持接近90%的ASR。

**引言**
为了提高社会生产力并便利日常生活，深度神经网络（DNN）被广泛应用于各个领域，例如多模态大型语言模型[1]。然而，最近的研究揭示了DNN对后门攻击的显著脆弱性[2]，[3]。攻击者可以通过在输入样本中注入预定义的触发器[4]来导致错误的预测。以图像分类为例，攻击者可以在训练图像中嵌入一个像素矩阵作为触发器[5]。在测试时，任何携带此触发器的图像都会被错误地分类为攻击者的目标类别。
后门攻击的成功源于模型倾向于“记住”触发器与目标类别之间的强关联。为了建立这种关联，现有的攻击通常依赖于强烈的假设，包括：（1）污染训练数据[4]——将预定义的触发器嵌入到训练样本的子集中，并将其重新标记为目标类别；（2）篡改训练代码[6]——利用训练数据中的固有自然语义作为触发器；（3）白盒访问模型——操纵特定神经元[7]使它们对触发器敏感。然而，我们认为这些强烈假设在现实世界场景中往往是不现实的。模型训练通常在安全可靠的环境中进行，防止攻击者访问训练数据或代码。此外，部署的模型通常只暴露API，使其对潜在对手完全不可见。鉴于此，我们不能不提出这样一个问题：是否可以在弱假设甚至零假设的情况下对黑盒目标模型进行后门攻击？
我们的回答是肯定的。受到语义后门[8]概念的启发，目标模型已经学习到的鲁棒特征模式可以作为触发器，诱导目标模型错误分类受污染的图像。然而，攻击者通常只能以黑盒方式访问目标模型，从而无法通过梯度计算直接优化鲁棒特征[2]，[9]。一个简单的想法是使用白盒替代模型[10]，[11]进行基于梯度的优化。尽管看似实用，但我们观察到特定替代模型的鲁棒特征是针对其自身过拟合的[12]，[13]，如图1所示。这种现象严重限制了鲁棒特征的迁移性，导致在替代模型上优化的鲁棒特征对异构目标模型的攻击无效。一些研究通过提高替代模型的泛化能力[11]，[14]和噪声鲁棒性[15]来增强迁移性。然而，由于缺乏关于目标模型类别决策边界[16]的知识，提高后门攻击的迁移性始终很困难。因此，我们认为使用单一替代模型优化鲁棒特征本质上是模型特定的。这样的特征容易过拟合替代模型，因此缺乏泛化和迁移性。再次观察图1，我们发现不同模型的模型特定鲁棒特征虽然不完全相同，但其轮廓相对相似。受此观察的启发，我们相信存在一种跨不同模型可迁移的模型无关通用鲁棒特征（GRF）。为了提取具有更好泛化和迁移性的GRF，我们开发了一个新的GRF优化框架，称为GeneralTrigger。GeneralTrigger包含三个关键组件：锐度感知知识蒸馏（SAKD）、模型无关联合优化（MAJO）和锐度感知鲁棒特征优化（SARFO）。首先，从替代模型中提取鲁棒特征需要模型首先获得全面的类别表示——这是 strong 泛化的先决条件。基于此，我们提出了SAKD，它利用锐度感知最小化（SAM）[17]和知识蒸馏（KD）[18]这两种已被证明可以增强模型泛化的方法来训练替代模型。其次，受到模型无关元学习（MAML）[19]的启发——它通过任务驱动的学习促进快速的任务适应——我们提出了MAJO。该组件将多个替代模型视为不同的任务，并采用MAML学习范式来构建联合优化目标。由此产生的GRF是模型无关的，在不同的模型架构中表现出强大的迁移性。最后，基于GRF迁移性反映了其在模型间的泛化能力的前提，我们提出了SARFO。该组件进一步通过结合SAM来联合优化GRF，最小化损失锐度，从而提高其对目标模型的迁移性。
总之，本文的主要贡献如下：
• 我们观察到不同模型具有过拟合的模型特定鲁棒特征，并且存在一种可以有效地转移到不同模型的模型无关GRF。
• 我们提出了GeneralTrigger，这是一个可以高效优化模型无关GRF的框架，包括三个关键组件：SAKD、MAJO和SARFO。SAKD使用少量目标模型的训练数据来训练具有更好泛化的替代模型，而MAJO和SARFO用于优化模型无关GRF。
• 我们进行了广泛的实验，验证了GeneralTrigger在不同黑盒模型（CNN、Transformer）之间的显著迁移性。实验结果表明，GeneralTrigger在CIFAR10、CIFAR100和SVHN上的ASR分别达到了约90%、95%和97%，在IMAGENET上的Top5 ASR达到了约90%。
• 为了方便读者重现GeneralTrigger，我们提供了代码链接：https://github.com/mylab426/GeneralTrigger。

**部分摘录**
**针对黑盒模型的后门攻击**
后门攻击[2]，[3]是对DNN的常见对抗性攻击，主要包括基于数据污染、基于代码篡改和基于模型篡改的攻击方法。其目的是操纵目标模型f(ωvtm)意外地学习预定义触发器与目标类别之间的强关联。以基于数据污染的攻击为例，在图像分类任务中，假设攻击者A可以在训练图像中嵌入一个像素矩阵作为触发器[5]。在测试时，任何携带此触发器的图像都会被错误地分类为攻击者的目标类别。
**问题定义**
首先，我们正式定义了模型训练后针对黑盒模型f(ωvtm)的对抗性后门攻击。我们的目标是找到一个后门触发器δ，它对于任何输入x满足以下公式：f(ωvtm,x)=y, f(ωvtm,φ(δ,x))=t，其中y代表x的真实标签，t代表A的目标攻击类别。假设A拥有训练数据集DA，找到δ的最有效方法是：δ?=argminδ∈DA?(f(ωvtm,φ(δ,x)),t)，s.t.‖δ‖1≤τ，其中τ表示δ的范数阈值。

**概述**
GeneralTrigger的目标是在弱假设甚至零假设的情况下对黑盒模型进行攻击，使用目标模型的鲁棒特征作为后门触发器。然而，由于无法直接访问目标模型，因此无法直接优化鲁棒特征。GeneralTrigger利用SAKD、MAJO和SARFO来解决这个问题，并成功优化了具有更强迁移性和泛化的GRF，如图2所示。关于SAKD，用于提取...

**实验设置**
我们使用了四个广泛使用的真实世界图像分类数据集，包括CIFAR10[25]，这是一个包含10个类别的普遍对象图像数据集，有50,000个训练样本和10,000个测试样本，每个样本都是32*32*3的颜色图像。CIFAR100[25]是CIFAR10的扩展版本，包含100个类别，共有50,000个训练样本和10,000个测试样本，每个样本的大小为32*32*3。SVHN[26]是一个包含10个类别的Google街景房屋编号数据集，包含73,257个...

**结论与讨论**
本文提出了GeneralTrigger，用于针对黑盒模型进行后门攻击，它利用目标类的GRF作为后门触发器来实现可迁移的后门攻击。GeneralTrigger不需要做出违反现实规则的强烈假设。它只需要少量甚至不需要目标模型的训练数据，并可以使用SAKD、MAJO和SARFO组件来协同提取GRF并实现对黑盒模型的后门攻击。

**CRediT作者贡献声明**
王金波：写作——审稿与编辑、撰写原始草稿、可视化、验证、软件、方法论、调查。
王瑞金：写作——审稿与编辑、监督、资源获取、正式分析。
张凤丽：写作——审稿与编辑、资源、项目管理、方法论、资金获取。

**利益冲突声明**
作者声明他们没有已知的可能会影响本文工作的竞争财务利益或个人关系。

**致谢**
本研究部分得到了中国国家自然科学基金（项目编号U2333207、62271128）、四川省科技计划重点研发项目（项目编号2022ZDZX0004）、四川省科技计划“揭榜挂帅”项目（项目编号2023YFG0374、2023YFG0373）以及四川省区域创新合作项目（项目编号2025YFHZ0302）的支持。