三方博弈：通过对抗性博弈实现一种实用的、具有隐蔽性的后门攻击方法，用于图像分类场景

《Neurocomputing》：3-party game: A practical clean-label backdoor attack via adversarial game for image classification

　　摘要
后门攻击通过操控一部分训练数据和标签，在模型中嵌入后门，使得模型在测试输入包含预定义触发模式时表现异常。为了提高隐蔽性，攻击者会保留被污染数据的正确标签（称为干净标签攻击），并使用来自目标标签的大量被污染样本注入后门。然而，在实践中，训练数据通常来自多个第三方来源，这使得单个恶意数据持有者难以实施有效的干净标签攻击。在本文中，我们认识到自适应触发器的重要性，并提出了三方游戏（3-Party Game）机制。通过修补少量目标标签数据（占总数据的0.05%），模型能够深入“记住”触发器与目标标签之间的映射关系。具体来说，三方游戏包括一个触发器生成器、一个鉴别器和一个替代模型。这三个组件交替使用本地目标标签数据和从互联网收集的替代数据集进行训练，使触发器生成器能够通过对抗性游戏训练产生高度激进的自适应触发器。在五个数据集上的广泛实验表明，三方游戏实现了最先进的攻击性能（SOTA），并且比其他竞争性攻击具有更强的鲁棒性。

引言
由于人工智能（AI）模型的智能性和便捷性，它们被广泛应用于现实世界中的各种应用，例如面部识别[1]、自动驾驶[2]和对话系统[3]。高性能的AI模型依赖于大量真实数据，这些数据通常来自广泛分布的网络用户。数据中心必须从多个第三方来源收集这些数据，以训练适用于实际应用的模型[4]。然而，这种第三方数据收集为恶意活动打开了大门。攻击者可以简单地上载噪声数据[5]或对抗性数据[6]来干扰模型训练，从而导致财产损失甚至人身安全事件。基于数据投毒[7],[8]的后门攻击代表了更具侵略性和隐蔽性的安全威胁。攻击者通过污染训练数据来注入后门，使得模型将包含预定义触发模式的测试输入错误地分类为目标标签。具体来说，攻击者在一部分数据上修补一个预定义的触发器（例如像素模式[7]、语义触发器[9]），并将其标签改为目标标签，从而使模型在训练过程中“记住”触发器与目标标签之间的映射关系。这些被称为脏标签攻击，因为攻击者将被污染的数据重新标记为目标标签。尽管脏标签攻击可以实现高攻击成功率，但由于被污染数据与其标签之间的不匹配，它们很容易被人类检测出来。

最近，研究重点转向了干净标签攻击，这种攻击保留了被污染数据的正确标签，从而提高了攻击的隐蔽性。然而，直接挑战在于数据内容与标签之间的一致性使得模型难以学习触发器-标签映射关系。标签一致（LC）攻击[10]通过向被污染数据中注入噪声来削弱内容-标签映射关系，从而加强触发器-标签关联。考虑到LC中使用的小的像素矩阵触发器难以被模型感知，HTBA[11]将触发器放大到完整的输入尺寸，同时限制其像素值以保持隐蔽性。HTBA通过特征图对齐优化了隐藏触发器，使得模型在测试时将来自单一来源标签的被污染数据错误分类为目标标签。同样，SAA[12]通过梯度对齐优化了隐藏触发器。尽管这些干净标签攻击很有效，但它们都依赖于大量的目标标签数据。例如，LC需要大量的目标标签数据来优化噪声，而HTBA和SAA也需要同样的目标标签数据来优化隐藏触发器。

实际上，用于训练AI模型的大规模数据通常来自多个第三方来源[4],[13],[14]，这使得单个恶意数据持有者即使拥有极其有限的数据也难以实施干净标签攻击。为了解决这一瓶颈，Narcissus[13]提出优化针对不同任务的动态触发器，而不是依赖固定的、任意的触发器。动态触发器使Narcissus即使在目标标签数据有限的情况下也能实现更高的攻击成功率。然而，Narcissus仅使用目标标签数据来优化触发器，并没有考虑其他标签数据的影响。在这方面，我们继承了Narcissus的动态触发器思想，并进一步提出了三方游戏。具体来说，攻击者独立模拟了三个组件：一个触发器生成器、一个鉴别器和一个替代模型。触发器生成器的输入是待污染的数据，输出是适应不同输入数据的自适应触发器。鉴别器确定数据是否被污染，从而使触发器生成器能够生成更隐蔽的触发器。替代模型在数据中心模拟受害者模型，帮助触发器生成器生成更容易学习的触发器。攻击者通过对抗性游戏交替训练这三个组件，使用少量的本地目标标签数据和从互联网收集的替代数据集。最终，这三个组件会达到一个平衡状态。

主要贡献总结如下：
• 我们提出了三方游戏（3-Party Game）来生成针对不同数据的自适应触发器。当被污染的数据仅占总数据的0.05%时，三方游戏也能实现SOTA攻击成功率。
• 我们遵循现实世界的设置，其中攻击者对真实的训练过程一无所知。攻击者独立构建触发器生成器、鉴别器和替代模型，并从互联网收集替代数据集来进行对抗性训练。
• 我们将三方游戏与其他干净标签攻击进行了比较。结果表明，我们的攻击比其他方法更有效，并且在五个不同的数据集上都能实现SOTA攻击成功率。
• 我们实现了SOTA级后门防御措施。结果表明，这些防御措施无法抵御三方游戏。

部分内容
后门攻击
后门攻击是一种新颖且危害极大的威胁：攻击者恶意操控一部分训练数据和标签，使得模型无意中“记住”触发器与目标标签之间的映射关系。结果，在测试时模型会将带有触发器的输入错误地分类为目标标签。最早的后门攻击BadNets[7]通过在训练数据上修补小的像素矩阵触发器来注入后门。Blend[8]使用特定图像作为触发器。

问题定义
尽管后门攻击已经渗透到AI的各个领域，但本文重点讨论图像分类任务中的后门攻击。简单来说，图像分类的目的是通过监督学习训练神经网络，以便在测试时能够准确分类图像。设输入空间为X，标签空间为Y，则分类网络可以定义为f:X → Y。在现实世界中，数据中心从多个第三方来源收集训练数据[4]。然而，这种第三方数据收集为恶意活动提供了机会。攻击者只需上传噪声数据[5]或对抗性数据[6]就可以干扰模型训练，从而在AI模型实际应用时导致财产损失甚至人身安全事件。

基于数据投毒[7],[8]的后门攻击代表了更具侵略性和隐蔽性的安全威胁。攻击者通过污染训练数据来注入后门，使得模型将包含预定义触发模式的测试输入错误地分类为目标标签。具体来说，攻击者在一部分数据上修补一个预定义的触发器（例如像素模式[7]、语义触发器[9]），并将其标签改为目标标签，从而在训练过程中使模型“记住”触发器与目标标签之间的映射关系。这些被称为脏标签攻击，因为攻击者将被污染的数据重新标记为目标标签。尽管脏标签攻击可以实现高攻击成功率，但由于被污染数据与其标签之间的不匹配，它们很容易被人类检测出来。

最近，研究重点转向了干净标签攻击，这种攻击保留了被污染数据的正确标签，从而提高了攻击的隐蔽性。然而，直接挑战在于数据内容与标签之间的一致性使得模型难以学习触发器-标签映射关系。标签一致（LC）攻击[10]通过向被污染数据中注入噪声来削弱内容-标签映射关系，从而加强触发器-标签关联。由于LC中使用的小的像素矩阵触发器难以被模型感知，HTBA[11]将触发器放大到完整的输入尺寸，同时限制其像素值以保持隐蔽性。HTBA通过特征图对齐优化了隐藏触发器，使得模型在测试时将来自单一来源标签的被污染数据错误分类为目标标签。同样，SAA[12]通过梯度对齐优化了隐藏触发器。尽管这些干净标签攻击很有效，但它们都依赖于大量的目标标签数据。例如，LC需要大量的目标标签数据来优化噪声，而HTBA和SAA也需要同样的目标标签数据来优化隐藏触发器。

在实践中，用于训练AI模型的大规模数据通常来自多个第三方来源[4],[13],[14]，这使得单个恶意数据持有者即使拥有极其有限的数据也难以实施干净标签攻击。为了解决这个问题，Narcissus[13]提出优化针对不同任务的动态触发器，而不是依赖固定的、任意的触发器。动态触发器使Narcissus即使在目标标签数据有限的情况下也能实现更高的攻击成功率。然而，Narcissus仅使用目标标签数据来优化触发器，并没有考虑其他标签数据的影响。在这方面，我们继承了Narcissus的动态触发器思想，并进一步提出了三方游戏。具体来说，攻击者独立模拟了三个组件：一个触发器生成器、一个鉴别器和一个替代模型。触发器生成器的输入是待污染的数据，输出是适应不同输入数据的自适应触发器。鉴别器确定数据是否被污染，从而使触发器生成器能够生成更隐蔽的触发器。替代模型在数据中心模拟受害者模型，帮助触发器生成器生成更容易学习的触发器。攻击者通过对抗性游戏交替训练这三个组件，使用少量的本地目标标签数据和从互联网收集的替代数据集。最终，三个组件会达到一个平衡状态。

主要贡献总结如下：
• 我们提出了三方游戏（3-Party Game）来生成针对不同数据的自适应触发器。当被污染的数据仅占总数据的0.05%时，三方游戏也能实现SOTA攻击成功率。
• 我们遵循现实世界的设置，其中攻击者对真实的训练过程一无所知。攻击者独立构建触发器生成器、鉴别器和替代模型，并从互联网收集替代数据集来进行对抗性训练。
• 我们将三方游戏与其他干净标签攻击进行了比较。结果表明，我们的攻击比其他方法更有效，并且在五个不同的数据集上都能实现SOTA攻击成功率。
• 我们实现了SOTA级后门防御措施。结果表明，这些防御措施无法抵御三方游戏。

结论与未来工作
干净标签攻击保留了数据内容与标签之间的一致性，从而提高了攻击的隐蔽性。然而，这种一致性使得AI模型难以学习预定义触发器与目标标签之间的映射关系。此外，在实践中，数据中心通常从多个第三方来源收集训练数据，这对单个恶意数据持有者来说实施有效的干净标签攻击构成了重大挑战。为了解决这些问题，我们提出了三方游戏（3-Party Game）。