Mask2Keep：一种基于掩码引导的信息传输方法，用于实现抗压缩导向剪枝的后门防御

《Neural Networks》：Mask2Keep: Mask-Guided Information Transfer for Backdoors Resilient to Compression-Oriented Pruning

　　摘要：深度神经网络后门攻击会在模型训练过程中植入隐藏的恶意行为，使得包含触发条件的输入被错误分类为攻击者指定的目标类别。尽管已有研究探讨过通过剪枝作为防御手段，但传统以压缩为导向的剪枝方法——其主要目的是减小模型规模并提升效率——对现有通用后门攻击效果的影响尚未得到充分研究。我们发现，许多现有攻击在这种剪枝方式下会变得十分脆弱。为此，我们提出了Mask2Keep（M2K）这一攻击增强训练框架，该框架通过引导模型将任务相关信息和后门相关信息都编码到不易被删除的参数中，从而提升模型在压缩导向型剪枝下的后门抗性。M2K首先筛选出容易被剪除的参数，再将关键信息重新分配到更稳定的参数中。该框架包含三个阶段：第一阶段是训练基础后门模型，并学习一个软掩码以识别可能被剪除的参数；第二阶段是施加有针对性的正则化处理，促使关键信息转移到那些会被保留的参数中；第三阶段则是冻结可能被剪除的参数，同时通过知识蒸馏将重要信息注入剩余的稳定参数中。在多种攻击类型、数据集及剪枝策略下的实验表明，即便经过剧烈压缩，M2K仍能保持较高的攻击成功率以及出色的正常数据识别精度，充分展现了其对压缩导向型剪枝的强抗性。

引言：随着深度学习模型在各类应用中的广泛部署，训练这些模型所需的计算资源与专业技能也大幅增加（Menghani, 2023; Paleyes, Urma, Lawrence, 2022）。将模型训练任务外包给第三方服务提供商已成为日益普遍的做法。然而，这种外包模式也会带来新的安全风险，尤其是后门攻击（Peng et al., 2024）。在外包过程中，攻击者可能趁训练时机悄悄植入后门，即在模型中嵌入隐藏的触发机制。测试阶段时，模型会对带有特定触发条件的输入出现异常行为，而对正常输入则表现良好（Cheng, Liu, Ma, Zhang, 2021; Gu, Dolan-Gavitt, Garg, 2017），如图1的(A)部分所示。这类攻击具有隐蔽性且危害严重，尤其是在人脸识别（Wenger et al., 2021）、自动驾驶（Ma, Li, Gao, Zhang, Abuadbba, Fu, Al-Sarawi, Nepal, Abbott, 2023; Zhang, Zhu, Liu, Miao, Hajiaghajani, Su, Qiao, 2022）以及医疗诊断（Feng et al., 2022）等对安全性要求极高的领域，此类攻击可能会引发严重后果。此前已有大量研究致力于探索如何防范后门攻击。在现有的防御方法中，基于剪枝的技术因能够通过剔除可疑神经元或参数来削弱或消除后门功能而被广泛认为是有效的。例如，细粒度剪枝（Fine-Pruning, Liu et al., 2018）会去除在正常输入上激活度较低的神经元，后续的研究则进一步利用激活模式、敏感性分析或重要性评估来优化剪枝决策（Chen, Carvalho, Baracaldo, Ludwig, Edwards, Lee, Molloy, & Srivastava, Li, Jiang, & Yi, Wang, Yao, Shan, Li, Viswanath, Zheng, Zhao, 2019）。不过，这些方法都是专门为安全目的设计的，与用于模型压缩的传统剪枝方法有着本质区别（Liu et al., 2018）。在实际应用中，剪枝更多是为了在保持模型正常功能的前提下，减小模型规模、内存占用和计算成本（Deng, Li, Han, Shi, Xie, 2020; Han, Pool, Tran, Dally, 2015; Wen, Wu, Wang, Chen, Li, 2016）。因此，面向防御的剪枝与面向压缩的剪枝目的不同，可能会影响模型参数的不同子集。这一差异引出了一个重要问题：在部署阶段的压缩导向型剪枝环境下，现有的通用后门攻击会表现出怎样的特性？此前也有部分研究探讨过与压缩相关的对抗行为，但它们针对的是不同的问题场景。例如，Zhao和Lao（2018）研究了传统剪枝对投毒攻击的影响，发现剪枝会降低网络的自由度，进而提高投毒攻击的难度。不过他们的研究场景与训练时的后门攻击不同，因为他们的模型仅在干净数据上训练，测试时才使用恶意输入进行评估。在另一项研究中，Tian等人（2022a）将后门视为压缩产生的副产品，即后门在完整尺寸的模型中处于非激活状态，但在经过剪枝或量化处理后会变得有效。虽然这项研究证明了压缩可以被利用来诱发恶意行为，但这类行为是作为攻击设计的一部分而刻意创建的。Phan等人（2022b）则利用通用对抗扰动将后门注入压缩后的模型中。类似地，RIBAC（Phan et al., 2022a）通过联合优化触发模式、模型参数和剪枝掩码，为压缩后的模型构建后门。这些后续研究要么将压缩作为特殊恶意行为实现的必要条件，要么直接为压缩后的模型设计后门攻击。相比之下，那些并非专为压缩环境设计的现有通用后门攻击，在传统压缩导向型剪枝环境下的表现至今仍未得到充分研究。为解决这一问题，我们首先分析了传统压缩导向型剪枝对现有通用后门攻击效果的影响。如图2所示，即便剪枝并非出于防御目的，但随着被剪除的参数数量增加，典型后门攻击的攻击成功率也会急剧下降。这一现象表明，压缩导向型剪枝在追求部署效率的同时，可能会无意中抑制后门行为。此外，我们还进行了参数级的敏感性分析（详见4.2节），分析结果表明，后门效果的下降可能与那些对后门敏感的参数容易位于易被剪除的区域有关。基于这一观察，我们提出了Mask2Keep（M2K）这一攻击增强训练框架，旨在提升现有后门攻击在部署阶段压缩导向型剪枝环境下的存活能力。该框架并不重新设计原有的触发模式，也不改变特定攻击的基本注入流程，而是一个通用的增强框架，可以与多种现有后门攻击结合使用，促使任务相关信息和后门相关信息都被编码到在后续剪枝中不太可能被删除的参数中。具体而言，M2K分为三个阶段运作。首先，它训练一个基础后门模型，然后在该模型的冻结参数上学习一个软掩码，以此判断哪些参数在后续压缩过程中更有可能被删除。其次，根据学到的掩码，确定候选的剪除参数集，再施加有针对性的正则化处理，逐步将重要的任务相关信息和后门相关信息转移到更稳定的参数中。最后，为了在调整信息分布后恢复模型性能，M2K会冻结那些被认为可能被剪除的参数，同时通过知识蒸馏对剩余的稳定参数进行微调，从而防止重要的恶意行为被重新编码到易被剪除的区域。通过这种方式，M2K引导模型形成一种未压缩的后门模型，其关键的恶意行为被嵌入到具有抗剪除能力的参数中，从而使攻击在经过部署阶段的压缩后仍有可能保持有效性。我们就剪枝程度考虑了两种实际的对抗性知识场景：第一种是攻击者知道确切的剪枝率，也就是预期的稀疏度或压缩水平；第二种是攻击者不知道确切的剪枝率，但能够预估出一个合理的范围。在第一种场景下，如果模型被部署到具有固定物理内存的可信执行环境（TEE）中，往往可以根据内存容量推断出剪枝率。此外，我们主要关注的是以压缩为导向的剪枝，且不进行剪枝后的微调，这也是我们评估时采用的主要设置。这种设置具有实际意义，因为模型部署方可能无法获得重新训练所需的全部私有训练数据，而且不带微调的剪枝方式也被广泛认为是高效的压缩流程（Tian et al., 2022a）。为评估M2K的效果，我们选择了七种典型的后门攻击、五种模型架构以及多种剪枝策略进行实验。实验结果表明，在这两种知识场景下，M2K在剪枝前后都能保持较高的攻击成功率，同时还能维持出色的正常数据识别精度。本文的主要贡献如下：首先，我们通过实验证明，压缩导向型剪枝会显著降低甚至完全破坏现有的通用后门攻击效果。为应对这一问题，我们提出了Mask2Keep（M2K）这一基于掩码的信息重定位训练框架，该框架能够识别易被剪除的区域，将后门相关信息转移到具有抗剪除能力的参数中，从而提升后门在后续剪枝过程中的存活率。其次，我们分析了两种对抗性知识场景：一种是已知剪枝率，另一种是只能预估出合理的剪枝率范围，并分别为这两种场景设计了相应的M2K策略，且无需重新设计原有的触发机制和后门注入机制。最后，我们在七种典型的后门攻击、五种模型架构以及多种剪枝策略上进行了大量实验。实验结果显示，M2K在剧烈剪枝的情况下仍能始终保持较高的攻击成功率，同时还能维持出色的正常数据识别精度，充分证明了它的有效性和实用性。

章节片段：

后门攻击与防御：后门攻击已成为威胁深度学习系统完整性的重大风险（Papernot, McDaniel, Sinha, Wellman, 2018; Tian, Cui, Liang, Yu, 2022b）。在这类攻击中，攻击者会在训练阶段向模型中植入后门，使得模型在处理正常输入时表现正常，但一旦遇到包含特定触发条件的输入就会出现错误分类。根据触发条件引入的时间不同，现有的后门攻击大致可分为两类。

初步部分：在本节中，我们将明确与本研究相关的关键技术，包括后门模型训练、模型剪枝以及知识蒸馏。这些基础内容为后续提出的M2K训练框架奠定了基础。

威胁模型与设计动机：本节将介绍威胁模型，并阐述设计M2K框架的动机。我们首先描述假设的攻击场景、攻击者的知识与能力，以及其攻击目标。随后，我们会分析推动M2K设计的各种因素，重点说明压缩导向型剪枝对后门攻击持久性的影响。

Mask2Keep框架的设计：本节将介绍所提出的Mask2Keep（M2K）框架的设计思路，该框架旨在通过基于掩码的信息传输实现具有抗剪除能力的后门嵌入。我们首先概述整个框架的结构，然后详细说明各个阶段的内容，包括软掩码学习、正则化的信息传输以及基于蒸馏的微调技术。

评估：本节首先介绍实验设置，接着展示基于卷积神经网络架构的实验结果，以及视觉Transformer架构上的额外实验结果。随后，我们会对所提出的方法进行消融实验，评估M2K在不同剪枝策略下的稳定性。最后，还会汇报M2K训练框架的计算开销。

讨论：本节将探讨所提出的M2K框架的多个方面，包括在不确定剪枝比例时使用多种剪枝率采样的方法、M2K在面对基于剪枝的防御措施时的表现、剪枝后微调的影响、M2K在其他剪枝标准下的有效性、某些后门攻击本身的自然压缩抗性，以及M2K存在的局限性。

结论：本文提出了Mask2Keep（M2K）这一攻击增强训练框架，该框架通过基于掩码的信息传输来实现具有抗压缩能力的后门嵌入。与那些在压缩导向型剪枝环境下攻击成功率会大幅下降的现有通用后门攻击不同，M2K能够促使关键的后门信息被编码到不易被删除的参数中，从而确保后门在剪枝后依然有效。该框架共分为三个阶段运行。

CRediT作者贡献说明：Jing Shang：写作——审稿与编辑、写作——初稿撰写、验证、方法论、研究工作。Jian Wang：写作——审稿与编辑、监督、方法论。Kailun Wang：验证、方法论、研究工作。Xu Liu：验证、方法论、研究工作。Nan Jiang：写作——审稿与编辑、监督、方法论。Jiqiang Liu：写作——审稿与编辑、监督。

利益冲突声明：作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢：本研究得到了中央高校基本科研业务费（2025JBZY025）以及中国国家重点研发计划项目（编号2023YFB2703702）的支持。

Jing Shang|Jian Wang|Kailun Wang|Xu Liu|Nan Jiang|Jiqiang Liu