反向旋转：基于破坏数据的混合学习后门攻击框架

《Neural Networks》：Backspin: A Backdoor Attack Framework for Split Learning Based on Smashed Data

　　摘要
分片学习是一种专为拥有私有数据且计算能力有限的参与者设计的新型协作式机器学习范式。与联邦学习及其他协作学习方法类似，分片学习也容易受到安全威胁，包括后门攻击。尽管先前的研究认为，由于攻击者无法获取其他参与者的训练数据及模型，分片学习对后门攻击具有很强的抵抗力，但本研究通过分析多个客户端产生的破坏数据，发现了分片学习在此类攻击下的脆弱性。基于我们的分析和观察，我们提出了一种针对分片学习的新型后门攻击框架——Backspin，该框架利用不同客户端破坏数据之间的相似性，实施客户端侧和服务器侧的攻击。我们在六个广泛使用的数据集和六种模型上进行了评估，涵盖了计算机视觉和自然语言处理任务，以验证Backspin在面对常见隐私保护措施时的有效性和鲁棒性。值得注意的是，我们的方法平均攻击成功率超过90%，而相对于集中式训练，其干净数据准确率仅下降1.5%，体现了该方法在实现有效攻击的同时不会显著损害数据完整性的优势。

引言
经过十余年的发展，深度神经网络在金融、医疗和工业领域取得了显著进展（Kim等人，2020；Sarwinda等人，2021；Sezer等人，2020）。然而，训练高性能深度神经网络仍然面临挑战，尤其是在大型语言模型出现之后（Rajbhandari等人，2020；Touvron等人，2023）。在这一过程中，主要存在两个障碍：对大量计算资源的需求，以及训练时对高质量数据的迫切需要。为了解决这些问题，分片学习作为一种协作式机器学习方法被提出，它使得那些拥有敏感数据且计算资源有限的参与者能够共同训练高性能深度神经网络（Gupta和Raskar，2018；Kim等人，2021；Ryu等人，2022）。在分片学习范式中，深度神经网络被分割成资源有限的客户端和资源充足的服务器。客户端仅训练到某一特定层（Kim等人，2023），并将处理后的破坏数据发送给服务器，从而降低自身的计算成本。这种对深度神经网络的分割方式不仅实现了协作训练，还有效解决了客户端的计算限制问题。

然而，现有的分片学习训练范式可能存在安全风险，尤其是后门攻击，即恶意攻击者通过操纵训练过程，在触发特定条件时产生误导性结果。尽管分片学习被广泛应用于金融（Luo等人，2021）和医疗（Poirot等人，2019；Vepakomma等人，2018）等敏感领域，但关于分片学习中后门攻击的研究却极为有限，这引发了严重的安全担忧。客户端和服务器都可能有动机发起此类攻击。例如，在涉及评级机构和市场数据提供方的信用评级模型中，攻击者可以通过控制其中一方来植入后门。这种利用行为可能导致不良后果，比如不公正地获得较高的评分，进而破坏模型的公平性和完整性。幸运的是，向分片学习系统注入后门极其困难，因为攻击者面临两大挑战：
• 无法获取其他参与者的本地数据：在训练过程中，恶意攻击者无法接触到其他参与者的私有数据。许多现有的后门攻击方法致力于生成高效的后门注入数据（Huang等人，2020；Li等人，2024；Schwarzschild等人，2021），但由于分片学习是一种注重隐私保护的机器学习范式，每个参与者的数据都保持本地隐私，模型输入在训练期间无法被直接访问或控制。
• 无法获取完整的模型参数：与联邦学习不同（McMahan等人，2017；Zhang等人，2021），分片学习中的参与者无法看到完整的模型参数。此外，没有单一方能够同时控制样本选择、损失计算和梯度反向传播，这使得实施联邦学习中常用的针对性梯度操纵攻击变得复杂（Zhang等人，2022）。

现有研究表明，分片学习对后门攻击具有抵抗力（如表4所示）。根据攻击者的类型，这些方法可分为两类：客户端侧攻击和服务器侧攻击。对于客户端侧攻击，以往的研究（Bai等人，2023；Naseri等人，2024）主要着眼于利用垂直联邦学习环境中的特征独立性，而没有考虑后门注入对其他客户端模型的影响。至于服务器侧攻击，先前的研究（Gao和Zhang，2023；Tajalli等人，2023；Yu等人，2023；Yu等人，2024）试图通过聚合破坏数据或劫持输出向量空间来向受害客户端模型注入后门。然而，他们面临着模型前向结构差异和信息丢失等挑战。现有方法未能在分片学习中注入后门的主要原因可归纳为以下几点：
• 它们主要通过梯度反向传播来改变客户端模型参数，却忽视了前向结构的差异，这限制了它们仅选择性影响受害客户端模型某些参数的能力（Tajalli等人，2023）。
• 如第3.1节所述，由于客户端模型之间的解耦，从一个客户端模型中提取的后门特征难以转移到其他受害客户端模型中（Pal等人，2021）。
• 大多数方法忽视了破坏数据的重要性，而在分片学习训练期间，破坏数据是客户端与服务器之间唯一的通信媒介。因此，后门无法影响受害客户端。

于是，一个问题自然而然地出现了：“真的不可能在分片学习系统中注入后门吗？”为回答这个问题，我们研究了破坏数据。通过这一研究，我们发现了分片学习中的后门风险，表明分片学习训练过程可能会在模型中引入后门漏洞。先前关于黑盒水印的研究（Adi等人，2018；Zhang等人，2020）表明，如果攻击者在相同的良性输入模型数据下，缩小自身模型与带有水印的受害模型之间的距离，那么攻击者不仅能窃取原始任务的性能，还能将水印嵌入其模型中。因此，当模型对良性输入的输出较为接近时，对触发条件的输入的输出也很可能接近。通过实验和分析，我们发现分片学习训练范式本身就会减小客户端模型输出之间的距离（见第3.1节）。因此，当某个参与者通过恶意数据注入后门时，由于上述特性，该后门可能会传播到其他模型中。

基于这一见解，我们提出了一种针对分片学习的新型后门攻击框架，命名为Backspin。无论攻击者位于服务器端（见第3.3节）还是客户端（见第3.4节），我们的方法都能成功向分片学习系统注入后门。其核心思路是，在后门攻击过程中，恶意参与者不再专注于提取后门特征，而是试图在训练过程中最大化或保持破坏数据之间的相似性。随后，通过让服务器模型区分恶意和良性的破坏数据，从而注入后门。之后，这个注入的后门会在分片学习训练过程中传播到其他客户端模型中。与那些主要通过模型聚合或梯度操纵在参数空间操作的现有联邦学习后门攻击不同，Backspin利用了分片学习独有的表示空间漏洞。具体而言，分片学习优化会隐式地对各个客户端之间的破坏数据表示进行对齐，从而使后门行为通过表示相似性而非直接的参数共享来传播。

我们进行了大量实验，以验证所提出的Backspin框架的有效性。我们的评估涵盖了六个广泛使用的数据集和六种模型，以及三种典型的分片学习范式（Gupta和Raskar，2018；Jeon和Kim，2020）。值得注意的是，我们的结果显示，Backspin在六个数据集和六种模型上的平均攻击成功率均超过90%。与集中式训练模型相比，无论恶意参与者是服务器还是客户端，干净数据准确率的平均下降幅度仅为1.5%。此外，我们还评估了该方法对三种常见后门防御措施的抵御能力。结果表明，这些防御措施无法在降低攻击成功率的同时保持较高的干净数据准确率，这凸显了Backspin对现有后门防御的强大抵抗力。

总之，我们的主要贡献包括：
• 通过仔细研究和分析分片学习中不同客户端之间破坏数据的相似性，我们解释了为何以往的方法会失败，并揭示了分片学习易受后门攻击的脆弱性。
• 基于我们的观察，我们提出了一个针对分片学习的后门攻击框架Backspin，使得服务器和客户端即便在无法获取其他参与者本地数据和模型的情况下，也能发起有效的攻击。
• 我们在多种基准数据集、模型以及三种典型分片学习范式上对Backspin进行了评估，以验证其在计算机视觉和自然语言处理任务中的有效性。实验表明，Backspin能够成功向分片学习系统注入后门，同时仅导致原始任务性能的轻微下降。此外，注入的后门也对现有的防御方法具有抵抗力。

本文的其余部分安排如下：第2节讨论相关工作，并介绍分片学习和后门攻击的基本概念。第3节介绍我们提出的针对分片学习的后门攻击框架。第4节描述我们的实验设置和结果。第6节对全文进行总结。

相关工作与初步说明
为便于表述，我们首先在表1中总结了常用的符号。

洞察与方法
在本节中，我们首先基于对破坏数据的观察，阐述分片学习易受后门攻击的原因。随后，我们基于这些洞察设计了一种针对分片学习的后门攻击框架。

实验评估
为证明我们方法的有效性和实用性，我们在不同的分片学习环境中，对服务器端和客户端上的计算机视觉及自然语言处理任务开展了攻击测试。

分片学习与联邦学习中的后门攻击
我们需要指出，分片学习和联邦学习是为不同的应用场景设计的，而非一种本质上比另一种更难防御。虽然这两种范式都旨在通过分布式学习来保护原始训练数据，但它们暴露出的攻击面不同，面临的安全挑战也有差异。如表17所示，联邦学习和分片学习在模型可访问性、参数聚合以及表示共享机制方面存在差异。在联邦学习中，模型梯度的传输和聚合可能会导致……

结论
在本文中，我们研究了分片学习中不同客户端共享的破坏数据之间的相似性，发现由于数据的同质性，分片学习容易受到后门攻击的威胁。一旦某个客户端模型被攻破，破坏数据之间的相似性就会促进后门的传播。基于这些发现，我们提出了Backspin这一框架，它包含了服务器侧和客户端侧的攻击方式。我们的评估表明，Backspin能够有效地向分片学习系统注入后门……