一种恶意的3PC安全神经网络推理系统，通过动态环形结构和比特注入技术实现了高效的通信和低轮复杂度

《Neurocomputing》：Malicious 3PC secure neural network inference system with efficient communication and low round complexity via dynamic ring and bit-injection

　　摘要

在已知受损和完全恶意的对抗模型下，通过带有辅助方的恶意安全三方计算（3PC）实现安全的机器学习推断，是保护隐私的神经计算和机器学习推断的基础构建模块。然而，安全评估非线性函数（如激活函数）通常会带来高昂的通信成本和回合复杂性，而这些函数是神经网络的重要组成部分。在这项工作中，我们提出了两个核心贡献：一种高效的动态环技术，用于减少神经网络中安全推断的环大小；以及一种高效的Bit-Injection（BitInj）协议，它将位到算术（B2A）转换和乘法操作合并为安全ReLU协议框架内的单一统一原语。这两种构建方法都比以前的方法实现了更低的通信成本和回合复杂性。现有的动态环协议需要在离线阶段生成某些参数，而简单地将B2A与乘法结合会增加乘法深度；这两个问题都会引入大量的离线通信和回合开销。为了减轻这些过高的离线成本，我们在离线阶段采用了-共享而不是-共享。尽管-共享在某些情况下可能会略微增加在线通信量，但它允许在单个回合内生成所需参数，并支持任意深度的乘法。这保证了我们的动态环和BitInj协议在通信和回合复杂性方面在离线和在线阶段都能实现高效率。为了适应-共享并进一步降低通信开销，我们引入了一种轻量级原语，用于高效验证单个方提供的二次关系。通过在离线阶段预先生成必要的随机性，我们将所有计算移到离线阶段，从而实现高效的在线执行。我们的动态环和BitInj协议在通信成本和回合复杂性方面都优于现有的最先进方案，包括Mosformer和Swift。

引言

机器学习（ML），特别是通过神经网络，已成为神经计算中强大且变革性的技术，在图像和语音识别[1]、自然语言处理[2]、金融预测[3]、链接预测[4]和模式识别[5]等领域发挥着关键作用。这一成功在很大程度上得益于大规模数据的可用性，这是训练高性能神经模型所必需的。然而，ML的这种数据驱动性质也引发了严重的隐私问题，因为训练通常依赖于敏感的个人信息。数据被误用或未经授权访问的风险在第三方神经计算服务中尤为突出，其中模型提供商保护专有的神经架构，而客户则保护私密输入。这在实用性和隐私之间创造了根本的矛盾。为了解决这个问题，保护隐私的机器学习（PPML）引起了关注，安全多方计算（MPC）成为一种关键的加密技术，可以在不泄露数据机密性的情况下实现协作式神经计算。MPC起源于Yao的百万富翁问题[6]，它使各方能够共同计算私有输入的函数，同时不暴露任何超出输出的信息。MPC协议通常被分为被动安全或主动安全，后者更为实用，因为它能够容忍任意的对抗行为。在主动安全下，安全性范围从带有中止的安全性到公平性和保证输出交付（GOD），其中带有中止的安全性通常提供了最佳的效率-安全性权衡。MPC还可以根据参与方数量和损坏阈值进行分类。在PPML中，具有诚实多数的三方计算[7]特别高效。在这种情况下，数据和模型在服务器之间秘密共享以进行安全推断，或者借助第三方进行评估。例如ABY3[8]和Swift[9]等系统就体现了这一范式，Swift通过辅助辅助的预处理和分布式零知识进一步提高效率。

在某些实际场景中，例如在模型提供商和客户之间借助辅助方的安全三方计算（3PC）推断中，辅助方仅参与离线阶段和最终批量验证阶段，因为辅助方是一个轻量级节点。一个具体的例子是保护隐私的医学图像诊断：一家声誉良好的医院（模型提供商）部署了一个深度模型，患者（客户）持有敏感的扫描数据，而辅助方仅偶尔提供帮助。三方之间的信任程度各不相同，这激发了三种不同的对抗设置。完全恶意设置是普遍的基线情况，其中不假设任何信任。已知受损的辅助方设置反映了模型提供商是可审计的机构（例如医院或大型科技公司）的情况，而辅助方是无法追究责任的临时云函数。已知受损的服务器设置适用于模型提供商仍然是可信实体但客户可能是恶意行为者的情况。这些不对称模型遵循Brüggemann等人[10]指定的作弊者框架，他们表明这种设置比完全恶意的安全性允许更高效的协议。Brüggemann等人[10]还提出了针对整数环的三重牺牲恶意验证方法。三重牺牲比DZKP有更高的通信开销，但本地计算极为轻量，使得推断受通信限制。因此，三重牺牲适用于低功耗的边缘推断，而DZKP更适合通信瓶颈高的高吞吐量云推断。因此，Brüggemann等人[10]主要从通信角度评估了DZKP，而我们从通信和运行时间两个方面评估了三重牺牲。我们采用了相同的方法论。

神经网络推断的安全协议通常可以分为线性操作（如矩阵乘法）和非线性操作（如截断和激活函数）。在这些非线性操作中，尤其是激活函数，构成了主要的瓶颈，导致显著的通信成本和回合复杂性，严重影响了延迟。现有的激活函数安全协议通常依赖于分段评估（例如分段多项式）。这些方法通常包括三个步骤：（i）通过位提取协议提取符号位以确定区间，（ii）使用B2A协议将提取的位从转换为所需格式，（iii）执行所需的计算（例如多项式评估）。在这项工作中，我们以ReLU函数为例进行了研究。值得注意的是，B2A和乘法步骤都需要额外的交互回合；通过BitInj协议将它们合并为一个回合可以进一步降低回合复杂性。然而，直接融合需要额外的掩码预处理，这会增加离线通信和回合数，可能抵消总体收益。此外，初始的位提取协议通常需要多个回合。如果可以减少环的位长度，那么回合数和通信开销可以显著减少，从而提高总体效率。一些工作[11]、[12]提出了忠实的截断方法，以避免大的截断误差，从而允许在较小的环上进行计算。然而，在线阶段中的每次忠实截断操作都需要对数级的通信回合。同样[13]引入了一种动态环技术，用于三方半诚实设置，允许在线环上评估线性层以提高准确性，而在较小的环上执行非线性层以提高效率。Mosformer[14]进一步将动态环技术扩展到恶意三方设置。然而，Mosformer[14]主要关注在线阶段减少回合数和通信成本。虽然它确实实现了在线阶段的优异效率，但它没有考虑到其动态环协议在离线阶段相对较高的回合开销。离线阶段同样重要，因为离线阶段通常涉及大量的预处理。我们的目标是在保持离线效率的同时实现动态环和位注入优化。我们希望离线阶段的通信回合数和通信量与之前的工作（如Swift[9]）相当，甚至更优。Swift的安全多方计算协议在离线阶段仅需要两个回合。

总之，由于ReLU等激活函数的存在，安全的神经网络推断面临高昂的通信成本和许多在线回合。动态环技术可以减少通信量和在线回合数。然而，现有的恶意安全动态环协议仍然需要许多离线回合和高离线通信。这一限制阻碍了它们在资源受限的安全神经计算环境中的使用。同样，将B2A转换与随后的乘法合并为一个回合也可以减少在线回合数。然而，这种方法引入了额外的预处理步骤。这些步骤增加了离线回合和离线通信。因此，在对延迟敏感的安全神经应用中部署变得更加困难。这些权衡为实际的安全神经计算提出了一个关键问题：是否可以设计一种动态环协议和位注入（BitInj）协议，使得这两种协议都只需要两个离线回合和一个在线回合，同时实现更低的通信量来满足实际安全神经网络推断的需求？在这项工作中，我们解决了上述挑战，并做出了以下贡献：

1. 我们引入了一种轻量级的理想功能，用于高效验证单个发送方的二次关系，特别适用于DZKP。此外，我们基于三重牺牲提供了高效的实现，使用小环采样和单向重构。作为的直接应用，我们构建了一种更高效的协议，用于在已知作弊者设置下的安全卷积和乘法推断。与Auxiliator和Socium[10]相比，我们的协议明显降低了通信成本，如表1所示。
2. 我们设计了一种高效的动态环协议，特别是UpCast协议。它能够在合适的数值环上实现安全的神经网络推断，并针对完全恶意的3PC设置和已知受损的服务器设置进行了优化。与直接应用Mosformer的动态环技术[14]相比，我们的方法在通信量和回合复杂性方面都取得了显著改进，如表2所示。
3. 我们进一步改进了ABY3[8]的三方OT协议，以在已知作弊者设置下实现恶意安全性，并将其应用于构建在已知受损辅助方设置下的高效动态环协议。一个关键贡献是将验证的内积大小从减少到，从而实现单轮在线执行。具体性能如下表2所示。
4. 我们设计了一种高效的BitInj协议，用于安全的ReLU协议，其在通信和回合复杂性方面均优于之前的工作[9]、[10]，如表3所示。
5. 我们实施了所有提出的协议，并在不同神经网络和数据集上进行了安全推断的评估。实验结果表明，使用三重牺牲时，我们的方案相比Auxiliator、Socium和Swift，通信量分别减少了45.10%~58.06%、56.79%~71.21%和87.82%~92.36%，运行时间分别加速了1.22~1.38倍、1.18~1.51倍和2.27~5.31倍。

作为开创性的MPC支持的安全神经网络推断框架，SafeML[15]为后续研究奠定了关键基础。大多数两方半诚实推断系统[16]、[17]结合了线性层的同态加密和非线性操作的遗忘传输，但这些加密工具依赖于计算假设，导致较高的本地计算和通信成本。相比之下，三方MPC协议避免了过度依赖昂贵技术（如同态加密[18]），从而实现了更低的本地计算开销和更高的效率。面对恶意对手时，不诚实多数协议[19]通常采用基于MAC的身份验证，导致线性通信开销。在诚实多数设置中，先进的方法如DZKP[20]实现了亚线性验证成本，而cut-and-choose[7]和三重牺牲技术[10]保持了相对较低的本地计算和通信。对于超过三方的场景，最近的研究[21]利用梅森素数的属性构建了高效的半诚实协议。Duan等人[22]采用秘密共享和可验证的数据注入技术，同时保护输入数据和模型参数的隐私，从而减轻了传统基于云的框架中固有的信息泄露风险。总体而言，恶意对手模型下的三方安全推断在效率和安全性之间实现了理想的平衡。

ABY3[8]将SafeML扩展到了诚实多数的三方设置，并支持半诚实和恶意对手。ASTRA[23]通过电路依赖的预处理进一步加速了在线推断。BLAZE[24]将安全保证提升到了公平性，而Swift[9]实现了GOD。Brüggemann等人[10]观察到在许多实际部署中，作弊者是提前知道的，并设计了针对恶意助手或恶意评估器的高效协议。值得注意的是，许多这些系统采用了具有一个助手和两个评估者的非对称设置：助手仅参与离线预处理和最终批量验证，而在线阶段由两个评估器执行。这种模型与实际部署非常吻合，也是本工作考虑的设置。此外，李等人[25]利用有限域的性质设计了基于DZKP的高效协议，从而实现了非线性函数的快速评估。陈等人[26]也解决了三方安全推理问题，他们通过采用模型蒸馏和复杂激活函数的分段近似，设计出了一个准确且高效的安全大型语言模型推理系统。然而，大多数现有方法[8],[9],[10]仍然依赖于对数轮次比较协议。Mosformer[14]通过构建基于可验证分布式点函数的常数轮恶意三方比较协议，解决了这一问题，实现了高效的安全Transformer推理。减少激活函数通信轮次的一种自然方法是设计常数轮比较协议。卢等人提出了Aegis[27]，这是一种常数轮恶意三方比较协议，用于非线性函数，但Aegis需要助手参与在线阶段，因此不适合这里考虑的场景。刘等人[21]利用梅森素数的性质，在诚实的多数半诚实环境中实现了常数轮比较。然而，这种方法依赖于特殊的域结构，并且比基于环的协议产生更高的本地计算成本。Mosformer[14]也实现了常数轮恶意比较，但由于函数秘密共享和复制秘密共享之间的转换，需要在线助手的参与，并且会产生大量的离线通信和存储开销。因此，现有的常数轮比较协议不能直接应用于只有离线助手的基于环的环境中。我们没有继续这个方向，而是注意到比较协议的轮次复杂度与环的位宽是对数的。这激发了一个替代方法：减小用于非线性层的环的大小。虽然概率截断是高效的，但它需要大的环来保持可忽略的误差概率。用忠实的截断[11]代替概率截断可以允许使用更小的环，但大多数忠实的截断协议需要对数轮次。尽管郭等人[28]在双方半诚实环境中实现了常数轮忠实截断，我们可以将其扩展到恶意三方环境，但我们采用了更好的动态环策略。Ditto[13]引入了动态环转换，用于半诚实三方计算，允许在线层在大环上评估以提高精度，在小环上评估非在线层以提高效率。Mosformer[14]将这一想法扩展到了恶意环境，实现了单轮在线阶段，但在离线阶段需要两个减法电路，从而导致更多的轮次。在我们的目标环境中，这样的开销可能会超过相应的好处。因此，我们的目标是设计一种恶意三方动态环协议，既能保持单轮在线阶段，又能将离线阶段减少到常数轮。

在安全神经网络推理中，安全的非线性层（如激活函数）主导了通信和轮次复杂度。我们专注于优化这些层，以ReLU为例。安全的ReLU计算包括在一个大环上进行的对数轮在线协议，然后是B2A协议和乘法协议。为了减少在线轮次复杂度，我们应用了一种动态环技术，暂时从大环切换到小环，将bitext协议中的在线轮次从轮次减少到轮次。对于B2A和乘法，离线掩码预处理将这两个操作合并成一个BitInj操作，将在线轮次减少到一轮，进一步降低了通信量。如图1所示，我们的协议优化了ReLU函数的安全评估过程。我们还提出了一种轻量级原语，有效地帮助减少了推理系统的通信开销。然而，现有的动态环协议需要生成和，而在下的BitInj预处理会导致深度乘法，增加了离线通信和轮次。我们通过使用-共享和轻量级原语来验证单方的二次关系来解决这个问题。尽管-共享略微增加了在线计算，但它使得：（i）和可以在一轮内生成，且通信量低；（ii）可以在一轮内进行任意深度的乘法。我们提出的技术可以大致分为三个部分。

1. 首先，我们介绍了，这是一种理想的功能，允许单个发送者传输经过验证的乘法结果。在-共享下，使得所有乘法都可以在单个离线轮次内预先计算，无论乘法深度如何。相比之下，-共享需要为每次乘法调用。这导致每次乘法都有序的三方通信。结果，轮次随深度增加而增加，通信开销显著增加。

2. 接下来，我们介绍了我们优化的动态环协议。核心任务是计算，其中和。这里，是为了安全计算而生成的随机掩码。这使得计算可以在不同大小的环之间切换。Mosformer[14]的直接扩展可以在离线生成和。在我们的方案中，切换到-共享并利用，可以在一轮内生成和。这避免了対数轮的开销，尽管在线通信略有增加。

在已知损坏的对抗环境中，所需的向量内积长度可以从减少到。对于已知损坏的服务器环境，-长度的调用完全被避免了。这是因为助手作为唯一生成随机性的发送者，不是恶意的。因此，通信显著减少。对于已知损坏的助手环境，我们将ABY3[8]中的半诚实三方OT扩展到已知恶意环境。这是通过使用度2编码实现的。结果得到的动态环协议只需要二维内积，而完全恶意环境需要维度的内积。这避免了完全恶意环境所需的维度成本。

3. BitInj协议将B2A转换和乘法融合到单个在线轮次中，减少了在线轮次一轮。在-共享下，这种融合需要在离线阶段生成额外的相关掩码。这将离线轮次增加到三轮，并产生了显著的通信开销。通过切换到-共享，预计算的掩码可以通过在单轮内生成。这导致两轮离线和一轮在线，总体通信量降低。

接下来，我们展示了上述技术概述下的工作流程。对于神经网络中的卷积块（例如，卷积、激活、平均池化），Swift[9],[10]、Swift+[9],[10],[14]（直接将Mosformer的动态环技术[14]应用于Swift）以及我们的方法的工作流程分别在图2、图3、图4中进行了说明。

-共享和-共享之间的权衡。在-共享下，典型的非线性协议需要离线轮次，其中次调用，以及一轮在线重建长度为的向量内积（三个环元素）。在-共享下，离线成本减少到一轮，加上第二轮离线中的两次额外调用以生成相关随机性。由于显著轻于，这种减少是实质性的。在线阶段为重新共享增加了个环元素，这可以推迟到批量验证而无需额外的轮次。

对于我们的动态环协议，这种额外的开销只是一个环元素。对于BitInj，在-共享下的基线B2A和乘法需要两次单独的重建，总共六个环元素。我们的方法将计算表示为一个长度为3的向量内积，需要一次长度为3的重新共享，然后是长度为3的重建——也是六个环元素。这在保持在线通信成本的同时，显著减少了在线轮次、离线轮次和离线通信量。

总的来说，尽管在线开销略微增加，但在实际部署中的权衡非常有利。首先，助手是一个轻量级的云函数，只参与离线和验证阶段。在无服务器环境中，每轮交互都会延长函数的活跃窗口并增加额外的网络I/O。将离线轮次从对数减少到常数降低了助手的运营成本，使协议更加健壮。更少的同步点意味着更少的故障和更容易的恢复。其次，尽管由于额外的重新共享在线通信略有增加，但每个ReLU层的在线轮次复杂度减少了一轮。这使得在线阶段更快。同时，总通信量显著减少，降低了总体通信成本。这些好处在带宽受限的环境中尤为明显，例如移动网络或跨区域部署。在这些环境中，每个节省的比特都直接转化为更低的传输成本和更好的响应性。

我们的技术自然可以扩展到先前工作中使用的激活函数的分段多项式近似，如MPCFormer[29]和Bumblebee[30]。这些近似采用的形式，其中表示是否落在第段内，是一个多项式。对于GELU和Tanh，多项式的度数较低（例如，在MPCFormer[29]和Bumblebee[30]中为2到6度），使得（多项式评估的轮次）很小。主要成本是确定每个的比特提取，它随着环的大小而增加。我们的动态环将从减少到，从而减少了比特提取轮次。此外，BitInj将B2A转换和每次的乘法融合到单个在线轮次中，不同于之前的方案，后者需要两个单独的轮次。这两种技术都有助于显著减少轮次和通信。

对于Softmax和Sigmoid，函数也通过分段多项式进行近似，但所需的度数可能更高（例如，或更高），使得成为主导项。在这种情况下，我们的动态环并不减少整体轮次复杂度。然而，我们的技术仍然减少了通信量：BitInj降低了每个多项式评估的通信成本，较小的环减少了每次比较的通信量。因此，即使轮次改进是微小的，我们的方法在通信方面仍然有益。

第2节介绍了必要的预备知识。第3节介绍了我们的轻量级功能，以及在此基础上构建的更高效的协议。第4节描述了我们为不同环境设计的更高效的动态环协议。第5节描述了我们为不同环境设计的更高效的BitInj协议。第6节报告了我们的实验结果。第7节总结了本文并讨论了未来的方向。

**符号说明**
我们考虑一个有三台服务器的环境，各方分别用、和表示。服务器通过私人和认证通道在同步网络中成对连接。遵循几个三方计算协议的惯例，我们采用了一个非对称模型，其中作为助手，只参与离线预处理阶段和最终的批量验证阶段，不参与在线计算。和作为主要评估者。

**单发送者恶意验证的理想功能和协议**
我们观察到PPML中的一些子协议只需要轻量级的一致性检查，而不是完整的恶意乘法。受此观察的启发，我们引入了，它为单发送者的二次关系提供了验证。的具体功能定义如图5所示。具体来说，在中，满足，在中，满足，在中，满足。使用，可以安全地将发送到。

在DZKP范式下，可以通过指定为证明者，将实现为。

**高效的恶意安全动态环转换协议**
在现代PPML系统中，线性层通常在大环上执行以确保计算精度，其中概率截断非常高效。相比之下，非线性激活函数更倾向于在较小的环上评估，因为这显著提高了效率，同时保持了数值精度。这激发了需要一个动态环转换协议的需求，该协议可以安全地在和之间的精度之间转换值。

**具体的优化协议**
对于ReLU协议，标准的工作流程[9]、[10]首先对应用比特提取电路以提取最重要的比特，然后执行两轮离线和一轮在线的B2A协议以获得，最后执行一轮在线和离线的乘法协议以获得。这个基线需要在离线和在线阶段各两轮。

BitInj的核心思想是将B2A转换和乘法融合到单个在线轮次中。

**实现和基线**
我们使用C++实现我们的协议。为了与之前的工作进行公平比较，特别是[10]，我们将我们的优化协议集成到MOTION框架[32]中提供的Swift、Auxiliator和Socium的开源实现中，并在相同的环境下进行评估。

**实验设置**
所有实验都在三台服务器上进行了，每台服务器配备了两个Intel? Xeon? Platinum 8352 V CPU（每个CPU 64个vCPU）、128 GB的RAM，并运行Ubuntu 22.04。我们在两种网络环境下对恶意安全的三方神经网络推理系统进行了评估。在本研究中，我们考察了在诚实多数人设置下的恶意安全三方神经网络推理系统，该系统采用了助手-两个服务器的范式。在这种范式中，助手仅参与离线预处理和最终的批量验证，而不参与在线计算。我们在三种代表性的威胁模型下优化了这些系统：完全恶意环境、已知助手被篡改的环境以及已知服务器被篡改的环境。

信蓓（Xin Bie）的贡献包括：撰写-审稿与编辑、撰写-初稿、可视化、验证、监督、软件、资源、项目管理、方法论、调研、资金筹集、形式分析、数据管理、概念化。刘振华（Zhenhua Liu）的贡献包括：撰写-审稿与编辑、验证、资源、项目管理、调研、资金筹集。

作者声明他们没有已知的财务利益冲突或个人关系可能会影响本文报告的工作。

信蓓出生于2002年，目前是一名硕士研究生。他的主要研究兴趣包括安全多方计算和隐私保护机器学习。

信蓓 | 刘振华
西安电子科技大学数学与统计学院，中国西安 710071