SNEIDF：一种基于Sigmoid神经元的加密推理隐私保护数据融合框架

《Information Fusion》：SNEIDF: A Privacy-Preserving Data Fusion Framework for Encrypted Inference based on Sigmoid Neurons

　　•提出了一种保护隐私的多源数据融合框架。•采用分数域加密技术对Sigmoid函数进行加密神经网络推理。•同时保护输入数据、模型参数和输出结果。•与同态加密方案相比，具有更高的准确度和更低的计算开销。•可扩展应用于除Sigmoid之外的其他非线性函数。

引言
随着物联网的快速发展，边缘节点的数据收集能力得到了显著提升。一个典型的应用场景是需要汇总多个用户的邮件数据，以训练中央模型来检测恶意广告或欺诈性邮件。然而，普通用户的设备难以在本地存储来自多个来源的所有个人数据，也缺乏大规模模型训练所需的计算能力。因此，这类复杂且资源密集的任务通常会被转移到拥有大量存储空间和强大计算资源的云服务器上。虽然云计算有效解决了计算需求，但也带来了重大的隐私和安全挑战。用户必须将数据控制权交给云服务器，而这些服务器可能成为“诚实但好奇”的对手，在数据存储和处理过程中试图推断出隐私信息。例如，当用户上传邮件以检测恶意内容时，他们无法确保自己的敏感数据不会被滥用或泄露。因此，迫切需要能够实现多源数据融合和云端加密推理的隐私保护机制。

目前的解决方案是将复杂且难以管理的任务转移到云服务器上执行。这些服务器不仅提供大量的云存储服务，还具备由先进计算能力支撑的强大计算资源[1]。然而，尽管云计算有效解决了计算需求，但它也带来了重大的隐私和安全挑战。用户实际上不得不将数据控制权交给云服务器[2]。作为服务提供商，这些服务器在数据存储和处理过程中可能会表现出好奇心，从而威胁到用户隐私。用户在数据被存储在云端时，无法控制其数据是否会在安全漏洞中被滥用或利用，这使得他们成为主要受害者。例如，在当前的大型语言模型应用中，所有用户查询都会被记录在远程服务器上。当云代理推理模型需要将每封邮件上传到云服务器上进行神经网络分析，以检测恶意或欺诈内容时，用户无法保证其数据的隐私性[3]。

在机器学习中的隐私保护领域，已经开展了大量研究。同态加密是一种广泛用于解决隐私相关计算挑战的技术；然而，在使用大型数据集进行训练时，与明文处理相比，它会显著增加计算开销[4]。联邦学习则是在本地训练模型后再与服务器交换更新，而安全多方计算则依赖于参与者之间的迭代交互[5]。混淆电路和可信执行环境需要硬件级设计，这导致训练大型网络的成本过高[6]。无意间的数据传输也无法充分保障大量数据的隐私。秘密共享目前仅支持三方协作学习，而差分隐私则可能影响训练精度[7]。尽管研究人员已经整合了这些方案，但与隐私、精度和效率相关的难题仍然存在。我们的研究目标是通过将计算密集型任务卸载到云服务器上，减少集中式加密深度学习场景中参与者之间的频繁交互。

我们的研究重点在于开发一种既能确保数据可用性又能保护隐私的加密方案。在模型选择阶段，参与用户共同确定所需的模型。一旦训练模型确定，就会运用功能加密技术根据需要进行模型修改。这些修改主要涉及改变加法、减法、乘法、除法和聚合等计算操作，以调整底层神经网络逻辑，使其适用于加密计算。每个用户都使用自己的用户密钥对自己的数据集进行加密，然后将其传输给服务器，服务器再使用相应的服务器密钥解密数据。在表1中，我们列出了本地存储与云端隐私之间冲突的若干案例。

目前的隐私保护计算方法主要利用基于同态加密技术的神经网络密文计算方案，在单服务器环境下进行计算[8]、[9]、[10]。然而，同态加密在努力保持准确性的同时，仍面临着计算开销过大的问题。将同态计算应用于非线性函数时，需要大量的环内或域内计算。例如，在加密的非线性计算中，计算神经元内的激活函数就面临巨大挑战，从而大幅增加了计算开销。这就引发了一个关键问题：是否存在一种更高效的方案，能够在加密状态下实现神经网络融合计算？

为了解决现有同态加密数据在多源数据融合和神经网络加密推理计算方面的低效率问题，本文提出了一种基于Sigmoid神经网络加密推理的多源隐私保护数据融合框架。该框架引入了分数域的概念，将连续数值映射到离散的分数域，然后对这些分数域进行数值加密。利用加密后分数域的弱同态特性，可以生成“陷阱门”，从而在密文数据上实现神经网络推理。在这种设计中，云服务器上的所有计算操作都在加密环境中执行，从而防止用户隐私泄露。这种专为神经网络推理任务设计的密文计算方案，在保障用户数据隐私的同时，显著提升了加密数据的计算效率。此外，该方案还可扩展应用于其他非Sigmoid非线性函数。我们的贡献总结如下：
•隐私保护：我们设计了一种神经网络推理方案，构建了一个全面的密文计算环境。这不仅保护了输入数据的安全，还确保了模型参数和输出结果的安全。
•提高计算精度：我们针对单神经元推理任务对密文计算方案进行了优化。通过引入分数域定义的概念，连续数值被精确地映射到离散域，从而在整个过程中有效保持了计算精度。值得注意的是，该方案不仅适用于Sigmoid函数，还具有很强的可扩展性，能够适应各种非线性函数场景，确保模型推理的准确性。
•提升计算效率：我们的方案避免了传统同态加密中涉及的复杂环运算或域运算。这种专为神经网络计算特性设计的方案，在保持强大隐私保护能力的同时，大幅降低了计算复杂性，实现了隐私安全与计算效率之间的最佳平衡。

相关工作
深度学习模型[11]、[12]、[13]、[14]是各学科中最广泛使用的模型之一。由于其底层架构在提取数据特征方面具有强大的能力，它们能够在众多场景中有效地揭示数据中的深层特征，因此具有广泛的适用性。三种典型的深度学习架构包括：用于序列数据特征提取的循环神经网络（RNNs）[15]、[16]；以及卷积神经网络（CNNs）[16]、[17]。

预备知识
分数域是一个相对基础的数论概念。作为一种基础理论，它被应用于信息安全领域。通过使用分数域，可以利用整数集构建有理数集。这也为将物联网终端收集的训练数据转换为整数集以便加密提供了理论基础。本节将介绍分数域的定义及相关运算。

系统模型
如图1所示，所提出的框架涉及两方：用户和云服务器。服务器是“诚实但好奇”的，即它会忠实执行请求的计算，但可能会试图推断出隐私信息。整个加密推理过程遵循五个连续的阶段，这些阶段对应于第3.3节中的步骤：
1. 初始化：Init(λ)→(p,R)。用户选择一个安全参数λ，选定一个大的质数p，然后在Zp中生成一组随机可逆元素R。

正确性证明
关于权重wa的密文正确性的推导如下，见方程(A.1)。将加权值wa加上偏置量b后得到结果z的密文推理过程如下，见方程(A.2)。泰勒多项式拟合的正确性则来自方程(A.3)。需要注意的是，分子和分母都是在有限域内计算的。

安全分析
我们现在在所定义的安全模型下，对我们方案的可行性进行正式的安全分析。

实验分析
在本节中，我们将把我们提出的方案与可在单服务器上部署的现有主流同态加密方案进行实验比较，重点关注准确性和计算开销。

结论
鉴于云计算对机器学习的深远影响以及用户对数据安全的需求，本文提出了一种基于Sigmoid神经元加密推理的多源隐私保护数据融合框架。该框架利用有理数域的概念，构建了一种用于基于神经元的推理的加密计算方案。我们的方案将用户数据和神经网络参数都转换成分数域。我们对分子和应用有限域随机扰动。

CRediT作者贡献声明
叶军：写作——审阅与编辑、验证、资源、项目管理、方法论、研究、资金获取、概念构思。安方林：写作——审阅与编辑、原始稿撰写、可视化、验证、监督、软件、方法论、研究、形式分析、概念构思。

利益冲突声明
作者声明没有已知的财务利益或可能影响本文所述工作的个人关系。

叶军|安方林