在加密的序列数据上高效进行隐私保护的LSTM推理

《Neurocomputing》：Efficient privacy-preserving LSTM inference on encrypted sequential data

　　摘要：全同态加密领域的最新进展使得能够在加密数据上直接进行隐私保护的机器学习运算。长短期记忆网络作为一种典型的循环神经网络架构，被广泛用于建模序列依赖关系，但目前基于全同态加密的LSTM推理方案仍存在延迟高、可扩展性差的缺陷。本文提出了一种基于全同态加密的高效加密序列数据LSTM推理协议。我们在非线性激活函数之前加入轻量级归一化模块来限制隐藏状态，进而通过混合Remez算法与最小二乘策略，实现对Sigmoid、Tanh和平方根逆函数的高精度低阶多项式近似。我们利用Lattigo库实现该协议，并采用了密文打包优化、旋转操作最小化以及基于SIMD的并行化技术。实验表明，在标准文本分类任务中，我们的加密LSTM模型在准确率上可与明文模型相媲美，且性能优于现有的最先进全同态加密方法，计算速度最高可提升4.7倍。

引言：随着人工智能和云计算技术的发展，机器学习即服务已成为一种广泛采用的架构模式。它允许用户使用远程服务器上的强大计算资源及经过预训练的复杂模型，从而降低对硬件和专业技能的需求。尽管有这些优势，但将数据和计算任务外包给第三方服务器不可避免地会引发严重的隐私问题。敏感的用户数据，如医疗记录、财务信息和个人图片，必须传输到外部服务器进行模型推理，这可能存在数据泄露或未经授权访问的风险。同时，模型提供商也可能出于知识产权和安全考虑而不愿公开其专有模型。为应对这些挑战，隐私保护机器学习成为了一个活跃的研究领域，其目标是在保障隐私的前提下实现用户与服务器之间的协作计算。在隐私保护机器学习中，人们探索了多种密码学技术，包括安全多方计算和同态加密。其中，基于格的同态加密因其能够直接在加密数据上执行算术运算，从而确保端到端保密性，而被视为极具前景的方法。近期，在近似同态加密方案方面的进展，如Cheon-Kim-Kim-Song方案，显著提升了加密机器学习推理的效率与实用性，为构建安全且具备隐私保护功能的智能系统奠定了基础。循环神经网络，尤其是长短期记忆网络，在处理包含敏感信息的序列数据方面发挥着重要作用，这类数据包括自然语言、语音和金融时间序列等。近年来，有一些研究尝试将全同态加密与循环神经网络架构结合，以在模型推理过程中保护数据隐私。不过，这些研究大多针对结构较为简单的RNN或门控循环单元，因为它们的结构相对轻量，更容易适应同态加密的计算约束。而LSTM网络由于包含输入门、遗忘门、输出门和细胞状态更新门等多种门控结构，涉及更多的非线性运算和更复杂的计算依赖关系，因此基于全同态加密的LSTM推理在密文深度管理和计算效率方面面临更大挑战。目前只有少数研究试图完全基于全同态加密来实现加密LSTM推理。Trama等人提出了基于TFHE的LSTM实现框架，通过功能自举技术实现了Sigmoid和Tanh激活函数的查表功能，但他们并未提供完整的加密数据LSTM推理实现方案。PrivLSTM则展现了基于CKKS方案的LSTM推理可行性，但在实际应用中存在诸多局限：首先，它支持的模型规模相对有限，隐藏层维度最高仅为50，无法满足典型的文本分类需求；其次，其集成式打包策略将四个门控合并为一个密文，降低了有效批量大小，且在应用不同非线性激活函数之前需要额外的旋转操作和明文密文乘法运算；再次，所有非线性函数都采用同一类极小极大多项式进行近似，这要么会增加乘法运算深度，要么会降低端到端准确率；最后，自举操作较为保守，即使对于中等长度的序列，推理延迟也会很高。这些局限性表明，该方案在可扩展性和效率方面仍有提升空间。在本研究中，我们提出了一种基于CKKS全同态加密方案的高效LSTM推理协议——PPLSTM。该协议在保留标准LSTM模型表达能力的同时，通过多种算法和实现层面的优化，提升了模型的准确率、可扩展性及运行性能。我们的主要贡献如下：首先，我们设计并实现了一种适用于标准客户端-服务器架构的基于全同态加密的LSTM分类推理协议，该协议可支持规模较大的LSTM模型（例如嵌入维度为100，隐藏层维度为128）。我们在四种常用的文本分类数据集上对该协议进行了测试，结果可与现有隐私保护方案相比，我们的实现代码已发布在GitHub上。其次，我们为加密推理场景引入了一种基于RMSNorm的LSTM变体，该设计能够稳定Sigmoid和Tanh激活函数的输入范围，从而使整个协议更易于适配全同态加密机制。此外，我们还采用了混合近似策略，即对Sigmoid/Tanh函数使用Remez多项式近似，而对平方根逆函数则使用最小二乘多项式近似，这样既保持了明文模型的端到端准确率，又降低了乘法运算深度。第三，我们为加密LSTM开发了一种注重吞吐量的线性代数后端处理机制，该机制包括与LSTM门控结构相匹配的批量处理和打包策略、对角线编码方式，以及基于CKKS方案所支持的单指令多数据并行特性的“小步大步”法来实现明文-密文矩阵乘法运算。与PrivLSTM的集成式策略相比，我们的设计提升了有效批量大小，减少了每次输入所需的平均旋转次数，从而显著降低了单样本推理延迟。第四，我们仔细分析了加密LSTM的乘法运算深度，优化了自举操作的时机与频率，从而获得了高效的CKKS参数配置。我们提供了PPLSTM的完整实现方案，并展示了其在实际场景中的端到端性能表现。在真实世界数据集上，我们的方案在保持同等安全级别和模型设置的前提下，不仅具有更高的分类准确率，计算速度还比PrivLSTM快4.7倍。全同态加密为隐私保护机器学习的发展带来了实质性进展，目前已有许多针对卷积神经网络和注意力机制模型的相关系统被开发出来。先前的研究通过优化密文打包技术和多项式激活函数近似方法，实现了高效的加密CNN推理。类似的技术最近也被应用于基于全同态加密的Transformer推理架构，通过针对注意力机制的专项优化提升了推理效率。关于这一主题的更多细节，可参考相关文献。这些研究通常结合加密矩阵乘法、密文打包和多项式近似技术，以实现同态加密环境下的Transformer层运算。不过，本文研究的LSTM架构具有不同的计算结构，因此其深度累积方式、打包布局、旋转操作的重用机会以及自举调度都与CNN和Transformer的方案存在显著差异。尽管目前的基于全同态加密的CNN和Transformer方案已取得不俗的进展，但对于轻量级序列任务、短文本分类以及资源受限的推理场景而言，LSTM依然具有显著优势。因此，我们的研究聚焦于另一个互补方向，即为加密LSTM推理进行架构特定的优化，其中PrivLSTM是目前最接近的基准方案，其在降低推理延迟和提高准确率方面仍有较大提升空间。实际上，关于加密循环神经网络的研究目前仍然相对较少。循环依赖关系和重复出现的非线性运算会带来深度累积和噪声增长的问题，而这些问题在前馈神经网络架构中并不十分突出。正因如此，目前关于隐私保护型RNN的研究也相对有限。我们在表1中总结了与本研究相关的最新研究成果，这些研究评估了在全同态加密环境下进行RNN推理的方案，包括基于简单RNN、GRU和LSTM的各类方案。CryptoRNN研究了通过近似激活函数替换和密文刷新策略来在同态加密约束下稳定推理过程。Podschwadt和Takabi提出了一个用于序列建模的非交互式加密预测框架，虽然该方案降低了通信成本，但由于循环运算中的多次乘法操作，会导致密文噪声增加。这些研究证明了基于同态加密的循环计算是可行的。GRU是LSTM的简化版本，它将遗忘门和输入门合并在一起，从而降低了计算深度，更适合用于加密推理。CryptoGRU则提出了一种专为GRU设计的混合密码学框架，该框架结合了全同态加密和加扰电路技术，采用了对加扰电路更为友好的ReLU激活函数，其电路评估成本远低于常用的Tanh函数，同时还采用了小位宽量化技术，使得加密推理的速度相比之前的隐私保护型神经网络实现方案有了显著提升。这种设计大幅降低了同态计算的乘法运算深度，从而无需进行自举操作，但代价是会增加通信开销，并且依赖于交互式协议。在此基础上，Jang等人后来提出了MatHEGRU，这是一种基于扩展的CKKS基矩阵同态加密方案构建的隐私保护型深度序列模型，该方案能够实现高效的矩阵表示、同态序列运算，并更好地控制加密GRU推理过程中的噪声。此外，Wang和Ikeda提出了另一种并行化GRU架构，该架构通过利用密文级别的并行处理来提升处理效率。他们的方案通过结构简化和并行计算来限制电路深度，从而实现在无需自举操作的情况下进行高效加密推理。不过，可处理的序列长度会受到剩余噪声预算的限制，而且由于需要并行处理密文，内存消耗也会随之增加。在这些研究的基础上，Wang和Ikeda进一步提出了一种无需自举操作的GRU模型，用于文本分类任务，他们通过联合优化量化、参数缩放和电路深度来实现这一目标。虽然这种设计相比基于自举操作的方案能显著降低推理延迟，但它往往需要在模型准确率与可处理序列长度之间做出权衡。与GRU相比，LSTM具有更复杂的门控结构，包括输入门、遗忘门、输出门和细胞状态门，这使得它的乘法运算深度显著增加。因此，关于加密LSTM推理的研究仍然相对较少。有些研究采用了混合密码学框架，例如Liu等人就利用全同态加密和增强型MPC技术实现了用于生物医学信号分析的LSTM模型，从而在保证数据保密性的同时维持了推理的准确性。不过，这种混合方案会增加通信开销，同时也部分削弱了纯全同态加密系统的非交互式优势。在纯全同态加密领域，虽然Trama等人曾尝试使用TFHE和查表技术来评估激活函数，但大多数同态学习任务更倾向于选择CKKS方案，因为它具有更高效的向量打包能力。与以往不同的是，PrivLSTM是一种完全基于全同态加密实现的方案，它所有LSTM运算都在CKKS方案框架下完成，无需依赖MPC或多方通信，同时通过多项式近似处理非线性运算，再通过密文打包来控制乘法运算深度和噪声增长。尽管我们的整体架构与PrivLSTM类似，但PPLSTM在归一化、多项式近似、密文打包和自举操作等方面都融入了我们提出的优化措施。如表2所示，当使用8个线程对隐藏层维度为64的LSTM模型进行测试时，基于CKKS方案的我们的方案以及PrivLSTM的性能都远优于基于TFHE的方案。这种性能差距主要源于CKKS方案能够将多个值打包到一个密文中，并以较低的平均成本执行向量化运算，从而实现更快速的批量计算。此外，我们的方案不仅准确率高于PrivLSTM，计算速度还能提升4.7倍。在本节中，基于上述准备工作，我们提出了一个用于对加密后的批量数据进行LSTM推理的完整算法（算法1）。在此之前，我们首先介绍该算法所需的以下组成部分：•PCMM(W,ct.x)实现了第5.2节中描述的批量明文-密文矩阵乘法算法。•PolyEval(ct.x,p)则用于在加密输入ct.x上计算系数向量为p的多项式。例如，它可以利用实验部分中提供的方法来实例化。在本节中，我们展示了PPLSTM协议的具体实现，并在第2.3节介绍的数据集上评估了其实际性能。此外，我们还在相同的实验条件下将我们的实现与现有的最先进方案进行了比较。结论与讨论在本文中，我们提出并实现了一种基于CKKS同态加密方案的精确、高效且非交互式的LSTM推理协议——PPLSTM。PPLSTM包含了三项重要的优化措施。首先，对于非线性激活函数，它引入了RMSNorm机制，从而同时提升近似精度和计算效率。其次，它采用了精心设计的批量处理和打包策略，结合CKKS的SIMD功能以及基于BSGS的实现方式，以此来提升性能。致谢本项工作部分得到了中国国家重点研发计划（2025YFA1017201）和中国国家自然科学基金（12571553）的支持。作者们感谢匿名审稿人提出的宝贵意见和建议，这些意见极大地提升了本文的清晰度和质量。声明在准备本项工作的过程中，作者们使用了ChatGPT和Gemini工具来进行语言润色和辅助编码。使用这些工具后，何强于2024年从中国武汉工业大学计算机科学与技术系获得了学士学位，目前他正在中国科学院重庆绿色智能技术研究院攻读硕士学位。他的研究兴趣集中在基于高性能同态加密的神经网络实现方面。何强|陈静伟|吴文远|冯勇中国重庆市400714，中国科学院重庆绿色智能技术研究院