无LUT（查找表）方法：在私有机器学习中用于安全幂函数的局部初始近似

《IEEE Transactions on Signal and Information Processing over Networks》：LUTless: Local Initial Approximation for Secure Power Function in Private Machine Learning

　　

摘要：

在隐私敏感领域，深度学习服务的普及要求框架能够在效率和模型性能之间取得平衡。然而，现代的安全多方计算（MPC）协议在评估对先进架构至关重要的非线性运算符（特别是高斯误差线性单元（GeLU）/ReLU、Softmax和Transformer及CNN中的LayerNorm）时，会遇到高昂的通信成本问题。这些函数通常需要迭代性的幂运算。

为了在保证模型准确性的同时降低通信成本，像查找表（LUT）这样的基于精度的方法需要大量的比特长度通信；而基于效率的方法则通过使用低阶多项式来处理复杂任务，但由于近似误差的存在而牺牲了准确性。为了解决这些问题，我们提出了一种名为LUTless的新方法，该方法可以在不使用LUT的情况下安全地计算幂函数，并通过将通信负载转移到初始近似过程中的本地计算来消除对通信密集型LUT操作的需求。我们的方法引入了双重近似技术，利用对数函数和指数的线性近似来成功地将通信负担转移到本地计算。此外，我们还提出了“共享洪水”（Share Flooding）技术，该技术预先生成并安全地屏蔽共享数据以满足近似要求，同时保护隐私。LUTless在各种机器学习任务中表现出广泛的适用性，包括基于Transformer的语言模型和CNN。在GLUE基准数据集上对编码器和解码器模型进行的评估表明，LUTless可将通信成本降低多达3.9倍，并实现3.5倍的加速，同时保持与现有基于Transformer的推理方法相当的准确性。对于CNN推理，使用该技术的实验表明...

显示更多