ESMPC：一种用于安全两方和三方计算的高效神经网络训练框架

《ACM Transactions on Architecture and Code Optimization》：ESMPC: An Efficient Neural Network Training Framework for Secure Two- and Three-Party Computation

在大数据时代隐私保护深度神经网络（DNN）训练依赖安全多方计算（SMPC），但通信开销高。本文提出ESMPC框架，通过SecurePipe策略实现计算与通信协同优化，并设计通信优化算法和协议级优化，实验表明在两方计算中AlexNet训练时间减少超30%，FCNN等模型减少超45%；三方计算中所有模型减少超45%，有效提升效率和GPU利用率。

　　

摘要

在大数据时代，保护隐私的深度神经网络（DNN）训练已成为一个关键的研究领域。安全多方计算（SMPC）已成为在保障数据保密性的同时实现协作模型训练的关键技术。然而，SMPC协议中固有的高通信开销对其实际应用构成了重大障碍，尤其是在大规模深度学习应用中。为了解决这一挑战，我们提出了ESMPC，这是一个旨在提高基于SMPC的DNN训练中通信效率的计算-通信协同优化框架。在ESMPC框架内，我们提出了SecurePipe，这是一种专为基于SMPC的DNN训练设计的新型流水线并行策略。SecurePipe有效提升了模型和数据的并行性，实现了加密条件下的并行计算和通信，从而提高了整体训练吞吐量，并显著提高了GPU利用率。为了进一步降低通信成本，我们设计了三种针对线性和非线性操作的通信优化算法。此外，我们还提出了两项协议级优化措施，大幅降低了安全训练过程中的通信开销。全面的实验评估验证了ESMPC的有效性。在两方计算环境中，ESMPC将AlexNet的训练时间减少了30%以上；对于FCNN、LeNet和ViT，训练时间减少了45%以上。同样，在三方计算环境中，这四种模型的训练时间均减少了45%以上，证明了该框架在现实世界SMPC训练环境中的可扩展性和高效性。