具有隐私保护功能的高效Transformer两方推理方法

《Neurocomputing》：Privacy-preserving and efficient two-party inference for transformer

　　基于AbstractTransformer的大型模型已被广泛应用于各种实际任务中，并展现出卓越的性能。然而，将其作为云服务部署时会引发隐私问题，因为在推理过程中敏感数据可能会被泄露。在本研究中，我们考虑了一种针对Transformer的隐私保护型双方推理机制，其中服务器拥有专有的Transformer模型，而客户端则持有私人数据。我们提出了一种既注重隐私保护又高效的双方推理框架用于基于Transformer的模型。具体而言，我们设计了一种高精度的安全近似方法，通过查找表和分段线性多项式来近似GELU函数以及Softmax中的指数函数。此外，我们还提出了动态精度优化模型，以降低这两种非线性函数带来的开销。最后，我们将这些方法整合到BERT-base模型中，并在实际推理中测试了其性能。实验结果表明，端到端的密文推理所能达到的准确率与明文推理相当。与SEAF和Bolt相比，我们的GELU协议在运行速度上提升了%，通信量则减少了%。对于Softmax函数，与Bolt和Iron相比，我们的协议在运行速度上提升了%，通信量减少了%。当用我们的GELU和指数函数协议替换Iron和Bolt中的原有非线性函数模块后，它们分别只占到了总推理时间的%和%，以及总通信量的%和%。