BlockFormer：一种高效的私有批量Transformer推理方法，通过块打包技术实现同态加密

《IEEE Access》：BlockFormer: An Efficient Private Batch Transformer Inference with Homomorphic Encryption via Block Packing

　　

摘要：

尽管Transformer模型为当今的语言处理树立了新的范式，但由于涉及敏感数据，机器学习服务中的合规性仍然至关重要。目前存在几种基于同态加密（HE）的隐私保护Transformer推理（PPTI）方法；然而，由于对可扩展批处理的支持有限以及依赖于非线性函数的复杂近似，这些方法的性能仍然不尽如人意。在本文中，我们提出了BlockFormer，这是一种高效的批量PPTI解决方案，它采用了一种新颖的块打包（BP）策略，能够支持多种批量大小和输入长度。与现有的基于HE的批量PPTI方法MOAI（Zhang等人，ICLR’26）相比，MOAI仅在特定的较大批量大小下表现出高效，而BlockFormer克服了这一限制，并减少了批量大小减小时运行时间的指数级增长，从而使其能够在更广泛的应用场景中使用。此外，BlockFormer使用低阶多项式近似来表示非线性函数（包括GELU和Softmax），相比Powerformer（Park等人，ACL’25），进一步降低了评估复杂性。为了保持模型精度，在重新训练过程中应用了知识蒸馏技术。评估结果表明，BlockFormer在BERT-base模型上的效率更高。在批量大小为4时，BlockFormer的性能比MOAI提高了28.3倍；在批量大小为256时，其速度比Powerformer快2.3倍。与基于多方计算的方法BOLT（Pang等人，S&P’24）相比，在批量大小为256的情况下，BlockFormer在100 Mbps带宽下的处理速度每样本快3.5倍，并将通信开销降低了约600倍。总体而言，我们的解决方案在相关研究中取得了最高的精度，在SST-2数据集上达到了93.4%，在RTE数据集上达到了70.7%。为了展示我们打包技术的通用性，我们还在其他任务上对BlockFormer进行了评估...

显示更多