摘要
变换器架构（Transformer architectures）最初是为语言建模开发的，但它们越来越多地被应用于时间序列预测。然而，将这些架构部署在涉及敏感数据（如患者生命体征、财务记录或能源使用数据）的场景中会带来隐私风险，这些风险主要体现在两个方面：推理阶段（服务器会看到原始输入和输出数据）和训练阶段（模型可能会记住个别数据记录）。本综述按照两个轴对保护变换器模型进行隐私的方法进行了分类：保护阶段（推理、训练和数据层面）以及保护机制（加密包装、梯度掩码、输入数据、特征处理、输出数据或数据传输路径）。在推理阶段，我们回顾了多种安全的多方计算方法（CrypTen、MPCFormer、SecFormer、Iron、BOLT、PUMA、BumbleBee 和 CipherPrune）以及同态加密技术（CKKS、THE-X、混合 HE-MPC 以及通过 Orion 实现的自动化 FHE 编译），重点讨论了这些方法如何处理变换器的非线性运算（如 softmax、GELU 和 LayerNorm）。在训练阶段，我们根据噪声在梯度路径、输入路径或特征处理路径中的引入位置，对差分隐私机制进行了分类（如 DP-SGD、DP-FedAvg、DP-FTRL、PATE 和自适应裁剪），并分析了这些机制在隐私性、计算效率和维度损失之间的权衡。此外，我们还研究了大型语言模型和基础模型中的隐私保护问题、联邦式变换器的应用、时间序列数据中的隐私攻击方式（如成员身份推断、梯度反演和属性推断）、差分隐私合成数据的生成方法，以及这些技术在能源、医疗保健和金融领域的应用。最后，我们指出了当前研究中存在的开放性问题及未来的研究方向。总体而言，这些隐私保护机制提供了多样且不可直接比较的隐私保障水平，因此在选择具体方案时应根据威胁模型而非单纯的计算效率来进行决策。
