同态加密方案对机器学习中数据处理性能的影响

《Machine Learning with Applications》：Impact of homomorphic encryption schemes on the performance of data handling in machine learning

　　

将加密集成到机器学习（ML）流程中，使组织能够在损害用户隐私的情况下利用数据驱动的智能，确保数据在存储、传输和计算过程中的机密性。然而，在训练和测试阶段加密数据会引入显著的计算开销。为缓解该成本，本文分析了一种混合范式：在明文数据上训练模型，并对加密数据进行推理。虽然同态加密（HE）支持安全计算，但通常需要对机器学习算法进行修改以使其兼容。本研究通过在多样化的数据集上对多种HE方案进行基准测试，评估ML性能指标，包括准确率、推理时间、延迟和吞吐量。该双重优势方法降低了训练开销，同时保持了选择加密-机器学习组合的灵活性。结果表明，全同态加密（FHE）比部分同态加密（PHE）提供更好的隐私保护，但伴随更高的计算成本，包括更长的延迟和更低的处理速度。应根据特定机器学习应用的性能需求权衡这些因素。在人工智能的更广泛发展中，这项研究不仅为不同机器学习算法和密码方案之间的匹配提供了基于证据的系统性指南，而且推动了可信人工智能从理论向工程实践的转化。

随着机器学习在医疗、金融等敏感领域的广泛应用，数据隐私保护成为关键挑战。传统加密技术虽能保护静态数据，但无法在加密状态下进行计算。同态加密（HE）允许对密文进行加法和乘法运算，其结果与明文运算一致，从而支持在加密数据上直接执行机器学习推理。然而，完全同态加密（FHE）的计算开销巨大，且现有机器学习算法多依赖非线性函数，难以直接兼容HE。以往研究多采用全加密训练，导致极高的计算成本，且缺乏对不同HE方案、多种数据集和算法的系统性比较。为此，研究人员提出一种混合范式：在明文数据上训练模型，仅对推理阶段的数据进行加密，以平衡隐私保护与计算效率。该论文发表在《Machine Learning with Applications》，旨在系统评估不同HE方案对机器学习性能的影响，为实际应用提供证据驱动的方案匹配指南。

研究人员使用8个公开数据集（来自Kaggle和UCI仓库，涵盖糖尿病、泰坦尼克、丙型肝炎、心脏病、Framingham、动物园、电离层、声纳等，包含整数、浮点数和混合特征类型），采用RSA、Paillier、CKKS、BFV和TFHE五种加密方案，对逻辑回归（LR）、线性支持向量机（SVM）、高斯朴素贝叶斯（GNB）和决策树（DT）四种算法进行加密推理实验。所有模型在明文上训练，测试数据加密后输入模型，评估准确率、推理时间、延迟和吞吐量等指标。实验在统一硬件（12代Intel Core i5-12500H，16GB RAM）上进行，使用Python、scikit-learn、TenSEAL和Concrete-ML库。加密参数方面，RSA和Paillier采用位长64、精度100；BFV设置多项式模度数8192、明文模数1032193；CKKS设置多项式模度数8192、scale=2²¹、系数模位大小(40,21,21,21,21,21,21,40)；TFHE参数由Concrete-ML编译器自动选择。样本队列来源为上述公开数据集，无额外临床队列。

3.1 实验基础设施：实验在配置12代Intel Core i5-12500H处理器、16GB RAM的笔记本电脑上进行，使用Python和开源库实现。框架在本地运行，无需持续网络连接，适合远程环境。

3.2 计算开销：通过比较数据集加密时间，RSA加密速度远快于CKKS。对比明文推理与TFHE加密推理时间，加密推理显著慢于明文，且决策树的加密推理时间高于逻辑回归和线性SVM。平均减速因子显示，线性SVM的开销最低，逻辑回归中等，决策树最高。延迟和吞吐量方面，CKKS的每样本延迟高于TFHE；特征较少的糖尿病和泰坦尼克数据集获得更高吞吐量。线性模型在加密推理中更高效。

3.3 不同HE方案下机器学习算法的性能：通过热图展示加密推理准确率与基线准确率的差异。逻辑回归在FHE方案（CKKS、TFHE）下准确率衰减最小，RSA和Paillier衰减较大。线性SVM在CKKS和TFHE下准确率一致较好，而RSA、Paillier和BFV有适度退化。高斯朴素贝叶斯对加密引起的量化敏感，因其决策函数依赖均值、方差和平方距离计算。数据集特定观察显示，CKKS在大多数数据集上保持与基线最接近的准确率；TFHE在心脏病数据集的决策树上取得与基线完全相同的准确率；高维声纳数据在TFHE下的决策树准确率差异最大。基于数据特征和算法类型，表4推荐了合适的FHE方案，例如大数据集推荐CKKS，混合类型推荐CKKS/BFV，整数类型推荐BFV，二进制或分类特征推荐TFHE/BFV等。PHE因同态操作受限被排除。

4. 安全分析：该框架假设半诚实威胁模型，即数据所有者可能发现模型，但模型所有者无法发现数据。HE保护推理数据的机密性，防止窃听和未授权披露。RSA基于大整数分解，Paillier基于复合剩余假设，均不能抵抗量子计算攻击；BFV和CKKS基于环学习误差（RLWE）假设，TFHE基于学习误差（LWE）和Torus-LWE（TLWE）假设，属于后量子安全。但该框架无法防御模型提取、模型反转、成员推断、数据投毒和对抗性操纵等威胁，需要额外安全措施。

5. 结论（翻译）：在实际应用、真实部署和资源受限环境中，将HE应用于机器学习时，必须同时考虑预测准确性和计算开销。这项研究探索了明文数据上的加密推理，以及根据用户需求、数据集特征和所选加密方案定制的加密部署场景。在实验中，研究人员评估了多种机器学习算法在不同数据集上的影响，并分析了它们在不同HE方案下的性能。结果表明，加密推理比明文推理产生更高的计算成本，并展示了加密方案对不同数据领域预测性能的不同影响。这项工作为隐私、准确性和计算效率之间的权衡提供了全面基准。广泛的比较分析不仅量化了不同加密设置下预测准确性、计算延迟和吞吐量之间的权衡，而且基于数据集特征和算法需求提供了可操作的、针对具体方案的建议。这项研究定量评估了密码操作对模型性能和计算效率的影响，为设计安全、保护隐私的智能决策系统提供了实验基础。从更广泛的意义上说，它通过提供基于证据的见解和实际建议，为不断增长的人工智能安全和隐私跨学科领域做出了贡献，支持隐私保护机器学习部署。