在联邦学习中桥接本地数据与联邦数据规范化：一种保护隐私的方法

《Big Data Mining and Analytics》：Bridging Local and Federated Data Normalization in Federated Learning: A Privacy-Preserving Approach

　　

摘要：

数据归一化是提高模型性能和训练稳定性的关键预处理步骤。在联邦学习（FL）中，数据在多方之间分布，这使得归一化面临独特的挑战，因为数据通常是分散且异构的。传统方法依赖于独立的客户端处理（即本地归一化），或者在将数据分发给各方之前对整个数据集进行归一化（即汇总归一化）。当各方的数据分布非独立同分布（non-IID）时，本地归一化可能会出现问题，而汇总归一化方法则与联邦学习的分散特性相冲突。在本文中，我们探讨了将广泛使用的归一化技术适配到联邦学习中，并提出了“联邦归一化”这一术语。联邦归一化通过允许各方之间协作交换归一化参数来模拟汇总归一化的效果，从而在不牺牲数据局部性的前提下实现与汇总归一化相当的性能。然而，共享归一化参数（如均值）会引入潜在的隐私风险，我们通过一种强大的隐私保护解决方案进一步减轻了这些风险。我们的贡献包括：（i）系统地评估了各种联邦归一化和本地归一化技术在异构联邦学习场景中的影响；（ii）我们提出了一种适用于联邦环境的新型同态加密k排名元素（和中位数）的计算方法，以实现安全高效的联邦归一化；（iii）我们提出了利用多方全同态加密（MHE）的联邦学习中广泛使用的归一化技术的隐私保护实现。