CODP：通过在迭代之间级联和抵消噪声来提高差分隐私联邦学习的性能

《IEEE Transactions on Dependable and Secure Computing》：CODP: Improving Differentially Private Federated Learning by Cascading and Offsetting Noises Between Iterations

本文提出CODP算法，通过叠加和抵消差分隐私噪声提升联邦学习模型精度，理论证明其在Laplace和Gaussian机制下有效提高收敛速度，实验验证了CODP在MNIST、Fashion-MNIST等数据集上的优越性。

　　

摘要：

联邦学习（FL）因其能够保护数据隐私而受到了广泛关注。在联邦学习中，参数服务器（PS）无需访问客户的原始数据，就可以通过聚合和分发模型参数来协助分散式的客户端完成模型训练。然而，从客户的角度来看，将模型参数暴露给参数服务器仍可能导致隐私泄露。为了进一步增强隐私保护，人们发明了差分隐私联邦学习（DPFL），在这种方法中，客户端会在模型参数中添加差分隐私（DP）噪声以对其进行扰动。不过，DPFL的主要挑战在于由于噪声的存在，模型精度会降低。为了解决这一挑战，本文提出了一种新的DPFL算法框架，称为CODP，该框架通过在各迭代之间级联和抵消DP噪声来实现改进。在现有的研究中，每个DPFL客户端仅考虑如何根据参数暴露的迭代次数来保护自己的模型参数，而忽略了连续迭代中模型参数之间的内在关系。CODP的创新之处在于将每次迭代的DP噪声级联到后续迭代中，从而使后续迭代中的噪声相互抵消，从而提高模型精度。此外，我们通过利用最常用的拉普拉斯（Laplace）和高斯（Gaussian）机制，从理论上证明了CODP可以在不牺牲隐私保护的前提下显著提高DPFL的收敛速度。我们使用MNIST、Fashion-MNIST和Lending Club数据集进行了全面实验，结果表明，在固定隐私预算的情况下，CODP能够显著提高DPFL的模型精度。

引言

得益于机器学习技术的进步，智能服务如今已经无处不在。然而，训练机器学习模型在很大程度上依赖于挖掘和分析用户相关数据，这引发了数据泄露的担忧。数据泄露可能导致隐私泄露和严重的安全威胁[1]、[2]。