通过临时本地模型加速联邦遗忘（Federated Unlearning）过程

《IEEE Transactions on Sustainable Computing》：Speed up Federated Unlearning With Temporary Local Models

联邦未学习（FUL）新方法FedCF解决多客户端并行数据删除问题，提升效率8.3-4.1倍并保持模型性能，通过临时模型重构实现快速安全去学。

　　

摘要：

联邦去学习（FUL）是一种旨在解决从训练有素的联邦学习（FL）模型中移除数据贡献问题的方法。现有的FUL方法仅关注客户端贡献的迭代去学习，无法处理多个客户端同时请求移除数据的情况。此外，FUL还需要解决收敛速度、保持全局模型性能以及并行去学习以加速去学习过程等问题。为填补这一空白，我们提出了联邦客户端遗忘（FedCF）算法，这是一种快速且准确的FUL方法，它可以像现有方法一样移除单个客户端的贡献，同时并行移除多个客户端对全局模型的贡献，确保去学习后全局模型的性能，并缩短去学习时间。其核心思想是通过从剩余客户端的更新中提取知识并将其添加到初始全局模型的相应参数中，然后利用临时模型重建去学习后的全局模型。在三个基准数据集上的广泛实验表明，FedCF在单客户端贡献去学习方面表现出高效性，其时间效率分别比现有方法FedRetrain、FedEraser和带知识蒸馏的FUL高出8.3倍、6.5倍和4.1倍。此外，FedCF在并行移除多个客户端的贡献后也展示了良好的时间效率和性能保障。

引言

联邦学习（FL）的去中心化方法使客户端能够利用经过充分训练的聚合机器学习（ML）模型的优势，同时保持对其数据集的控制[1]。另一方面，联邦去学习（FUL）是对FL范式的扩展，它包括在FL框架下从参与者的ML模型中移除特定数据实例或模式，以支持客户“被遗忘”的权利[2]，这符合加州消费者隐私法（CCPA）[3]和欧盟通用数据保护条例（GDPR）[4]的规定。这意味着参与者有权要求移除自己的数据贡献。除了“被遗忘的权利”之外，从训练模型中移除数据贡献在特定训练数据变得无关紧要时也有益处。这种情况很常见，主要是由于分布式学习方法以及客户端实体之间的数据分布差异。在FL中的客户端服务质量领域，有时特定训练数据会因数据投毒攻击[5]、[6]而受损或被篡改，或者随着时间的推移变得过时，或者在训练后被发现存在错误。完全删除低质量数据及其相关历史记录的能力显著提升了FL系统的服务质量，如安全性、响应性和可靠性。