《Neurocomputing》：Maximizing entropy for federated unlearning with flexible gradient scaling
编辑推荐：
摘要由于严格的隐私法规和模型安全要求，联合去学习（Federated Unlearning，FU）作为一种从全局模型中有效消除特定数据影响的范式应运而生。然而，现有方法难以动态解决去学习效果与全局模型效用之间的权衡问题，从而导致去学习不完全或过度去学习，这迫使人们依赖计算成本高昂
摘要 由于严格的隐私法规和模型安全要求，联合去学习（Federated Unlearning，FU）作为一种从全局模型中有效消除特定数据影响的范式应运而生。然而，现有方法难以动态解决去学习效果与全局模型效用之间的权衡问题，从而导致去学习不完全或过度去学习，这迫使人们依赖计算成本高昂的恢复训练。为了解决这个问题，我们提出了FU-MEGS，一种基于熵最大化（Entropy Maximization）和灵活梯度缩放（Flexible Gradient Scaling）的联合去学习框架。具体来说，为了降低与无界损失最大化相关的过度去学习风险，我们的算法利用有界Kullback-Leibler散度（Bounded Kullback-Leibler Divergence）将预测分布驱动至均匀状态。此外，为了解决去学习梯度与剩余梯度之间的方向冲突和幅度不平衡问题，我们引入了一种自适应梯度缩放策略，以动态调整聚合权重，引导这两个目标达到一阶Pareto稳态平衡。广泛的实验表明，所提出的算法在不同去学习场景下实现了去学习效果与模型效用之间的良好平衡，同时相比几种基线方法降低了计算和通信开销。
引言 分布式边缘设备的大规模部署产生了大量的本地化数据，从而加剧了数据孤岛的问题。为了在严格的隐私约束下利用分布式异构数据的价值，联合学习（Federated Learning，FL）[1]成为了一种突出的协作范式。与传统集中式方法不同，FL允许客户端仅通过交换模型更新来协同训练全局模型，同时保留本地原始数据[2]。这种去中心化的机制有效降低了与原始数据传输相关的合规风险，并已广泛应用于医疗诊断[3]、金融风险控制[4]和物联网中的协作卸载[5]等隐私敏感领域。
尽管FL避免了原始数据的直接传输，但由于深度神经网络固有的无意记忆效应，参与者的私有数据特征可能会隐式地编码到全局模型中[6]。这种记忆效应引发了两个紧迫的遗忘需求：首先是严格的合规性约束。随着通用数据保护条例（General Data Protection Regulation，GDPR）[7]和加利福尼亚消费者隐私法案（California Consumer Privacy Act，CCPA）[8]等全球数据主权法规的实施，数据所有者被赋予了“被遗忘的权利”，要求移除他们的数据及其对模型输出的影响。其次是模型安全性的关键防御需求。研究表明[9]、[10]、[11]，恶意客户端可以利用FL的全局聚合方案发起数据投毒或后门攻击。一旦检测到此类攻击，系统应消除敌对影响，而不损害良性特征[12]。
为了解决上述隐私挑战，联合去学习（Federated Unlearning，FU）[13]、[14]、[15]、[16]旨在消除目标数据对已训练全局模型的影响，同时保持其在剩余数据集上的性能。去除数据的直观方法是精确重新训练，即排除目标数据并使用剩余的全局数据集从头开始重新训练全局模型。然而，深度学习模型的庞大参数规模和联邦网络中有限的通信资源可能导致 substantial 的计算开销。为了降低精确重新训练的计算和通信成本，最近的研究[17]、[18]、[19]专注于近似FU方法，通过参数修改来消除目标数据的影响。然而，现有近似方法的优化仍然受到以下两个主要挑战的阻碍。
首先，作为近似去学习的直观方法，梯度上升（Gradient Ascent，GA）通常通过反转损失函数的优化方向来消除目标数据的影响，从而迫使模型在去学习样本上最大化预测误差[20]、[21]。然而，GA tend to 引发优化不稳定和过度去学习。由于损失函数的无界性质，直接最大化可能会降低模型在剩余数据上的性能[22]、[23]。为了弥补这种性能下降，许多方法[24]、[25]依赖于昂贵的恢复训练，从而降低了近似去学习的效率优势。
其次，FU本质上是一个双目标优化任务：它旨在在消除目标数据影响的同时保持模型在剩余数据上的效用。在动态去学习迭代中，这两个目标之间可能会出现梯度冲突。特别是在去学习的早期和后期阶段，这些冲突的强度可能会有所不同。一些现有的聚合策略[23]、[26]、[27]依赖于静态约束或固定的损失权重，这会导致一个目标主导优化方向。这样的固定权重可能限制了对不断变化的梯度冲突的适应，并可能阻碍收敛到平衡的一阶稳态解。
为了解决上述技术挑战，我们提出了FU-MEGS，这是一种基于熵最大化（Entropy Maximization）和灵活梯度缩放（Flexible Gradient Scaling）的FU框架，其更新过程不包括单独的恢复阶段。这种方法促进了稳定的去学习优化，同时平衡了竞争目标。我们总结了我们工作的主要贡献如下：
(1) 我们提出了一种基于熵最大化的FU框架。通过使用有界Kullback-Leibler（KL）散度将预测分布驱动至均匀状态，我们促进了稳定的知识擦除并减轻了过度去学习。
(2) 我们设计了一种自适应梯度缩放策略，以实现去学习目标与剩余目标之间的动态平衡。通过余弦相似度（Cosine Similarity）量化冲突敏感性，我们动态调整聚合权重，以协调竞争目标并寻求一阶Pareto稳态平衡。
(3) 实验结果表明，FU-MEGS在评估的去学习场景中与现有的近似方法相比表现良好。具体来说，它在去学习效果和模型效用之间取得了良好的平衡，并且相对于几种比较方法降低了资源开销。
本文的其余部分组织如下。第2节回顾了有关FU的相关文献。第3节详细介绍了提出的FU-MEGS框架，包括通过KL散度的熵最大化去学习机制和灵活梯度缩放的自适应聚合策略。第4节提出了所提出优化程序的理论分析。第5节报告了FU-MEGS的实验评估。第6节讨论了该方法的局限性和范围。最后，第7节总结了本文。
章节摘录 现有的FU研究可以分为基于重新训练（Retraining-based）和基于模型修改（Model Modification-based）的方法。 基于重新训练的方法： 这类研究主要集中在利用历史更新来加速去学习过程[28]、[29]。例如，文献[30]利用存储在服务器上的历史参数更新，并通过校准剩余更新来重建全局模型，从而避免了精确重新训练的必要性。在此基础上，[31]中的工作进一步发展了这一方法。
在本节中，为了解决在FU中实现有效去学习同时保持模型效用的挑战，我们介绍了FU-MEGS框架。该框架包括两个关键组成部分：(1)基于KL散度的熵最大化去学习梯度（Entropy-Maximized Unlearning Gradients），它将预测分布驱动至均匀状态，以稳定抑制对目标数据的预测信心；(2)具有灵活梯度缩放的自适应聚合（Adaptive Aggregation with Flexible Gradient Scaling），它动态平衡去学习目标与其他目标。 考虑第III节中定义的联合去学习过程，其中 在第
在本节中，我们进行了实验，以验证所提出的FU-MEGS算法在各种去学习场景下的性能和有效性。 我们开发了FU-MEGS，这是一种结合了熵最大化和自适应梯度缩放的联合去学习框架，无需单独的恢复训练阶段，以平衡去学习效果和模型效用。我们的实验结果表明，FU-MEGS在评估的设置下实现了去学习效果和模型效用之间的良好平衡。然而，其部署需要考虑梯度保密性和数据可用性。 首先，尽管我们
在本文中，我们提出了FU-MEGS，这是一种不需要恢复训练即可解决优化不稳定性和双目标梯度冲突的FU框架。通过引入基于KL散度的有界熵最大化机制，所提出的方法减轻了效用下降和过度去学习，促进了目标数据影响的稳定抑制。同时，我们设计了具有灵活梯度缩放的自适应聚合策略。通过量化梯度 孙国强： 撰写——原始草案、可视化、验证、软件、概念化。陈思光： 撰写——审稿与编辑、监督、资源协调、项目管理、方法论、资金筹集。李雪： 监督、资源协调、项目管理、研究、资金筹集。陈松雷： 方法论、研究、形式分析、概念化。作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。 这项工作部分得到了中央高校基本研究基金（B250201047）、江苏省333高层次人才培养计划以及南京大学新型软件技术国家重点实验室开放研究基金（KFKT2025B03）的支持。 孙国强 于2021年从山东技术商学院获得了电子信息科学与技术学士学位。他目前正在南京邮电大学攻读硕士学位。他的主要研究兴趣包括联合学习和去学习。
孙国强|陈思光|李雪|陈松雷
