缓解机器遗忘中的虚假遗忘问题：实现真正遗忘的分层策略

《Neurocomputing》：Mitigating spurious forgetting in machine unlearning: Layer-specific strategies for true forgetting

　　

• •
  我们形式化地识别并刻画了机器遗忘中的虚假遗忘现象。
• •
  我们通过隐状态轨迹和主成分分析揭示了虚假遗忘的机制。
• •
  我们通过损失景观分析从理论上分析了虚假遗忘的成因。
• •
  我们提出了两种逐层策略来缓解虚假遗忘。

引言

机器遗忘（MU）[1], [2] 指的是消除特定训练数据对预训练模型影响的过程。这一研究主要由《通用数据保护条例》（GDPR）[3] 等法规推动，其中"被遗忘权"（RTBF）已成为核心原则。机器遗忘的研究最初源于数据访问撤销的需求 [4]。其主要目标是消除特定训练数据对预训练模型的影响，强调模型选择性遗忘数据以保护隐私的迫切需求。除隐私需求外，机器遗忘对于通过消除有害、偏见、过时或恶意知识来纠正模型 [5] 同样至关重要，特别是在后门攻击等安全敏感场景中。

我们对现有机器遗忘方法的全面评估发现了一个普遍存在的问题，即虚假遗忘：模型在遗忘后可能在目标数据上表现出明显的性能下降，但底层的相应表征仍然保留在参数空间中，使得通过极少量的辅助数据甚至无关数据重新训练即可快速恢复原始行为。这一现象有两种形式：类级别虚假遗忘允许仅在一到两轮重新训练内完全恢复性能，这意味着类相关的特征表征被抑制而非消除；客户端级别虚假遗忘即使在重新训练仅涉及良性客户端的情况下，也能使先前注入的后门重新激活。这种隐式后门记忆的持久存在暴露了显著的安全风险，并表明性能下降作为验证真正遗忘的指标是不充分的。

虚假遗忘严重削弱了当前遗忘评估指标的有效性 [6]，这些指标通常仅依赖性能下降或ASR作为成功遗忘的信号。在数据访问撤销的语境下，涉及虚假遗忘的方法可能无法实现真正的数据删除，从而导致信息无意泄露 [7], [8]。在模型纠正的语境下，服务器试图遗忘错误或投毒数据 [5], [9]，保留的隐式记忆可充当后门 [10], [11], [12]。攻击者可利用这种隐式记忆，当模型再次遇到投毒数据时，导致模型快速恢复到投毒状态。因此，通过消除虚假遗忘来实现真正遗忘对于鲁棒且安全的机器学习具有重要意义。

为了深入研究虚假遗忘的机制，我们针对各种最先进的遗忘方法进行了全面的实证研究，包括微调（FT）[13], [14]、BadTeacher [15]、Amnesiac [16] 和 CFK [17]。我们的分析深入探讨了模型内部从预训练到遗忘再到恢复的演变过程。具体而言，我们量化了不同层隐状态（特征表征）及其主成分之间的差异，揭示了持续的遗忘和恢复轨迹，验证了隐式记忆的存在。此外，我们通过分析遗忘空间与完整模型空间之间的损失景观提供了新的理论视角，展示了模型参数如何保持在一种易于恢复到被遗忘知识状态。

受此前关于扰动促进鲁棒遗忘的工作启发 [18], [19], [20]，我们提出了一种新颖的遗忘框架，旨在主动缓解虚假遗忘。我们的方法在特定的模型层引入梯度对齐的对抗性扰动，我们称之为主动扰动层，以防止模型错误地保留对被遗忘数据集的记忆。此外，为了增强这些扰动的有效性并解决通信效率的挑战，特别是在客户端级别遗忘中，我们集成了知识蒸馏。我们使用知识蒸馏来提取并扰动梯度方向，确保模型被有针对性地、高效地主动推离被遗忘的知识空间。通过聚焦梯度方向，我们的方法实现了更深入、更鲁棒的遗忘，有效防止了隐式记忆的快速重新激活。

我们广泛的实验结果证明了本方法的有效性。对于类级别遗忘，虽然其他方法在包含被遗忘类数据的少量重新训练轮次后表现出被遗忘类性能的立即和完全恢复，但我们的方法表现出类似于标准重新训练的渐进恢复过程。此外，遗忘和恢复过程中模型权重和特征的演变与标准重新训练保持一致。对于客户端级别遗忘，后门攻击最初嵌入在特定客户端中，现有方法在遗忘后显示后门ASR下降，但在使用无后门客户端重新训练时ASR出现明显回升。相比之下，我们的方法即使在重新训练后仍保持持续较低的ASR，标志着后门记忆的真正根除。这些发现强调了表面性能下降与真正知识消除之间的深刻差异。我们的贡献有四个方面：

• 1.
  我们形式化地识别并刻画了机器遗忘中普遍存在的虚假遗忘现象，挑战了该领域现有的评估指标和假设。
• 2.
  我们从多个角度提供了全面的实证证据和分析见解，包括隐状态轨迹和主成分分析，以理解虚假遗忘的底层原因和机制。
• 3.
  我们通过检查损失景观从理论上分析了虚假遗忘的根本原因，解释了为何模型保留隐式记忆且易于快速恢复。
• 4.
  我们提出了一种创新的遗忘框架，融合了由知识蒸馏引导的梯度对齐对抗性扰动，通过A-Layer和R-Layer策略有效缓解了虚假遗忘，为机器遗忘提供了一种鲁棒的、通信高效的且真正遗忘的解决方案。

章节摘要

机器遗忘

MU旨在消除特定训练数据对预训练模型的影响 [1], [21]。具体而言，假设我们有一个模型 $$，它是通过对训练数据集 $$ 应用学习算法 $$ 得到的预训练模型。对于一个子集 $$，我们将 $$ 称为遗忘集，而 $$ 表示保留集。机器遗忘算法的目标是从原始模型 $$ 中移除遗忘集 $$ 的影响并生成一个遗忘后的模型 $$，该模型应当表现出类似于

深入探讨机器遗忘中的虚假遗忘

在本节中，我们探讨机器遗忘中的虚假遗忘现象。我们从多个角度研究虚假遗忘现象：性能、损失景观、权重更新和特征。随后的讨论将探究虚假遗忘的底层原因。详细的实验配置见第5节。

所提方法

在本节中，我们提出了一种有原则的遗忘框架，旨在通过主动破坏神经网络的隐式记忆来消除虚假遗忘。我们首先形式化地定义问题并提供所提方法的概述。然后，我们介绍了针对特定层的主动扰动（A-Layer），它注入由知识蒸馏引导的梯度对齐对抗性扰动。接下来，我们描述了针对特定层的重初始化（R-Layer），该策略选择性地重置

实验设置

数据集和模型 我们在四个不同的数据集上进行了实验：FashionMnist、CIFAR-10、CIFAR-100和Tiny-ImageNet，分别使用LeNet、ResNet-18、ResNet-50和VGG-16。FashionMNIST包含60,000张大小为28 $$ 28的灰度图像，涵盖10个类别。CIFAR-10和CIFAR-100由60,000张分辨率为32 $$ 32的彩色图像组成，其中CIFAR-10包含10个类别，CIFAR-100包含100个类别。对于这两个CIFAR数据集，训练、验证和测试集划分包含

结论

在本研究中，我们解决了机器遗忘中一个极为重要的问题，即虚假遗忘，该问题在实际应用中引发了严重关切。我们的全面研究表明，虚假遗忘的隐式记忆存在于神经网络的层中，并进一步分析了虚假遗忘的关键成因和评估方法。所提出的策略，包括针对特定层的扰动或重初始化，为缓解虚假

CRediT作者贡献声明

王聪：撰写–初稿、可视化、验证、软件、方法论、调查、正式分析、数据整理、概念化。糜志隆：撰写–审阅与编辑、项目管理、方法论、调查、概念化。曹一帆：撰写–审阅与编辑、方法论。尹子乔：撰写–审阅与编辑。郭炳辉：撰写–审阅与编辑、监督、资金获取。

利益冲突声明

作者声明，他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能会影响本文所报道的工作。

致谢

本工作得到脑科学与类脑智能技术-国家科技重大专项（项目编号：2021ZD0201302）、国家自然科学基金（项目编号：62388101）、中央高校基本科研业务费以及北京区块链与隐私计算高精尖创新中心的支持。

王聪 于2023年从北京航空航天大学获得信息对抗技术专业学士学位。目前为北京航空航天大学博士研究生。其主要研究方向包括联邦学习、隐私计算、信息对抗以及人工智能安全。

王聪|糜志隆|曹一帆|尹子乔|郭炳辉