机器遗忘作为安全问题:威胁、防御与隐私-安全-效用三难困境
《Computer Science Review》:Machine unlearning as a security problem: Threats, defenses, and privacy-security-utility trilemma
【字体:
大
中
小
】
时间:2026年10月24日
来源:Computer Science Review 17.5
编辑推荐:
•我们引入了两类此前遗忘学习综述中未曾涉及的攻击类别:机制依赖型攻击,其可行性取决于具体的遗忘算子(近似、SISA或基于梯度),以及侧信道攻击,后者利用的是计时、内存占用和API使用模式,而非模型输出。
•我们构建了面向机器遗忘学习的五阶段攻击生命周期,这是首个追踪攻击从侦察
•我们引入了两类此前遗忘学习综述中未曾涉及的攻击类别:机制依赖型攻击,其可行性取决于具体的遗忘算子(近似、SISA或基于梯度),以及侧信道攻击,后者利用的是计时、内存占用和API使用模式,而非模型输出。
•我们构建了面向机器遗忘学习的五阶段攻击生命周期,这是首个追踪攻击从侦察、投毒、请求利用、提取到痕迹清除全过程的框架,并将每个阶段映射到它所武器化的威胁类别。
•我们开发了涵盖五个防御层的攻防覆盖矩阵,揭示了哪些威胁仍未被覆盖,并确认条件预设投毒是唯一能够穿透除原始数据提交日志之外所有层的攻击。随后,该矩阵在序列式、预算感知型对手模型下被重新解读,标记了仅基于静态评估得出证据的评级,并新增了针对自适应删除序列、亚阈值链式攻击和女巫分布式洪泛的威胁块。
•我们将隐私—安全—效用三元悖论形式化为一个可证伪的命题:一旦遗忘目标与保留知识产生纠缠,没有任何方法能同时达成三者,并用MUSE、TOFU、RWKU和量化恢复结果在同一基准内的综合实验加以证实。
引言
从传统数据删除转向算法性遗忘,标志着在机器学习时代组织处理个人信息的方式发生了转变,因为模型通常会记忆训练样本[1]。与从数据库中确定性移除记录不同,降低特定数据点对已训练模型残余影响的过程因架构依赖性和算法非确定性而变得复杂[2]、[3]。这推动了该领域从朴素且计算代价高昂的重新训练转向机器遗忘学习:即在保持模型效用的同时,高效清除特定数据的贡献[4]。监管框架加速了这一转变,尤其是《通用数据保护条例》(GDPR)第17条——"被遗忘权"[5]、[6]、[7],以及《加利福尼亚消费者隐私法》[8],这些法规要求在收到用户请求后移除其训练数据[9]。然而,这一进步带来了悖论:一项旨在带来隐私收益的操作本身却引入了新的安全风险,通过模型差异泄露信息,并为通过恶意遗忘请求进行利用打开了大门[4]、[10]。正是这一悖论促使我们将遗忘学习不仅仅视为一种隐私保护机制,而是视为一个安全关键过程。
遗忘学习从模型中移除某些训练样本的影响[4]、[9]、[11],以在缩减数据集上重新训练的模型作为参照基准来评估移除效果,并在实践中通过以远低于重新训练成本的算子来逼近该参照基准。我们按照这些算子所携带保证的强度对其进行组织,并将其分为三类而非惯用的两类:精确遗忘[12]、具有认证的近似遗忘(提供正式的随机性界限),以及启发式近似遗忘[2](不提供任何保证,仅通过经验代理指标进行评估)。将后两者合并(如标准二分法所做的那样),使得经验遗忘分数可以被误读为似乎是一项保证,第3节将对此分离进行精确界定。精确遗忘以SISA(Sharded, Isolated, Sliced, and Aggregated,分片、隔离、切片与聚合)框架[6]为代表,是分布同一性的黄金标准:遗忘后的模型在统计上与从头重新训练的模型完全相同。然而,它需要一个可遗忘式设计的架构,要求大量的检查点存储,并造成了弱学习器问题——效用因碎片化的数据分片而牺牲[6]、[12]、[13]。近似遗忘则旨在实现统计不可区分性,其中仅其具有认证的子类别通过(ε,δ)-接近性在形式上确立了这一性质[14],而其启发式子类别(占据了绝大多数已部署和被基准测试的方法)则在不证明该性质的情况下瞄准同一属性。本综述仔细将两者区分开来,因为以下编目中大量安全面正位于经验遗忘分数与形式界限之间的鸿沟中。两类近似方法均通过基于梯度的更新来优先保证效率,以在不进行完全重新训练的情况下最小化残余影响[15],但它们并未严格移除目标点[16],且对于输出分布的高维性抵抗形式化保证所需估计的大语言模型(LLMs)来说,其认证尤为困难[17]。
在遗忘生命周期层面,数据级干预与模型级干预的选择反映了同样的张力[18]。数据级方法通过隔离、分区或精确重新训练来操纵训练数据或其影响;它们保证完全移除,并非常适合GDPR被遗忘权等严格的法律框架[19]、[20]。模型级方法通过直接修改已训练模型的参数来绕过大量重新训练,为大系统或实时系统带来优异的計算效率和可扩展性[21],但其统计不可区分性意味着近似而非精确删除,在权重中留下残余信息,这使得GDPR合规变得复杂,并削弱了对成员推断攻击(MIA)的抵抗力。
因此,数据驱动的精确遗忘移除了成员推断在隔离状态下针对遗忘后模型所利用的残余影响通道,而模型驱动的遗忘则需要持续的实证验证(通常以MIA成功率本身作为指标),以评估隐私泄露并确保鲁棒性[22]。我们在此立即指出,这一优势比通常所述的更为狭窄,且刚刚引入的两个维度不应被读作一种排序。精确性是相对于重新训练而言的终态属性,对转换过程本身并不说明任何事,因此比较W*与W_u的对手保留了一条精确性无法关闭的泄露通道,第4.5节记录了提供精确性的分片-聚合结构使得删除事件在聚合置信度向量中变得可见。第4.7节进一步明确了这一点,因为面对自适应请求者时,最先失效的删除保证恰恰是精确保证。
这种取舍的幅度如今已可测量而非仅止于修辞。在图像分类任务上,SISA式精确遗忘恢复了重新训练级别的准确率,但需付出一个数量级的切片检查点存储成本;而基于梯度的近似方法将遗忘时间缩短为重新训练的一小部分,代价是可测量的残余成员推断信号——精确方法可将此驱至随机水平[6]、[23]。因此,部署者的核心问题不是哪种方法"有效",而是每节省一单位计算所容忍的残余泄露量是多少;将这一选择框定为泄露-浮点运算比而非二元选择,正是区分一个具备部署就绪性的分析与一个仅为分类学的分析的关键[24]。
表1将本综述与近期工作进行了对比,涵盖了精确与近似遗忘算法的综合性与技术性综述[22]、[25],安全与隐私导向的攻击与防御分析[4]、[10]、[26],验证机制的专题论述[27],以及覆盖联邦学习、大语言模型和生成式AI的领域特定综述[16]、[24]。尽管这些工作提供了坚实的技术基础,但存在两个反复出现的结构性局限。第一,除Cosentino等人[24]的局部例外外,现有文献的综述时间窗口截止于2024年末或2025年初,遗漏了大量2025-2026年的进展,如偏差感知遗忘环路、Transformer专用基准协议和自适应对手。第二,虽然先前的综述编目了遗忘引入的攻击面,但对其所开启的遗忘悖论——即训练模型状态与遗忘模型状态之间的差异所形成的泄露通道——缺乏分析性讨论[26]。本综述同时弥合了这两个缺口,将时间窗口延伸至2026年以捕捉最新的Transformer时代基准与对抗性发展,并将差异通道作为安全导向分析的核心对象而非附带副作用。
本综述的范围沿技术、主题和方法论三个轴进行界定,以保持深度而非广度,聚焦于从机器学习模型中受控地移除训练数据影响。因此,以下三类相邻研究领域被排除在外:经典数据库级数据删除[2]、灾难性遗忘[24]以及不相关的模型类别[24];强化学习和非监督范式仅在作为监督模型遗忘机制时被纳入[24]。在主题上,仅附带提及遗忘的论文、纯粹的法律或政策论述而未涉及算法影响的论文[20],以及不涉及对抗鲁棒性、隐私泄露或验证的架构性大语言模型研究[16]、[17]均被排除。质量过滤进一步排除了缺乏摘要、方法论或实证证据的研究,以及社论、博客、短于六页的条目、已被取代的预印本和非英文出版物。检索窗口限定于2018年至2026年的同行评审文献,优先考虑IEEE、ACM、Elsevier、Springer和Nature索引的出版物,以捕捉最新的Transformer时代对抗性发展,同时排除遗忘尚未作为独立子学科出现的2018年之前时期。
由于机器遗忘位于隐私法、模型安全和算法问责的交汇处[11],本分析由继承自被遗忘权的三项承诺来框定。第一项是独立验证带来的透明性:可审计的算法定义[28]以及诸如SNARK[15]和可信执行环境[29]等密码学证据,可防止审计操纵——即选择性展示结果以伪装合规[30]。第二项涉及遗忘的双面性:它在防御上服务于后门和偏差移除[26]、[31],但可被武器化用于拒绝服务减速[32]、潜在后门激活[32]、[33],甚至以隐私为借口的审查或历史修正主义[34]。第三项是方法论性的:基准测试必须超越汇总准确率,在标准化删除机制下报告效用、校准、计算预算和成员推断审计[24],并辅以TOFU和WMDP等语料库[16]以及考虑遗忘能耗的绿色遗忘协议[21]。这些承诺构成了以下分析的伦理框架。
本综述做出四项主要贡献:
•我们引入了两类此前遗忘学习综述中未曾涉及的攻击类别:机制依赖型攻击,其可行性与具体的遗忘算子(近似、SISA或基于梯度)绑定,以及侧信道攻击,后者利用计时、内存占用和API使用模式而非模型输出。
•我们构建了面向机器遗忘学习的五阶段攻击生命周期,这是首个追踪攻击从侦察、投毒、请求利用、提取到痕迹清除全过程的框架,并将每个阶段映射到它所武器化的威胁类别。
•我们开发了涵盖五个防御层的攻防覆盖矩阵,揭示了哪些威胁仍未被覆盖,确认条件预设投毒是唯一能够穿透除原始数据提交日志之外所有层的攻击。随后,该矩阵在序列式、预算感知型对手模型下被重新解读,标记了仅基于静态评估得出证据的评级,并新增了针对自适应删除序列、亚阈值链式攻击和女巫分布式洪泛的威胁块。
•我们将隐私—安全—效用三元悖论形式化为一个可证伪的命题:一旦遗忘目标与保留知识产生纠缠,没有任何方法能同时达成三者,并用MUSE、TOFU、RWKU和量化恢复结果在同一基准内的综合实验加以证实。
本综述其余部分组织如下。第2节介绍面向机器遗忘的端到端MLaaS架构及其脆弱点。第3节建立贯穿全文的形式化框架、标准方法论、符号和威胁模型假设。第4节呈现威胁分类法,第5节追踪完整的攻击生命周期。第6节综述安全遗忘的防御机制,第7节考察遗忘本身作为一种防御工具。第8节回顾新兴前沿,第9节提出评估框架。第10节以可视化框架和真实案例研究形式化遗忘三元悖论,第11节概述未来研究方向,第12节作结论。
章节片段
机器遗忘的系统架构
不同于传统的数据删除,现代遗忘学习(MU)被嵌入在端到端的机器学习即服务(MLaaS)管道中。其组件决定了漏洞产生的位置以及防御措施需要施加的位置。本节专门论述MU系统架构。
预备知识与工作流
在本节中,我们概述基础框架、四种遗忘方法、评估指标、威胁模型和符号表。
机器遗忘中的安全威胁分类法
遗忘转换会产生可利用的信号,使遗忘后的模型更容易受到MIA攻击。本节对新兴威胁进行分类,包括泄露、武器化删除和伪造,并引入机制依赖型和侧信道攻击。本节以第4.7节结尾,该节并非又一个攻击面,而是一个跨切面对手模型:自适应、预算感知型对手,它在观察到系统对前一个动作的响应后才选择每一个动作,并因此改变了……
机器遗忘中的攻击生命周期
对MU的对抗性利用并非单一事件,而是一个被称为攻击生命周期的多阶段递进过程。与针对静态模型的传统机器学习攻击不同,MU攻击武器化了动态更新过程,利用模型状态之间的转换来破坏完整性、隐私或可用性[4]。
第5节追踪了MU攻击的实际演进过程。
安全遗忘的防御机制
本节将对策措施划分为五个技术层面,并提供两个参考矩阵(6.6 攻击-防御映射矩阵、6.8 攻击生命周期中的防御覆盖矩阵),详述攻击覆盖范围和剩余缺口。由于两个矩阵所总结的证据绝大多数是针对静态对手收集的,第6.7节在4.7节所述的顺序式、预算感知对手模型下重新审视这些矩阵,并指出哪些评级在该模型变化下仍然成立。
机器学习遗忘作为防御机制
前面三个章节将机器学习遗忘视为一个攻击面——一种可被对手颠覆、武器化和伪造的能力。然而,攻击者利用同一操作植入后门时,将其反向使用则成为了一种移除后门的手段。与4 机器遗忘中的安全威胁分类、4.1 威胁模型与对抗能力、对抗知识、对抗角色:完整性、隐私性与可用性、4.2 信息泄露攻击不同,MU正从传统分类任务向基础模型和去中心化模型发展,即从样本级擦除向抽象行为移除转变。本节综述了六个此类前沿方向,逐一探讨第4节中第4.1节所述的安全考量——威胁模型与对抗能力、对抗知识、对抗角色:完整性、隐私性与可用性——如何应用于机器遗忘领域。第4.2节讨论的信息泄露攻击,第4.3节讨论的成员推断攻击,第4.4节讨论的评估框架。
安全遗忘的评估框架
本节详述评估框架:威胁模拟、安全指标、基准测试和可复现性。第9.3节还探讨了一个问题:目前是否存在一个统一的指标,能够同时评估遗忘效果、模型效用和安全性。
遗忘悖论:安全性与隐私性与实用性的冲突
机器遗忘在生产环境中的部署受制于三个基本支柱之间固有且日益被量化的冲突:隐私性(数据擦除的有效性)、实用性(模型准确性和泛化能力的保持)以及安全性(遗忘过程对对抗操纵的韧性)。这一"遗忘悖论"表明,以现有技术方法同时最大化这三个维度目前尚不可行。
未来研究方向
第10节的悖论与第6节的覆盖缺口共同设定了研究议程。我们将有前景的方向整理为六个主题。
结论
本综述将机器学习遗忘重新定义为一个安全问题,而非仅仅是效率问题。我们从删除能力与攻击者可利用能力之间的悖论出发,构建了一套六面威胁分类体系,通过五个阶段的攻击生命周期追踪威胁演化,将防御措施组织为五个层面,并将二者相互映射以揭示仍然存在的覆盖缺口。反转视角,我们展示了遗忘同样可以作为一种防御手段。
利益冲突声明
作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
Mueen Uddin | Hidayat Ullah | Saddam Hussain | Maha M. Althobaiti | Mohammad Shorfuzzaman | Abdulhalim Dandoush
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号