基于纠缠引导与代理约束的大语言模型机器遗忘框架
《IEEE Transactions on Dependable and Secure Computing》:Towards Mitigating Excessive Forgetting in LLM Unlearning via Entanglement-Guidance with Proxy Constraint
【字体:
大
中
小
】
时间:2026年09月23日
来源:IEEE Transactions on Dependable and Secure Computing 6.8
编辑推荐:
摘要:大型语言模型(LLMs)在可能包含私有或受版权保护内容的大规模数据集上进行训练。由于隐私和所有权方面的担忧日益增加,数据所有者可能会要求从已训练的模型中删除其数据。机器遗忘提供了一种实用方案,它能够在不进行完全重新训练的情况下移除特定数据的影响。然而,由于缺乏一种有原
摘要:
大型语言模型(LLMs)在可能包含私有或受版权保护内容的大规模数据集上进行训练。由于隐私和所有权方面的担忧日益增加,数据所有者可能会要求从已训练的模型中删除其数据。机器遗忘提供了一种实用方案,它能够在不进行完全重新训练的情况下移除特定数据的影响。然而,由于缺乏一种有原则的机制来调节遗忘边界,大多数现有方法仍面临过度遗忘的问题,从而导致不必要的效用下降以及隐私和鲁棒性风险的加剧。在这项工作中,我们提出了EGUP(带代理约束的纠缠引导遗忘),这是一种新颖的框架,利用纠缠和代理约束来引导遗忘过程,同时缓解过度遗忘。在每次迭代中,EGUP采用样本间纠缠来自适应地重新加权遗忘强度,将更大的遗忘努力分配给与保留知识语义更接近的待遗忘样本。在迭代之间,EGUP利用样本内纠缠来追踪每个待遗忘样本的表征变化,并动态调整其遗忘努力。此外,我们引入了一种代理约束,用于近似遗忘后模型的预期输出,形成一个参考边界以软性地正则化遗忘过程。EGUP与现有的基于梯度的目标兼容,可作为即插即用的增强模块。在TOFU和MUSE上的实验表明,EGUP在多个大型语言模型中一致地改善了遗忘-效用之间的权衡。此外,EGUP在保持可扩展性和鲁棒性的同时,达到了接近重新训练模型的性能。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号