选择性机器遗忘中的分数阶梯度记忆：强抑制伴随更大知识干扰

《Fractal and Fractional》：Valence-Aware Gradient Memory and Fractional Kernel Comparisons for LoRA-Based Language Model Unlearning

　　选择性机器遗忘旨在抑制目标信息，同时保留既有知识和通用知识。我们研究了低秩适应（LoRA）中基于效价的梯度记忆，将支持保留的方向与与遗忘相关的方向分离。早期实验使用了Gamma缩放指数移动平均而非真正的分数阶动力学；我们保留了这一区别，并引入了一种归一化的有限历史Grünwald–Letnikov（GL）分数阶积分累加器，其系数呈代数衰减。研究从合成Transformer优化和预训练文本分类逐步推进到因果语言模型实验，包括在TOFU Forget10上使用Qwen2.5-0.5B-Instruct进行的受控评估。一个经SciQ和WikiText正则化的教师模型降低了原始及改写版TOFU问题上的参考答案负对数似然（NLL），同时在单独审计中表现出较小的World Facts惩罚。基于这一固定教师模型，我们在三个随机种子下对四种遗忘方法进行了120次更新比较。双重GL在改写版遗忘集上实现了最大的NLL增长（），超过双重EMA（），但导致了更大的保留集（对比）和World Facts（对比）性能下降。精确配对符号翻转检验未确立统计显著性（GL对比EMA的）。使用分数阶记忆实现的更强抑制伴随着对保留知识和通用事实性知识的更大干扰，表明模型行为发生了转移，而非更具选择性的遗忘。目标信息究竟是真正变得不可访问，还是仅仅不那么容易被复现，仍未得到解决。