法律大语言模型遗忘学习新范式：干扰提示-输出审查-参数更新的协同机制与基线构建

为解决法律大语言模型（Law LLMs）因记忆敏感/错误/过时信息导致的幻觉问题，研究团队创新性提出仅需遗忘序列的损失调整方法（UNFS），结合干扰提示与输出审查的推理机制，构建法律领域首个遗忘学习数据集及评估指标LawME。实验表明UNFS在三种法律遗忘任务中准确率下降16.53%的同时，保留数据性能损失仅0.02%-0.26%，为法律AI责任化发展提供新基线。

　　

随着法律大语言模型（Law LLMs）在司法咨询、文书生成等场景的广泛应用，其因记忆过时法律条款、错误司法解释或敏感判决信息而产生的"幻觉"问题日益凸显。这些被模型内化的错误知识如同顽固的"数字记忆"，导致生成内容存在法律效力风险。传统解决方案如重新预训练成本高昂，而通用领域的遗忘学习（Unlearning）方法面临梯度爆炸风险、依赖正负样本等局限，法律垂直领域更缺乏标准数据集和评估体系。

针对这一挑战，中国研究人员在《Expert Systems with Applications》发表的研究中，首次系统构建了法律遗忘学习技术体系。研究团队通过法律条款（Df_law）、司法解释（Df_int）和司法判决（Df_jud）三类遗忘数据集，开发仅需遗忘序列的损失调整方法（UNFS），结合干扰提示和输出审查的推理机制，并设计法律记忆评估指标（LawME）。关键技术包括：1）基于NVIDIA A100 GPU的UNFS参数更新；2）滑动窗口匹配的LawME自动评估；3）干扰提示模板生成技术。实验使用单机4卡配置，在CUDA11.7环境下验证方法有效性。

Definition of the Unlearning Task
研究明确定义法律遗忘任务框架：以法律领域预训练模型L_know为基础，将原始法律语料LD分割为遗忘集Df与保留集Dr，通过UNFS实现定向知识消除。

Unlearning Method
UNFS通过三重机制协同工作：1）参数更新阶段采用遗忘序列驱动的损失函数调整；2）推理时注入干扰提示（如添加过时法条编号）；3）输出阶段通过LawME滑动窗口比对审查敏感内容。该方法在MMLU通用任务测试中性能损失仅0.07%-0.15%。

Datasets and Configurations
构建的三类法律遗忘数据集经人工审核，包含12,879条法律文本。实验显示UNFS使模型在遗忘集上的AUC下降16.09%，而保留集准确率保持99.74%以上，证明其选择性遗忘能力。

Discussion
研究指出当前法律遗忘任务尚存局限：1）跨法系适应性待验证；2）动态法律更新机制未涉及。建议未来研究关注联邦遗忘等方向。

Conclusion
该工作为法律AI责任化发展奠定关键技术基础：1）首创法律垂直领域遗忘学习任务体系；2）UNFS方法实现16.53%的定向遗忘效率；3）LawME指标对混杂文本的评估鲁棒性达92.3%。研究团队开源了全部基线模型与数据集，推动形成法律AI安全治理新范式。

这项由Rui Shao、Yiping Tang等学者完成的研究，其价值不仅体现在技术层面的UNFS方法创新，更通过构建标准化评估体系LawME，为法律人工智能的合规发展提供了可量化的安全基准。特别是在处理《民法典》等频繁修订的法律文本时，该方法展现出显著的实践价值，为后续司法大模型的安全部署提供了重要参考。