面向连续小样本关系抽取的任务导向动态知识蒸馏研究

为解决连续小样本关系抽取(CFRE)中灾难性遗忘和稳定性-适应性平衡难题，研究人员提出任务导向动态知识蒸馏(TODKD)模型。该研究通过双层级任务空间分离知识蒸馏和动态权重损失设计，显著提升模型在FewRel和TACRED数据集上的性能，为小样本场景下的持续学习提供新范式。

　　

在自然语言处理领域，关系抽取(Relation Extraction, RE)犹如构建知识图谱的"基石"，其核心任务是识别文本中实体间的语义关联。然而现实世界中，新关系如雨后春笋般涌现，传统RE模型却困于"学新忘旧"的窘境——当接触新关系时，原有知识会遭遇灾难性遗忘(Catastrophic Forgetting)。更棘手的是，实际场景往往仅能提供少量标注样本，这使得连续小样本关系抽取(Continuous Few-Shot Relation Extraction, CFRE)成为极具挑战的研究方向。

现有解决方案多依赖知识蒸馏技术，但无论是单教师模型(如SCKD)还是双层级模型(如JACKD)，均存在知识蒸馏干扰新关系学习、难以平衡稳定性(Stability)与适应性(Adaptability)的缺陷。针对这些痛点，云南某研究团队在《Knowledge-Based Systems》发表创新成果，提出任务导向动态知识蒸馏(Task-Oriented Dynamic Knowledge Distillation, TODKD)模型。

研究团队运用三项核心技术：首先采用提示学习(Prompt Learning)激活预训练语言模型(PLM)的语义知识；其次设计双层级任务空间分离知识蒸馏，通过不同阶段教师模型指导对应样本训练；最后创新动态权重损失函数，根据任务轮次自动调整损失权重。实验数据来自FewRel和TACRED两大基准数据集，其中FewRel包含精细划分的80个关系类别。

双层级知识蒸馏架构
通过分离不同阶段任务的样本特征空间，采用针对性教师模型指导训练。结果显示，该方法使旧关系F1值平均提升12.7%，有效缓解知识遗忘。

动态权重调节机制
基于任务轮次中样本比例变化自动调整损失权重。特征可视化证实，该设计使不同任务的关系特征分布更均匀，稳定性-适应性指标达到最佳平衡点。

少样本数据增强策略
利用大语言模型(LLM)生成多样化记忆样本，结合提示模板将少样本(5-shot)场景下的识别准确率提高9.3%。

在最终任务测试中，TODKD模型以83.4%的综合准确率超越所有基线模型，其中旧关系召回率保持率达91.2%，新关系识别准确率较SCKD提升15.6%。该研究不仅为CFRE任务建立新基准，其动态知识蒸馏框架对医疗文本挖掘、临床决策支持等少样本持续学习场景具有重要启示。值得注意的是，团队发现LLM增强的样本需配合空间隔离策略才能避免特征混淆，这一发现为后续研究指明方向。

讨论部分强调，TODKD的成功源于"分而治之"的哲学：通过任务空间隔离实现精准知识传递，借助动态机制达成稳定与创新的辩证统一。作者Hexing Yang等指出，未来可将该框架扩展至跨模态持续学习领域，但需警惕LLM生成样本的语义漂移风险。这项来自中国学者的工作，为人工智能持续学习系统如何"温故而知新"提供了优雅的解决方案。