DTD：用于持续知识图谱嵌入的动态温度蒸馏算法

《Neurocomputing》：DTD: Dynamic temperature distillation for continual knowledge graph embedding

　　

摘要

持续知识图谱嵌入（CKGE）旨在用新事实更新知识图谱的表示形式。近期，知识蒸馏被广泛用于CKGE中，以缓解灾难性遗忘现象，即模型适应新信息后，其在先前学习知识上的性能会显著下降。然而，这些方法主要采用静态蒸馏方式，对所有历史事实一视同仁。这种静态方法忽视了这样一个事实：稳定的事实需要严格保留，而变化中的事实则需要更大的灵活性。为解决这一问题，本文提出了一种名为动态温度蒸馏（DTD）的新框架。具体而言，蒸馏温度会根据历史样本的波动性在重放缓冲区中动态确定。模型对稳定知识应用较低温度以保持其不变，而对不稳定知识应用较高温度以允许其发生变化。结合多粒度结构蒸馏模块，DTD通过动态温度平衡了稳定性与可塑性之间的权衡。在四个基准数据集上的大量实验表明，DTD的性能可与现有的最先进方法相媲美。

引言

知识图谱是各种智能应用的基础，包括问答系统和推荐系统[1]、[2]、[3]、[4]、[5]、[6]。通过将事实结构化为关系三元组$$，知识图谱能够实现复杂的符号推理[7]、[8]。为了在机器学习框架中有效利用这些结构抽象，知识图谱嵌入将离散实体和关系映射到连续的潜在向量空间中，这一技术已在经典框架中被广泛研究，并推动了关系表示学习的发展[9]、[10]。

传统的知识图谱嵌入模型通常假设图是静态的。然而，现实世界中的知识不断变化，新的实体和关系会不断出现。由于从头开始重新训练模型在计算上代价高昂，因此出现了持续知识图谱嵌入技术，它能够在无需完整访问历史数据的情况下逐步更新表示形式，如图1所示。不过，渐进式的序列更新不可避免地会引发灾难性遗忘，即模型在适应新事实的同时，其在先前学习知识上的性能会下降。如何在减轻这种记忆侵蚀的同时保持模型对新事实的适应性，仍是CKGE领域的主要挑战。为解决这一问题，开放环境泛化需要复杂且自适应的学习机制来捕捉时间依赖性[12]。特别是在一些重要的知识驱动型下游任务中，如历史知识追踪[13]和差异关系学习[14]，跟踪内部知识状态的历史变化对于保持稳定的泛化能力至关重要。类似地，CKGE也需要一种具备演化意识的机制，以便在结构保留与增量数据整合之间实现平衡。

为缓解灾难性遗忘，现有的CKGE方法大多采用基于正则化和基于重放的混合策略。早期的正则化方法通过元学习公式严格限制参数层面的变化。例如，Sun等人提出的HERO框架[15]旨在寻找具有内在抗干扰能力的通用参数初始化方案。为了引入更精细的结构和语义正则化，后续的蒸馏方法逐渐发展出更复杂的架构调整方案。典型的例子包括Zhu等人提出的ETT-CKGE[16]，它利用任务驱动的标记来实现高效掩码；以及Li等人开发的SAGE[17]，它根据图更新规模动态调整嵌入维度。最近，Chen等人提出的DiffLE模型[18]通过基于扩散的重建方法直接处理嵌入空间的漂移问题，而Mu等人[19]和Shi等人[20]提出的相关策略则侧重于保护局部邻域交互流形。

尽管这些方法在实验上取得了不错的效果，但它们都基于静态蒸馏框架运行，采用恒定的温度或对所有历史交互应用相同的正则化权重。这种静态设计从根本上忽视了图中存在的非均匀演化特性。如图1所示，那些长期存在的基线事实，比如“托尼·斯塔克在斯塔克工业公司工作”这一三元组，在不同时间点的语义含义基本保持不变，而处于结构边缘的实体，如“钢铁侠”，则会因为新出现的强关联关系而发生表示变化，比如成为“复仇者联盟的成员”。采用统一的蒸馏基准无法应对这种结构差异：稳定的知识结构需要更强的约束来保持其表示形式，而变化频繁的事实则需要更高的灵活性。这一观点与自适应知识蒸馏的理念不谋而合[21]、[22]，该理念强调正则化惩罚应根据每个模型的内部理解状态进行动态调整，而非遵循统一标准。

为了实现这种差异化的正则化策略，首先需要量化历史事实的在线表示变化。虽然像SIT[23]和DGAR[24]、[25]这样的基于重放的方法会将历史交互保存在内存缓冲区中，但它们仅将这些重放样本用于原始数据的重新训练。它们没有利用重放数据来诊断模型对特定事实的语义理解在不同时间点上的变化程度，从而错过了确定蒸馏强度的关键信号。

基于以上思考，我们提出了一种名为动态温度蒸馏（DTD）的新框架。如图2所示，DTD将重放缓冲区用作在线诊断工具，用于衡量知识波动性，即特定事实在连续时间点上的结构重要性得分的绝对变化值。根据这一波动性指标，DTD能够动态调整针对不同实例的蒸馏温度：$$对于稳定性高、波动性低的事实，使用较低的温度以确保其表示形式保持一致；而对于波动性高、处于变化中的事实，则使用较高的温度，为其提供足够的灵活性以适应结构变化。

我们的主要贡献如下：

• •
  我们提出了DTD，这是一种将经验重放与知识蒸馏相结合的混合式CKGE框架，通过重放数据来诊断各个事实的表示波动性。
• •
  我们设计了一种基于波动性的动态蒸馏机制，该机制能够在多个结构层面上，以细粒度的三元组为单位，自适应地调整正则化强度，从而确保严格的拓扑一致性。
• •
  在四个基准数据集上的大量实验表明，DTD在缓解灾难性遗忘方面取得了良好且稳定的效果。

章节节选

相关工作

持续知识图谱嵌入（CKGE）[11]旨在在引入新事实的同时调整历史嵌入，同时避免灾难性遗忘现象。传统的知识图谱嵌入模型通常假设图是静态的[9]，一旦结构发生变化，就需要从头开始进行昂贵的全局重新训练。相比之下，CKGE则着眼于通过平衡稳定性与可塑性来实现知识的渐进式获取[26]、[27]。目前的相关方法主要可分为三类研究方向

问题定义

本节阐述了知识图谱持续扩展的数学基础以及持续知识图谱嵌入的核心目标。

提出的方法

本节详细介绍了所提出的DTD框架的设计思路。首先介绍该框架的整体结构，然后阐述基于历史的记忆缓冲区以及动态温度校准的具体机制。最后，还会介绍分层排序策略、多级蒸馏结构以及综合优化流程。

实验分析

本节通过回答以下研究问题来评估DTD的有效性：

• •
  (RQ1) DTD的性能是否优于现有的最先进CKGE方法？
• •
  (RQ2) 各个组件对整体性能的贡献分别是多少？
• •
  (RQ3) 记忆缓冲区的容量如何影响性能？
• •
  (RQ4) 动态蒸馏温度机制与固定温度机制相比有何优势？

结论

本文提出了动态温度蒸馏（DTD）这一新框架，它通过考虑关系知识的非均匀演化特性，旨在缓解持续知识图谱嵌入中的灾难性遗忘问题。该框架利用经验重放缓冲区来量化不同时间点上的表示波动性，从而自适应地调整蒸馏强度。这种策略既能够确保稳定结构模式的严格保留，又能为变化中的知识提供必要的调整空间

CRediT作者贡献说明

石向军：写作——审阅与编辑，写作——初稿撰写，可视化，验证，监督，软件开发，资源整理，项目管理，方法设计，研究实施，资金申请，形式化分析，数据整理，概念构建。穆崇：写作——审阅与编辑。张立宗：形式化分析。张金川：形式化分析。袁强华：项目管理。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢

本研究得到了国家自然科学基金（项目编号：62271125）、四川省科技计划（项目编号：2024NSFTD0033）以及中国博士后科学基金会（项目编号：2025M78146）的支持。

石向军目前在中国电子科技大学计算机科学与工程学院攻读博士学位。他的研究兴趣主要包括机器学习、知识图谱以及大型语言模型。

Xiangjun Shi|Chong Mu|Lizong Zhang|Jinchuan Zhang|Qianghua Yuan