DyFract：基于语义约束的动态分形嵌入方法，用于时间知识图谱的补全

《Neurocomputing》：DyFract: Dynamic fractal embedding with semantic constraints for temporal knowledge graph completion

　　英佩|江丹|饶远|王坦|徐先宝|金修|袁帅|杨娟|王荣贵
中国安徽省合肥市230036，安徽农业大学人工智能学院

摘要
时间知识图谱的完整性对下游应用至关重要。然而，现有方法大多侧重于关系建模，而忽视了实体随时间产生的内在动态结构变化。此外，它们往往无法将时间语义与逻辑语义有效整合到关系表示中。为解决这些问题，本文提出了一种基于语义约束的新型动态分形嵌入框架（DyFract），该框架通过分形特征捕捉实体随时间的动态变化，并共同约束关系中的时间语义与逻辑语义。具体而言，通过构建实体分形特征来描述实体在时间轴上的频率模式的复杂度与自相似性，从而为时间链接预测提供补充线索；同时，利用基于分形的实体表示之间的余弦相似度降低候选项的歧义性。进一步地，通过将多粒度周期性时间纳入四元数空间，并借助旋转、平移等几何操作整合时间信息，实现时间嵌入与关系嵌入的深度融合。通过将多种规则转化为几何嵌入正则化条件，可施加逻辑语义约束，确保几何空间中的语义一致性。在涵盖短期和长期时间范围的ICEWS14、ICEWS05-15以及GDELT基准数据集上的实验表明，DyFract的性能始终优于现有最先进模型，相比TLT-KGE可提升53%的相对性能，充分证明了其在时间知识图谱补全任务中的有效性。

引言
知识图谱以结构化三元组的形式表示现实世界中的概念、实体及关系。随着人工智能的快速发展，知识图谱已被广泛应用于大型语言模型推理[1][2]、推荐系统[3][4]以及智能问答系统[5][6]中。然而，传统的静态知识图谱采用“实体-关系-实体”三元组结构，仅关注与时间无关的事实，无法捕捉现实世界事实的时间属性与动态演化规律。为克服这一局限，时间知识图谱在传统三元组中引入时间维度，形成“实体-关系-实体-时间”四元组结构。由于时间知识图谱的准确性与完整性直接影响下游任务的性能，而现有时间知识图谱普遍存在不完整性问题，因此时间知识图谱补全技术应运而生，旨在推断特定时间点缺失的链接，提升时间知识图谱的可用性与可靠性。

现有的时间知识图谱补全模型采用多种技术手段将时间信息整合到几何嵌入空间中。基于基本几何运算的代表性方法包括TransE[7]、TCompoundE[8]和TeRDy[9]。对于对称关系的建模，CEC-BD[10]、RotateQVS[11]和EHPR[12]则依赖复杂的旋转或四元数旋转机制。此外，HGE[13]、TGeomE[14]和IME[15]通过多个几何子空间的乘积空间组合来捕捉时间模式。尽管这些方法取得了不错的性能，但它们通常依赖外部时间或关系因素来调整几何状态，忽视了实体的内在动态演化规律及其内部结构特征。与此同时，现有研究也探讨了时间知识图谱中关系的语义建模方法。一些方法注重将时间语义融入关系嵌入中，如TCrossE[16]和TLT-KGE[17]，但它们对关系之间的逻辑依赖关系关注不足。相反，基于规则的模型将逻辑约束引入关系表示中，包括LCGE[18]、RENN[19]和UKRM[20]，但它们未能充分融入时间动态因素。因此，现有方法很少能在关系嵌入中实现时间语义与逻辑语义的协同建模。

这些局限性揭示了时间知识图谱补全领域存在的两个核心挑战。首先，现有模型难以有效刻画实体的动态演化规律。大多数几何嵌入方法侧重于关系建模，忽视了实体随时间产生的内在动态变化，其实体表示被视为静态向量，其时间动态仅通过时间戳变换间接体现。这样一来，实体的重要特征，如出现频率模式、长期行为规律以及不同时间戳下的结构演化趋势，都未被明确建模。若不能有效捕捉这些内在动态，就难以区分那些具有相似关系背景但时间行为不同的实体。其次，现有的时间知识图谱补全模型往往难以在关系嵌入中同时建模时间语义与逻辑语义。侧重时间建模的方法常常忽略关系之间的逻辑依赖，而基于逻辑语义的方法虽强调逻辑约束，但对时间信息的整合不够充分。这种分离使得时间语义与逻辑语义信息无法得到协同表示，进而限制了模型捕捉时间知识图谱中复杂推理模式的能力。

为更好地理解实体的动态演化规律，我们分析了真实世界时间知识图谱数据中实体在不同时间戳下的出现模式。如图1(a)所示，三个典型实体分布在由不同上下文环境构成的三维空间中的时间维度上。将这些出现事件投影到时间轴上，即可得到时间频率序列，如图1(b)所示，每个实体在不同时间戳下的出现频率各不相同。基于这些时间频率序列，可进一步推导出时间演化曲线，以描述实体随时间的动态行为模式，如图1(c)所示。具体而言，图1(b)中的两个实体在时间戳上的频率变化趋势相似，因此在图1(c)中呈现出高度相似的时间演化曲线。相比之下，第三个实体则呈现出明显的不同频率变化模式，从而导致其演化曲线也有显著差异。这一观察结果表明，具有相似时间演化模式的实体在相近时间间隔内往往具有相似的活动水平，因此更有可能参与时间知识图谱中的相同或相关事件；而时间模式差异较大的实体则关联度较低。由此可见，反映实体动态演化特征的时间结构特性可为时间链接预测提供重要线索。先前研究已表明，分形特征在捕捉复杂数据结构中的动态演化模式方面具有显著效果[21][22][23]。基于分形的分析能够揭示时间序列中的内在结构特征，如结构复杂度与自相似性。这些特性表明，分形描述符为刻画实体出现序列中的时间演化模式提供了一种合理的方法，也为建模时间知识图谱中实体的内在时间动态提供了可能。

受此启发，我们提出了DyFract这一新型时间知识图谱补全框架，它引入了带有语义约束的动态分形嵌入机制。DyFract的核心思想是通过分形特征构建来捕捉实体的内在时间演化模式，同时建模关系中时间语义与逻辑语义之间的相互作用。据我们所知，这是首次尝试将分形特征引入时间知识图谱补全领域，用于建模实体演化模式。具体而言，我们分析实体的时间频率模式，在时间维度上构建分形描述符，包括用于衡量结构复杂度的盒计数维数，以及用于量化长程时间自相似性的赫斯特指数。这些分形特征使得实体嵌入矩阵能够同时编码实体间的外部关系相关性以及实体自身的内部时间结构。对于那些在时间戳上出现频率较低的稀疏时间实体而言，这种表示方式尤为有用，因为分形特征能让模型即便从少量观测数据中也能捕捉到潜在的时间规律性。同时，我们还设计了时间-逻辑语义约束模块，该模块能够深入整合时间信息与关系信息，同时约束复合关系中的逻辑语义。通过构建多粒度周期性时间嵌入，并引入多种类型的规则模块，直接的蕴含规则与复合关系规则被转化为几何嵌入空间中的损失约束，从而确保几何匹配过程与现实世界的语义逻辑保持一致。

本文的主要贡献如下：
(1) 我们提出了DyFract这一新型时间知识图谱补全框架，它通过引入分形特征来学习动态实体表示，并捕捉实体的内在时间演化模式。据我们所知，这是首次尝试将分形特征用于时间知识图谱补全，以建模实体演化模式。
(2) 我们开发了动态分形嵌入模块和时间-逻辑语义约束模块，使模型能够同时捕捉实体的演化动态，以及关系嵌入中的时间-逻辑语义。
(3) 在ICEWS14、ICEWS05-15和GDELT三个基准数据集上的大量实验表明，DyFract的性能始终优于现有最先进模型，充分证明了该框架及基于分形特征的设计方法的有效性与通用性。

相关工作
本节回顾了时间知识图谱中链接预测任务的几种代表性方法，旨在评估现有解决方案的进展并梳理 emerging趋势。所讨论的模型主要聚焦于知识图谱补全任务，从三个角度进行阐述。首先，基于时间-语义几何学的时间知识图谱补全模型利用各种几何空间的数学性质，通过空间变换操作来描述实体、关系和时间戳之间的相互作用。

预备知识
本节详细介绍了分形特征的相关背景知识，并阐述了DyFract的基本概念。

DyFract的架构
本文提出了一种名为DyFract的新型时间知识图谱补全模型，该模型运用分形几何学动态捕捉实体随时间产生的分形特征，同时结合特定的几何操作与规则，实现对关系中时间语义与逻辑语义的同步约束。具体而言，DyFract将实体、关系和时间戳嵌入到四元数空间中。它首先计算实体的动态分形特征，并将其纳入四元数的实部中……

数据集
为全面、有效地评估DyFract的性能，本文选择了几类主流基准数据集，包括ICEWS14[37]、ICEWS05-15[37]和GDELT[38]。其中，ICEWS14和ICEWS05-15均为稀疏型时间知识图谱，它们都是通过子采样从综合危机预警系统（ICEWS）中提取的。这些数据集分别收集了2014年1月1日至2014年12月31日、2005年1月1日至2015年12月31日以及2018年1月1日至2018年12月31日的事件记录。而GDELT则是……

结论
本文提出了一种名为DyFract的面向时间知识图谱补全的新型动态分形嵌入框架，该框架带有语义约束。据我们所知，这是首次尝试将分形特征引入时间知识图谱补全领域，用于建模实体演化模式，它能够通过分形特征实现实体的动态表示，同时捕捉关系中的时间语义与逻辑语义。这一设计通过整合互补的信息形式，填补了该领域的一个关键研究空白。

CRediT作者贡献说明
英佩：撰写——初稿、方法论、资金获取、正式分析、数据整理、概念构思。江丹：撰写——审阅与编辑、可视化、项目管理、方法论、研究调查、资金获取、正式分析、概念构思。饶远：撰写——审阅与编辑、研究调查、资金获取。王坦：可视化、概念构思。徐先宝：概念构思。金修：可视化、概念构思。袁帅：撰写——

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。英佩是安徽农业大学智能科学技术系的本科生，她学术表现优异，研究兴趣包括知识图谱嵌入与大型语言模型推理。