基于局部-全局对比嵌入学习的时序知识图谱补全

《Neurocomputing》：Temporal knowledge graph completion via local–global contrastive embedding learning

　　摘要
时间知识图谱由带时间戳的事实构成，是许多人工智能应用的核心基础；其完整性直接影响下游任务的性能。然而现实中的时间知识图谱往往存在缺失，因此从已有的事实中推断出缺失信息成为一项重要的研究课题。目前用于时间知识图谱补全的方法主要依赖基于嵌入的模型，通过将实体、关系和时间戳映射到低维向量空间中来预测缺失信息。尽管有研究采用注意力机制来编码结构信息，但大多数方法仅关注实体或关系周围的局部邻域，从而忽略了整个图的全局结构以及多时间尺度上的时间模式。为解决这些局限，本文提出了一种基于局部-全局对比嵌入的新时间知识图谱补全模型。在全局层面，利用自注意力机制对实体和关系进行编码，以捕捉图中的长距离结构依赖关系；在局部层面，则结合位置编码和时间持续时间嵌入与自注意力层，从而提取时间戳所携带的细粒度时间信号，全面描述实体和关系随时间的变化规律。此外，受对比学习启发，该模型还将全局结构表示与局部时间表示进行对比融合，有效对齐并强化实体和关系的嵌入表示。在ICEWS14、ICEWS05-15和GDELT三个常用评估数据集上的测试表明，该模型在各项指标上均表现出优异的性能，证明了其在时间知识图谱补全任务中的有效性。

引言
知识图谱是一种多关系图结构，用于存储现实世界中的事实，其中节点代表实体，边则表示实体之间的关联。知识图谱中的事实通常以三元组的形式表达，描述主体实体（头）与客体实体（尾）之间的关联关系。随着人工智能的快速发展，知识图谱已成为该领域的重要技术，并被广泛应用于推荐系统[1]、问答系统[2]、智能搜索[3]、文本分类[4]等实际任务中。然而，由于大多数知识图谱是通过手工或半自动化方式构建的，且标注成本较高，因此往往存在缺失问题，YAGO[5]和DBpedia[6]便是典型的例子。这种不完整性不仅限制了知识图谱在实际应用中的效果，也制约了人工智能的整体发展。因此，从现有三元组中预测缺失事实已成为一项重要的研究方向。在各类方法中，知识图谱嵌入技术备受关注，通过建模实体和关系、学习它们的低维隐藏表示，并利用评分函数评估每个三元组的合理性，已在知识图谱补全任务中取得了显著成果。

然而，并非所有三元组都永恒有效，许多三元组仅在特定的时间背景下成立。例如，某个三元组仅在2021年至2023年间为真。这类事实具有明显的时间敏感性，若用传统三元组表示则必然会丢失这一关键信息。为此，时间知识图谱将事实编码为四元组，以便捕捉如GDELT和ICEWS这类数据集中存在的“谁在何时对谁做了什么”这类动态关系。对于包含时间戳的时间知识图谱，常见的补全任务主要有两种：外推和插值。外推旨在利用历史数据预测未来可能成立的事实；而插值则结合过去和未来的信息，推断出特定时间范围内的事实。鉴于外推方法常常产生不可靠的结果，无法满足实际需求，本研究重点探讨通过插值进行时间知识图谱补全。具体而言，需要处理两类查询，其中“？”代表需要预测的实体。

目前大多数时间知识图谱补全模型[7]、[8]、[9]都是在对静态知识图谱补全方法的基础上发展而来的，它们为每个时间戳计算隐藏表示，并在评分函数中同时建模实体、关系和时间信息。但这些方法存在明显缺陷：有些模型将时间信息嵌入实体表示中，而另一些则将时间信息注入关系嵌入中，这两种方式都无法对称地捕捉实体和关系的时间特征，导致时间信息的利用不够充分。与此同时，EvoExplore[9]和ConvTKG[10]等基于注意力的模型试图通过计算相关实体或关系之间的相似性模式，并赋予不同权重，以更好地捕捉复杂的结构依赖关系。近年来，研究人员还将大型语言模型引入时间知识图谱补全领域，以增强时间表示能力或实现参数高效的微调，进一步推动了时间知识建模的发展。在现实世界的时间知识图谱中，许多实体仅在特定时间区间内有效（例如某人担任某一职位的任期），许多关系也具有明确的时间约束（例如婚姻的持续时间）。因此，时间信息对实体和关系同样重要，只关注其中一方会导致对时间动态的不完整描述。不过，时间戳往往仅被视为额外的特征维度，被单独嵌入到实体或关系中，而没有将时间信号同时映射到这两个组成部分中，以反映它们之间的时间依赖关系。此外，尽管现有方法能够部分捕捉时间关系与图结构之间的交互作用，但它们大多只关注实体或关系周围的局部邻域，而忽视了整个时间知识图谱的全局时间模式。

为解决这些局限，我们提出了基于局部-全局对比嵌入学习的时间知识图谱补全框架LGCE，这一创新框架旨在全面捕捉时间知识图谱中的时间动态。与以往那些不对称处理时间问题或仅关注局部结构的方法不同，LGCE采用双编码架构，将细粒度的局部时间演化与粗粒度的全球结构依赖关系有机结合。具体而言，我们的方法首先使用局部时间感知型自注意力模块，独立且对称地建模实体和关系的时间敏感特性，确保时间信号深入嵌入到这两个组成部分中。同时，全局编码模块则利用自注意力机制学习与时间戳无关的表示，以捕捉整个图中的长距离依赖关系。为有效整合这两种不同的视角，我们引入了局部-全局对比学习策略，通过多级对比目标，弥合短暂局部变化与稳定全球趋势之间的差距。这种统一的方法使模型能够识别出单视图方法常常忽略的复杂时间模式。本项工作的主要贡献如下：
• 提出了一种局部时间感知型自注意力编码模块，该模块结合了实体级和关系级的时间自注意力机制，通过细粒度和粗粒度的策略动态建模时间演化，使表示结果能够有效捕捉实体和关系的时间敏感特性。
• 设计了全局编码模块，利用自注意力机制学习实体和关系的全局表示，无需依赖具体的时间戳即可捕捉它们的全局依赖关系。
• 提出了局部-全局对比学习策略，该策略采用多级多尺度的对比目标，有效弥合局部时间变化与全球时间趋势之间的差异，提升了学习得到的嵌入表示的时间区分能力。
• 将这三个组件整合为一个统一的架构，使得LGCE能够有效捕捉知识图谱的时空动态，在各类时间知识图谱补全任务中展现出优异的性能。

片段内容
静态知识图谱补全模型
传统的静态知识图谱补全方法可大致分为两类：嵌入模型和语义匹配模型。嵌入模型的核心思想是将实体和关系表示在连续的向量空间中，其中关系通常被建模为主体实体到客体实体的几何变换。最具代表性的模型TransE[12]就是将关系视为嵌入空间中的平移操作来实现这一理念。在TransE之后……

问题表述
时间知识图谱可视为传统知识图谱的扩展，通过引入时间信息来支持时间感知型的表示与推理[17]。据此，我们将时间知识图谱定义为由实体集、关系集和时间戳集构成的结构。它可以被看作是一个多关系有向图，其中的实体通过带有时间信息的边相互连接，每个事实都以四元组的形式表示，其中表示主体实体，表示关系，表示客体实体。

方法
本文提出的LGCE框架的整体架构如图1所示。对于由多个历史快照构成的时间知识图谱，LGCE遵循编码-对比学习-解码的流程。首先，局部时间感知型自注意力编码器通过将时间位置矩阵融入实体级和关系级的自注意力机制，构建出具有时间敏感性的实体和关系表示。这一部分对应于局部时间感知型处理。

数据集与评估指标
数据集：我们在三个常用的评估数据集上测试了所提出的方法以及几种对比模型，分别是ICEWS05-15、ICEWS14和GDELT。其中，ICEWS14包含2014年的事件记录，ICEWS05-15涵盖2005年至2015年的事件数据。对于GDELT数据集，我们采用了Trivedi等人[34]提取的子集，时间范围为2015年4月1日至2016年3月31日。为确保与以往研究的一致性和可比性，我们采用了相同的数据处理方式。

结论
本文提出了一种基于局部-全局对比嵌入的时间知识图谱补全模型LGCE，该模型能够在局部和全局层面同时整合结构特征和时间动态。在全局层面，自注意力机制用于建模全局依赖关系，捕捉实体和关系的结构语义；在局部层面，则通过位置编码和时间持续时间嵌入来建模时间戳的序列特征。此外，该模型还引入了对比学习机制……

未引用参考文献[41],[42]

CRediT作者贡献声明
朱波：监督、方法设计、研究实施、资金获取、概念构思。
袁荣：初稿撰写、方法设计、研究实施、概念构思。
邓超：监督、方法设计、研究实施、资金获取。
尹彦雷：审稿与编辑、资源协调、方法设计、研究实施。
Chiong Raymond：审稿与编辑、监督、方法设计、研究实施。

利益冲突声明
作者声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：朱波已向昆明理工大学提交了一项名为“基于局部-全局对比嵌入的时间知识图谱补全”的中国专利申请，目前该申请仍在审批中。其他作者则声明没有已知的可能构成利益冲突的财务利益或个人关系。

致谢
本研究得到了云南省重大科技项目（项目编号202302AD080001）、中国国家重点研发计划（项目编号2023YFB3308401）以及云南省外国专家计划（项目编号202505AP1200*10）的支持。朱波目前任职于中国昆明理工大学，他在中国重庆大学获得了博士学位，主要研究方向为知识图谱和大型语言模型。他在国际期刊和会议上发表了超过10篇论文，同时也是中国运筹学会的会员。

朱波|袁荣|邓超|尹彦雷|Chiong Raymond
中国昆明理工大学机电工程学院，昆明650500