基于LLM增强的时序知识图谱推理：语义与结构的双重视角

《Pattern Recognition》：LLM-augmented temporal knowledge graph reasoning: A dual-view of semantics and structures

　　我们提出了一种基于大型语言模型（LLM）的编码方法，用于权衡相关的语义上下文。我们还提出了一种结构分离模块，用于过滤虚假的相关性。广泛的实验表明，LDRS在性能上显著优于现有的方法。

引言
知识图谱（KGs）以结构化的方式表示现实世界的事实，形成一个多节点图，其中每个事实表示为一个三元组（s, r, o），s 和 o 分别表示主体和对象实体，r 表示它们之间的关系。KGs 在智能问答系统[1]、[2]和推荐系统[3]等应用中发挥着重要作用。然而，现实世界中的知识本质上是动态的，随着新事件的发生和关系随时间的变化而不断演变。为了捕捉现实世界事件的动态演变，时间知识图谱（TKGs）通过引入时间维度来扩展静态KGs，将动态事实表示为四元组（s, r, o, t），其中 t 表示特定的时间戳。通过捕捉知识随时间的发展，TKGs 成为了建模时间敏感的现实世界过程的关键工具。在这种情况下，一个核心任务是时间知识图谱推理（TKGR），其目的是根据观察到的历史事件预测未来或缺失的事实。

最近的时间知识图谱推理方法主要通过神经网络架构学习实体和关系的低维嵌入。这些架构从序列子图中聚合时间模式，以捕捉关系交互的演变特性。代表性的方法通常使用多种神经架构。例如，它们利用循环神经网络（RNNs）来跟踪实体状态随时间的变化[4]，使用增强复制机制的关系图卷积网络（R-GCN）来捕捉演变的关系模式[5]，将关系感知的图卷积与门控循环单元（GRUs）结合来编码历史快照[6]，并采用advanced机制融合局部邻域信息和全局历史来学习复杂的时间依赖性[7]。尽管它们在捕捉结构规律性方面非常有效，但整合上下文使用和潜在的语义关联对于推进时间知识图谱推理至关重要。例如，如图1(a)所示，事实（挪威，访问突尼斯，2023年）和（挪威，访问哥斯达黎加，2022年）具有相同的主体-关系对。然而，目标实体反映了由不断变化的地缘政治环境塑造的不同外交优先级：挪威对突尼斯的访问反映了最近的战略一致，而对哥斯达黎加的访问则源于长期的双边关系。当仅从结构模式中推导出表示时，这些细微的差异通常会丢失。现实世界的时间知识图谱具有高度动态性，新的实体、关系和事件组合不断出现。例如，在广泛使用的基于事件的TKG数据集ICEWS中，大约40%的事实涉及从未出现过的主体-关系-对象三元组[8]。因此，稳健的推理不能仅依赖结构规律性或过去的重复性。

近年来，大型语言模型（LLMs）在时间推理[9]、[10]方面展示了令人惊讶的能力，它们利用强大的上下文处理和模式识别能力从TKG历史中提取有意义的时间模式和复杂依赖性。这一趋势是更广泛运动的一部分，其中LLM驱动的表示学习丰富了语义建模，并减轻了结构化数据领域中的数据稀疏性问题，包括推荐[11]、[12]，这激发了将这种语义基础引入TKG推理的动机。最近基于LLM的时间知识图谱推理方法[13]、[14]、[15]主要依赖于聚合历史信息（全局和局部历史）来预测未来事实。然而，这种直接整合往往会将长期的结构模式与短期的上下文噪声混合在一起，因为LLMs的语义表示并没有明确与TKGs的结构演变动态对齐。例如，如图1(b)所示，由于最近的外交讨论，LLM可能会给（挪威，访问突尼斯，2023年）赋予较高的语义可信度，而尽管挪威与哥斯达黎加有着数十年的战略伙伴关系，却对其赋予较低的分数。当这些未经校准的语义信号直接融合到结构编码器中时，模型会将短暂的媒体驱动的叙述与持久的关系结构混淆起来，导致对短期一致的过度估计。现有的基于LLM的方法无法有效区分稳定的关系信号和短暂的噪声。因此，它们在复杂、稀疏或嘈杂的时间环境中仍然容易学习到捷径相关性。

为了解决上述挑战，我们提出了一个称为LDRS（LLM增强型双视图语义和结构推理）的新框架，该框架结合了语义可信度和结构动态性来进行TKGR。LDRS首先通过提示大型语言模型评估历史事实的上下文合理性，生成区分持久关系模式和短暂事件的语义可信度分数。然后使用这些分数在结构编码器中温和地调节信息传递，从而明确分离稳定的核心交互和短期噪声。预测是通过多因素评分机制来执行的，该机制将核心结构表示与语义嵌入相结合，确保候选事实在结构兼容性、语义相关性和时间一致性方面得到全面评估。

我们工作的核心贡献可以总结为以下几点：
- 我们提出了一种基于LLM的编码方法，采用注意力加权聚合（AWA），能够高效地从历史数据中提取并权衡最相关的语义上下文。
- 我们提出了一种结构分离模块，用于识别和过滤实体交互中的虚假相关性，从而分离出准确预测所需的基本关系动态。
- 在四个基准测试上的广泛实验表明，LDRS在大多数评估指标上取得了最先进的结果。

本文的其余部分结构如下：第2节回顾了时间知识图谱推理的相关工作并分析了它们的局限性。第3节定义了主要的数学符号和概念。第4节详细介绍了我们提出的模型LDRS的设计。第5节详细描述了实验设置、使用的数据集、基线和性能评估结果。第6节提出了结论和讨论。

### 静态知识图谱（KGs）推理
静态知识图谱推理是通过仅利用静态知识图谱中存在的结构和关系模式来推断缺失的实体或关系的过程。TransE[16]及其扩展TransH[17]通过将实体和关系编码到低维向量空间中来表示KG语义，其中关系作为转换向量。虽然TransE因其简单性而被广泛使用，但由于其严格的加法定义，它无法建模多样化的关系类型。

### 定义
在本节中，我们定义了时间知识图谱和推理任务的形式化概念。关键符号在表1中总结以供参考。
- **定义1 时间知识图谱**：设 ?、? 和 ?? 分别表示实体、关系和时间戳的集合。TKG中的每个事实表示为一个四元组（????,??,????,??），其中 ????,????∈? 是主体和对象实体，??∈? 是连接它们的关系，??∈?? 是时间戳。整个TKG定义为 ??={(????,??,????,??)∣????,????∈?,??∈?,??∈??}。
- **定义2 时间知识图谱推理**：设 ??
### 方法论
在本节中，我们提出了一种新的LDRS框架，它结合了非结构化的语义上下文和结构化的演变模式来处理TKGR任务。整体架构如图2所示，包括三个核心组件：
- **第1部分：语义上下文聚合模块**：利用LLMs，该模块将历史叙述编码为上下文嵌入。它应用注意力加权聚合（AWA）将变长事件蒸馏成紧凑的表示，通过...

### 数据集
我们在四个广泛采用的时间知识图谱推理（TKGR）数据集上进行了实验：ICEWS14[8]、ICEWS18[8]、ICEWS05-15[8]和GDELT[4]。ICEWS数据集来源于综合冲突预警系统，该系统记录了从新闻报道中提取的国际政治和社会事件，并根据CAMEO事件本体进行编码；ICEWS14涵盖2014年，ICEWS18涵盖2018年，ICEWS05-15的时间跨度为2005年至2015年。GDELT来自GDELT...

### 结论
在本文中，我们提出了一种名为LDRS（LLM增强型双视图语义和结构推理）的新框架，以改进时间知识图谱推理（TKGR）。具体来说，LDRS引入了一个语义上下文聚合模块，利用大型语言模型丰富实体和关系的表示，从而更准确地理解复杂事件。此外，LDRS还包含了一个结构分离模块，该模块利用...

### CRediT作者贡献声明
Jingyuan Yang：撰写 – 审阅与编辑，撰写 – 原稿，验证，调查，形式分析。
Luyi Bai：撰写 – 审阅与编辑，撰写 – 原稿，方法论，资金获取，形式分析，概念化。
Jianze Lv：撰写 – 审阅与编辑，验证，形式分析。
Jinping Jiang：撰写 – 审阅与编辑，验证。

### 竞争利益声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

### 致谢
本工作得到了国家自然科学基金（61402087）和北方民族大学基本研究基金（2026QNPY04）的支持。