一种结合结构化知识和大型语言模型的重排序方法，用于时间知识图谱预测

《Pattern Recognition》：A Structural Knowledge Enhanced Re-ranking method with large language models for temporal knowledge graph prediction

　　李波 | 宋斌 | 何天添 | 黄宇顺
中国陕西西安电子科技大学综合服务网络国家重点实验室，邮编710071

摘要
时间知识图谱推理（TKGR）旨在通过理解结构化事实随时间的演变来预测未来时间戳的未知事实，这对于金融风险预警和政策影响预测等应用至关重要。在本文中，我们提出了一种结合大型语言模型（LLMs）的结构知识增强重排方法（SKER）用于时间知识图谱预测。SKER是一种新颖的推理方法，它结合了图神经网络（GNNs）的结构建模优势和LLMs的推理能力，以提高TKGR任务的性能。在SKER中，我们分别通过设计的时间加权GNNs从时间和结构维度检索与推理任务相关的关键历史节点信息和上下文信息，从而在LLMs有限的输入令牌长度内提供准确的推理证据。此外，为了解决LLMs格式和内容不可控的问题，我们将TKGR形式化为预测的重排任务，并引入了双重标识符约束策略来细化LLM的输出，从而确保生成可靠的预测结果。实验结果表明，在不对LLMs进行微调的情况下，SKER在记录真实世界时间事件的基准数据集上优于现有方法，展示了其在利用LLMs进行TKGR方面的准确性和可靠性。

引言
时间知识图谱（TKGs）[1]是由以四元组（主体、关系、对象、时间戳）形式表示的事实组成的结构化知识库，通过包含时间戳信息来捕捉事实的时间演变，例如（联合国，与...举行双边会议，德国，2023-09-19）和（联合国，与...举行双边会议，印度，2023-09-19），如图1(a)所示。或者，根据事实的时间戳扩展的TKG构成了一个传统的静态知识图谱[2]，由以三元组（主体、关系、对象）形式表示的事实组成，如图1(b)所示。最近，TKGs领域专注于研究时间知识图谱推理（TKGR）方法，利用现有的时间信息来预测特定时间戳的未知事实[3]，这在金融风险预警[4]和事件演变预测[5]等实际应用中发挥着重要作用。例如，在图1中，四元组查询（联合国，与...举行双边会议，？，2023-12-02）中缺失的巴西元素是通过时间戳tT之前的已知信息来预测的。

TKGR需要同时考虑事实的结构依赖性和时间演变信息。以往的研究探索了各种建模TKGs的结构和时间特征的方法，并提出了多种TKGR方法。一些方法利用图神经网络（GNNs）[6]提取历史事实的结构特征，并采用循环神经网络（RNNs）或门控循环单元（GRUs）来捕捉历史KG序列中的时间特征。此外，还提出了时间逻辑规则[7]和强化学习（RL）[8]，通过引入时间维度信息和塑造时间感知的奖励函数来实现TKGR。尽管这些方法在时间预测方面取得了更好的性能，但它们忽略了关系上下文中的隐含语义信息，并且缺乏利用语义信息进行时间预测的能力。

最近，大型语言模型（LLMs）在推荐系统[9]和跨模态检索[10]等各个领域表现出色。一些研究初步探索了LLMs在图结构化数据理解[11]、知识图谱推理[12]和时间知识图谱问答[13]等任务中的结构化知识理解和时间推理能力。然而，在将LLMs应用于TKGR任务时，仍有两个挑战需要解决。首先，在LLMs有限的输入令牌长度内提供关键且有效的历史信息是困难的。通常，基于LLMs的TKGR方法会检索与查询问题相关的历史信息，并根据与查询时间戳的接近程度裁剪超出预设阈值长度的内容。然而，这些TKGR方法忽略了同一时间戳下不同历史时间戳和实体之间多样化关联关系的重要性，导致检索到的历史信息中包含与推理任务无关的事实信息。例如，在图1(c)中，所有与“2023年10月2日”时间戳相关的内容都与推理任务无关，而“2023年12月1日”时间戳下的信息（联合国，与...举行双边会议，印度）可能会误导LLMs生成错误的预测结果。此外，在LLMs有限的输入长度内可能缺乏关键的历史时间戳信息，例如在“2023年9月19日”时间戳下的有用信息（联合国，邀请，巴西）可能会因输入长度限制而被排除，如图1(c)所示。这些被忽略或未过滤的历史信息降低了LLMs的预测性能。

其次，LLMs的输出是不可控的，难以确保预测结果的准确性和可靠性。未经微调的LLMs对查询问题进行推理得到的预测结果可能与TKGs中的实体形式不匹配，或者超出实体的范围。例如，在图1(c)的答案格式2中，错误答案（4）中生成的“德意志联邦共和国”与TKGs中的德国不匹配，预测答案中实体和标识符之间的匹配关系不正确；错误答案（5）中生成的“阿拉伯联合酋长国（标识符：不可用）”在TKGs中并不存在。此外，通过引入候选实体的标识符将输出候选实体转换为相应标识符的方式存在输出格式不一致或输出标识符重复的问题。例如，在图1(c)的答案格式1中，错误答案（1）、（2）和（4）的格式不一致，错误答案（3）包含重复的标识符。这些由LLMs不可避免生成的错误答案形式限制了预测结果的准确性和可靠性。

为了解决上述挑战，我们提出了一种结合LLMs的结构知识增强重排方法（SKER），该方法包括两部分：一个结构知识引导的历史信息检索模块和一个知识约束的目标答案推理模块。前者旨在利用GNNs[14]的结构建模能力从时间和结构维度获取关键且高效的历史信息，从而为预测提供简洁准确的推理证据。后者旨在利用LLMs的语义推理能力对候选答案进行重排，并通过细化LLMs的输出来生成可靠的预测结果。具体来说，结构知识引导的历史信息检索模块通过基于查询相关信息对历史时间戳的重要性进行建模，从而过滤出关键的历史节点信息。此外，引入了一个相关关系选择器通过语义相似性过滤与查询相关的上下文信息。通过综合整合过滤后的历史信息，该模块可以在有限的令牌长度范围内检索到简洁有效的历史信息，从而引导LLMs进行准确的时间预测。为了解决LLMs格式和内容不可控的问题，设计了一个知识约束的目标答案推理模块，将TKGR形式化为对基于GNNs模型的候选答案的重排任务。因此，LLMs的输出被限制在有限的已知实体范围内，同时确保关键目标实体不被遗漏。此外，设计了一个双重标识符约束策略来标准化LLMs的输出格式，并通过利用输入提示来约束候选答案与其标识符之间的对应关系，避免重复输出。此外，根据输出标识符反向检索重排后的候选答案，以解决候选答案与TKGs中实体形式不匹配的问题。因此，LLMs可以为查询问题生成更可靠的预测结果。最后，LLMs的输出被解码为预测答案的概率分布，然后与基于GNNs模型的预测结果结合，生成更准确和全面的预测。这里，结构知识表示从历史TKGs编码的结构化表示，它捕捉了每个快照的图拓扑和不同快照之间的时间交互模式。具体来说，它是通过使用GNNs对TKGs进行建模获得的，为检索关键且高效的历史信息提供了指导。

本文的主要贡献总结如下：
- 我们提出了一种结合LLMs的结构知识增强重排方法，用于预测未来时间戳的未知事实。我们提出的SKER方法融合了GNNs的图结构建模优势和LLMs的语义推理优势，从而提高了其理解TKGs中复杂结构关系和时间信息的能力。
- 我们设计了结构知识引导的历史信息检索模块，从TKGs中捕获关键且高效的历史信息，从而在有限的令牌长度范围内为时间预测提供简洁准确的推理证据。此外，我们设计了知识约束的目标答案推理模块来控制LLMs的输出格式和范围，从而生成可靠的预测结果。
- 实验结果表明，SKER方法在记录真实世界时间事件的三个广泛使用的基准数据集上优于现有的最佳基线推理方法，验证了我们方法的有效性。

本文的其余部分组织如下：第2节回顾了与本研究相关的现有TKGR和基于LLMs的TKGR方法。第3节定义了问题并介绍了SKER的详细信息。第4节展示了SKER在TKG数据集上的实验结果和实验分析。最后，我们在第5节总结了本文。

**时间知识图谱推理**
TKGR旨在利用TKGs中的时间信息推断缺失的事实。根据缺失事实的时间戳范围，TKGR任务[15]可以分为两种设置：插值和外推。基于插值的TKG推理[16]旨在完成历史时间戳中的缺失事实。插值设置下的TKGR方法[17]通过引入时间信息，将静态KGs中的嵌入方法扩展到TKGs。

**方法论**
在本节中，我们提出了一种结合LLMs的结构知识增强重排方法（SKER）用于TKGR任务，整体架构如图2所示。特别是，我们在3.1节首先介绍了与TKG和TKGR相关的定义。为了在有限的令牌长度范围内提供更有效的信息，我们在3.2节设计了结构知识引导的历史信息检索模块，从TKGs中获取关键且高效的历史信息。

**实验**
在本节中，我们评估了所提出的SKER在四个记录真实世界时间事件的TKGR任务基准数据集上的有效性。我们进一步进行了消融实验，以验证SKER中关键组件的影响，并分析了SKER对正向和反向四元组的预测性能。同时，我们探讨了LLMs的模型大小、可调权重因子wf和历史信息长度对预测性能的影响。最后，我们进行了说明。

**结论**
在本文中，我们提出了一种结合LLMs的结构知识增强重排方法（SKER），用于预测未来时间戳的未知事实，该方法包括一个结构知识引导的历史信息检索模块和一个知识约束的目标答案推理模块。前者利用设计的时间加权GNN从时间维度检索关键的历史节点信息，并获取实体和关系的嵌入表示。

**作者贡献声明**
李波：撰写——原始草稿、验证、软件、方法论、概念化。
宋斌：撰写——审阅与编辑、监督、方法论。
何天添：撰写——审阅与编辑、监督、概念化。
黄宇顺：撰写——审阅与编辑、监督。

**伦理考虑**
本研究中使用的时间知识图谱数据集来自真实世界事件记录，涉及国家、组织和国际关系等实体。因此，如果将SKER的推理结果脱离其预定的研究背景，错误的预测可能会导致对真实世界事件的误导性解释。尽管TKGR经常被应用于风险分析或政策相关场景中，但作者声明他们没有已知的竞争性财务利益或个人关系，这些因素可能会影响本文报告的工作。致谢：本工作得到了中国国家留学基金委员会项目（项目编号：202406960051）和中国国家自然科学基金（编号：62372357）的支持。Bo Li目前在中国西安电子科技大学电信工程学院攻读信息与电信工程博士学位，他的研究兴趣包括多模态知识图谱、时间知识图谱、图神经网络和大型语言模型。