基于强化学习的时序知识图谱多跳路径推理方法研究

研究人员针对时序知识图谱(TKGs)推理中时间信息利用不足、关系建模不精确及路径可解释性差等问题，提出基于强化学习的多跳路径推理模型RLPR。该模型通过时间戳分解策略降低参数复杂度，采用关系导向注意力机制增强交互建模，结合强化学习构建显式推理路径。实验显示，RLPR在ICEWS14数据集上链接预测指标最高提升15.07%，路径长度为2时部分指标提升达60.61%，显著优于现有方法。该研究为动态知识推理提供了兼具高精度与可解释性的新范式。

　　

在人工智能蓬勃发展的今天，知识图谱(KG)已成为智能搜索、推荐系统等领域的核心基础设施。然而现实世界中的知识并非静态——就像"奥巴马2009-2017年担任总统"这样的动态事实，需要时序知识图谱(TKG)通过(头实体，关系，尾实体，时间戳)四元组来精确刻画。尽管多跳推理方法在静态知识图谱中表现出色，但当面对时序推理任务时，现有方法却面临三重困境：时间信息被简化为单一嵌入导致参数爆炸，关系建模过度依赖实体表征而丧失语义精度，预定义推理路径严重制约模型灵活性。更棘手的是，这些"黑箱"模型难以提供人类可理解的决策依据，极大限制了在医疗诊断、金融风控等高风险场景的应用价值。

南京航空航天大学的研究团队在《Neurocomputing》发表的这项研究，创新性地将强化学习(RL)引入时序知识推理领域，提出RLPR模型。该研究通过分解时间戳为年月日组件实现参数高效编码，设计关系级注意力机制捕捉动态交互特征，并构建强化学习智能体自主探索最优推理路径。实验证明，该模型在ICEWS14数据集上链接预测指标最高提升15.07%，当路径长度设为2时，部分性能指标提升幅度更达惊人的60.61%，同时提供可视化的推理轨迹。这项突破不仅为动态知识补全建立了新范式，更在人机协同决策场景迈出关键一步。

关键技术方法包括：1)时间戳分解策略将原始时间编码维度从O(n)降至O(1)；2)关系导向注意力机制通过多头注意力计算关系交互权重；3)基于策略梯度的强化学习框架，以ICEWS等国际事件数据库构建训练环境；4)动态动作空间生成算法适配不同查询场景。研究选用ICEWS14、GDELT等标准数据集，采用MRR、Hits@1/3/10等指标进行系统评估。

【Static Knowledge Graph Multi-Hop Reasoning】
通过对比RLH等静态图推理模型，揭示传统方法因忽略时间约束导致的候选实体误判问题。实验显示引入时序信息后，在"特朗普2018年咨询谁"的查询中，RLPR能有效排除时间不匹配的"普京"选项。

【RLPR Model】
核心创新点包括：时间编码模块采用周期函数映射年月日分量，参数量减少78%；关系注意力层计算效率提升3.2倍；强化学习智能体在ICEWS14-2数据集上平均路径探索效率提升40%。

【Datasets and Evaluation Metrics】
在ICEWS14和ICEWS515上的对比实验表明，RLPR的MRR值分别达到0.412和0.387，显著优于ConvE等基线模型。特别在Hits@1指标上，对短期事件(ICEWS14)的识别准确率比时序模型TComplEx高13.56%。

研究结论指出，RLPR首次实现时序推理中精度与可解释性的统一突破。时间戳分解策略为动态知识建模提供参数优化范例，关系注意力机制开创语义感知新方向，而强化学习路径探索则建立人机互信桥梁。这些发现不仅推动知识图谱从"静态库"向"动态脑"演进，更为疫苗研发溯源、疾病传播预测等时间敏感型医疗决策提供方法论支撑。未来研究将探索跨模态时序推理及联邦学习框架下的分布式应用。