综述：基于深度强化学习在稀疏知识图谱上进行多跳推理

推荐：本文提出一种混合多跳协作多智能体稀疏知识图谱推理模型（MASKGR），通过注意力动态补全（ADC）和可变规则引导（VRG）策略提升深度强化学习在稀疏知识图谱中的推理能力，在多个数据集上验证其有效性优于现有方法。（MASKGR）

　　

基于深度强化学习的多跳推理模型MASKGR旨在解决稀疏知识图谱（KGs）中因实体间路径不足导致的推理难题。传统嵌入方法虽能高效预测结果，但缺乏可解释性；而多跳推理方法虽提供推理路径，但在稀疏KG中性能显著下降。本文提出一种混合多跳协作多智能体模型MASKGR，通过构建关系智能体和实体智能体组成的协作系统，结合注意力动态补全（ADC）和可变规则引导（VRG）策略提升推理能力。

在ADC策略中，自注意力网络计算实体和关系动作空间的权重，基于注意力权重动态补全高价值关系的尾实体，扩展原始动作空间。例如，在查询任务（辽宁，位于国家，？）中，模型通过推理路径（辽宁→吉林→中国）提供证据链。VRG策略则在早期阶段设置高规则奖励和关系损失，后期转为高命中奖励和实体损失，增强规则引导的有效性。

实验在FB15K-237-10%、FB15K-237-50%、NELL23K和WD-singer数据集上进行，结果表明MASKGR在稀疏KG中表现优异。例如，在FB15K-237-10%上，MASKGR将平均倒数排名（MRR）提升1.3%，前3名正确尾实体比例（Hit@3）提升1.1%。该模型已集成至实际装配工艺规划系统中，通过学习工艺知识图谱提供流程推荐。

本文贡献包括：1）ADC策略利用嵌入模型预测缺失路径，动态补全动作空间；2）VRG策略通过动态调整奖励机制增强规则引导效果；3）实验验证MASKGR在稀疏KG中的优越性。未来研究可探索更高效的智能体协作机制及跨领域知识迁移能力。