具有混合延迟的八元数值神经网络的固定时间同步：一种非分离范数方法

《Neurocomputing》：Fixed-Time Synchronization of Octonion-Valued Neural Networks with Mixed Delays: A Non-Separation Norm Approach

多跳知识图谱问答中，针对知识图谱不完整和强化学习奖励稀疏问题，提出SCR框架：首先通过知识图谱嵌入提取并补全子图，再利用强化学习进行多跳推理；同时设计基于语义相似性的奖励机制，结合原始问答奖励。实验表明在四个数据集上，尤其在知识图谱稀疏设置下，SCR模型显著优于基线方法，验证了子图补全和语义奖励的有效性。

　　近年来，随着人工智能技术的不断发展，知识图谱（Knowledge Graphs, KGs）在自然语言处理（Natural Language Processing, NLP）领域得到了广泛应用。知识图谱以其结构化的知识表示形式，为各种复杂任务提供了强大的支持。其中，知识图谱问答（Knowledge Graph Question Answering, KGQA）作为一项关键任务，其核心在于如何通过知识图谱的推理过程，对自然语言问题进行理解和回答。KGQA的任务目标是，基于给定的问题，从知识图谱中找到对应的答案实体。早期的研究主要集中在单跳问答（Single-Hop QA）任务上，即通过一个三元组（subject-predicate-object）即可直接得到答案。然而，随着问题复杂度的提升，多跳问答（Multi-Hop QA）逐渐成为研究的热点，这类任务要求模型在多个三元组之间进行推理，从而逐步接近最终的答案实体。

多跳问答任务的挑战主要体现在两个方面。首先，知识图谱本身存在不完整性的问题，即便在大规模构建的情况下，仍然有许多实体和关系缺失。例如，以Freebase为例，许多“Person”类型的实体缺少诸如“profession”、“place of birth”、“nationality”等关键关系，甚至“spouses”和“education”等信息的缺失比例也超过了90%。这种不完整性严重影响了基于强化学习（Reinforcement Learning, RL）的模型在推理过程中的表现，因为模型可能无法访问到正确的实体信息。其次，强化学习模型在训练过程中面临奖励稀疏的问题，通常只有在推理的最后一个时间步访问到正确答案时，才会获得正向奖励（1），否则奖励为零。这导致模型在训练过程中接收到大量零奖励，从而影响了其学习效果。

为了解决知识图谱不完整性的问题，现有研究主要采用两种方式：一种是通过引入外部资源，如文本、图像等，来丰富知识图谱的内容，但这种方法对外部资源的质量有较高的依赖；另一种是通过知识图谱嵌入模型（Knowledge Graph Embedding, KGE）在嵌入空间中进行隐式推理，从而突破连接边的限制。然而，这些方法在解释性方面存在不足，尤其是在黑箱模型的应用中，难以清晰地展示推理过程。因此，本文提出了一种新的解决方案，即在强化学习框架下构建一个“先完成，再推理”（Completion-Then-Reasoning）的模型，该模型不仅不依赖于外部资源，还能保持良好的解释性。

具体来说，该模型首先从给定的知识图谱中提取与问题相关的子图，并利用知识图谱嵌入模型预测和补全缺失的三元组。随后，模型在补全后的子图上进行多跳推理，逐步确定答案实体。这一过程的关键在于，子图的提取和补全仅依赖于原始知识图谱本身，而不受外部资源或后续推理过程的影响，从而避免了错误的传播。通过这种方式，模型能够在后续的多跳推理中获得更加准确的知识信息，提高整体的推理效果。

为了缓解奖励稀疏的问题，现有研究主要集中在如何引入额外的奖励机制，例如基于潜在函数的奖励塑造策略（Potential-Based Reward Shaping）或利用知识图谱嵌入模型的预测概率定义软奖励（Soft Rewards）。然而，这些方法在一定程度上仍然无法有效解决奖励稀疏带来的训练困难。本文提出了一种新的奖励机制，即基于原始问题和关系路径的语义奖励（Semantic Reward）。该奖励机制的定义是，原始问题与整个关系路径之间的语义相似度。通过这种方式，模型可以在推理过程中获得部分奖励，而不是仅仅在最终答案正确时才获得正向奖励。这样不仅提高了模型的学习效率，也增强了其对部分正确路径的识别能力。

本文的核心贡献主要体现在两个方面。首先，针对知识图谱不完整性的问题，提出了一种基于强化学习的“先完成，再推理”框架，该框架能够有效补全知识图谱中的缺失信息，并在补全后的子图上进行多跳推理，从而提高问答任务的准确性。其次，针对奖励稀疏的问题，设计了一种基于语义相似度的奖励机制，使得模型能够在推理过程中获得更丰富的反馈信息，提高训练效果。此外，本文在四个不同的数据集上进行了实验，包括PathQuestion（PQ）、PathQuestion-Large（PQL）、MoviE Text Audio QA（MetaQA）和WebQuestionSP（WebQSP），并在两种不同的设置下进行比较：默认知识图谱设置和稀疏知识图谱设置。实验结果表明，在默认知识图谱设置下，本文提出的SCR模型表现优于基线模型；而在稀疏知识图谱设置下，SCR模型的性能提升更为显著，有效地缓解了知识图谱不完整性的问题。

为了进一步验证SCR模型的有效性，本文还进行了消融实验（Ablation Experiments）和案例研究（Case Studies）。消融实验通过移除模型中的某些组件，评估其对整体性能的影响，从而确认各个组件的必要性。案例研究则通过分析具体的问答实例，展示模型在不同场景下的表现和推理过程。这些实验结果进一步支持了SCR模型在解决知识图谱不完整性和奖励稀疏问题方面的有效性。

此外，本文在实验过程中对数据集、评估指标、基线模型等进行了详细介绍。数据集的选择涵盖了多个领域和复杂度的问答任务，以确保实验结果的广泛适用性。评估指标包括准确率、召回率、F1值等，用于衡量模型在不同任务上的表现。基线模型包括传统的多跳问答模型、基于强化学习的模型以及其他改进方法，以确保比较的全面性。实验结果表明，SCR模型在多个数据集上均表现优异，特别是在稀疏知识图谱设置下，其性能提升显著，证明了该模型在处理知识图谱不完整性和奖励稀疏问题方面的有效性。

综上所述，本文提出了一种新的“先完成，再推理”框架，即SCR模型，以解决多跳知识图谱问答任务中的两个关键问题：知识图谱的不完整性和奖励稀疏性。该模型不仅能够有效补全知识图谱中的缺失信息，还能在推理过程中获得更丰富的奖励信号，从而提高模型的学习效果和推理准确性。实验结果表明，SCR模型在多个数据集上均表现出色，特别是在稀疏知识图谱设置下，其性能提升显著，证明了该模型在解决相关问题方面的有效性。未来，本文的研究成果可以为多跳知识图谱问答任务提供新的思路和方法，推动该领域的进一步发展。