基于多头注意力和动态剪枝的静态知识图谱链路预测方法研究

《Complex & Intelligent Systems》：Link prediction for static knowledge graphs based on attention mechanism and deep graph propagation

　　

摘要

知识图谱应用场景的持续扩展增强了链路预测的研究意义。当前用于静态知识图谱链路预测的图神经网络方法经常面临节点特征过度平滑和深层信息退化的问题，阻碍了对图中结构模式和语义关系的全面利用。本研究旨在通过关注静态知识图谱补全问题，提出一种结合注意力机制和深度图传播的链路预测方法，以克服这些局限性。该方法通过优化语义图表示和分析实体关系，提高了链路预测的有效性。本文的主要贡献是一种复杂的图传播模型，称为多头注意力和动态剪枝图（MADPGraph），专为静态知识图谱链路预测设计，集成了多头注意力关系感知模块和动态剪枝技术。该方法首先创建以查询为导向的子图，以封装以头实体为中心的多跳邻域上下文信息。一种关系感知的多头注意力技术聚合查询关系、边关系和节点特征，使深度信息能够在多个注意力头上传播。在生成每个查询的上下文化节点表示后，引入了层间自适应动态剪枝模块。该模块在逐层传播过程中动态识别语义相关节点以限制子图大小，旨在降低由无关深度传播引起的特征同质化风险。它沿着关键路径保留语义信息，并通过确保各种剪枝路径上的统一表示来提高模型泛化能力。在典型静态知识图谱数据集和归纳基准数据集上的实验结果表明，MADPGraph相对于现有主流方法取得了有竞争力的性能，从而支持了所提出策略在静态环境中的有效性和泛化能力。

知识图谱应用场景的持续扩展增强了链路预测的研究意义。当前用于静态知识图谱链路预测的图神经网络方法经常面临节点特征过度平滑和深层信息退化的问题，阻碍了对图中结构模式和语义关系的全面利用。本研究旨在通过关注静态知识图谱补全问题，提出一种结合注意力机制和深度图传播的链路预测方法，以克服这些局限性。该方法通过优化语义图表示和分析实体关系，提高了链路预测的有效性。本文的主要贡献是一种复杂的图传播模型，称为多头注意力和动态剪枝图（MADPGraph），专为静态知识图谱链路预测设计，集成了多头注意力关系感知模块和动态剪枝技术。该方法首先创建以查询为导向的子图，以封装以头实体为中心的多跳邻域上下文信息。一种关系感知的多头注意力技术聚合查询关系、边关系和节点特征，使深度信息能够在多个注意力头上传播。在生成每个查询的上下文化节点表示后，引入了层间自适应动态剪枝模块。该模块在逐层传播过程中动态识别语义相关节点以限制子图大小，旨在降低由无关深度传播引起的特征同质化风险。它沿着关键路径保留语义信息，并通过确保各种剪枝路径上的统一表示来提高模型泛化能力。在典型静态知识图谱数据集和归纳基准数据集上的实验结果表明，MADPGraph相对于现有主流方法取得了有竞争力的性能，从而支持了所提出策略在静态环境中的有效性和泛化能力。