HMTE：基于记忆-Transformer表示学习的知识超图补全模型

《Neurocomputing》：HMTE: Memory-transformer representation learning for knowledge hypergraph completion

本文提出了一种创新的知识超图补全模型HMTE（Hypergraph Memory-Transformer Embedding），通过融合位置感知自注意力（position-aware self-attention）机制和选择性记忆层（selective memory layer），有效解决了超图学习中拓扑位置模糊和静态记忆瓶颈两大挑战。该模型通过动态相对位置编码捕获节点间显性与隐式位置关系，并利用状态空间模型（SSM）实现迭代式记忆更新，在多个真实数据集上展现了卓越的链接预测性能，为复杂多实体关系建模提供了新思路。

　　

亮点

• •
  我们首次提出混合框架HMTE，探索记忆机制与Transformer在知识超图中的融合潜力。
• •
  提出位置感知自注意力机制，通过构建显式和隐式位置嵌入生成动态相对位置偏移，将结构先验融入自注意力计算。
• •
  引入选择性记忆层，通过选择性状态转换实现路径依赖的迭代特征更新。
• •
  在多种知识超图和二进制知识图谱上的实验表明，HMTE实现了最先进的性能，凸显其普适性和有效性。

相关知识工作

我们回顾了知识图谱和知识超图的表示学习模型，主要包括三类方法：基于翻译的方法、语义匹配方法和神经网络方法。

知识超图

知识超图（E, R, T）包含实体集E、关系集R和元组集T。每个事实表示为F=r(e₁, e₂, …, e_k)，其中r∈R，e_i∈E。k表示关系r的元数，当k=2时为二元关系事实，k>2时为超二元关系事实。

方法论

HMTE模型架构如图2所示，核心包含两个模块：位置感知自注意力和选择性记忆层。前者融合显式与隐式位置嵌入，有效捕捉实体与关系的位置信息和上下文关联；后者引入记忆增强机制，突破无状态传播的局限性。

实验

我们在多个常用数据集上评估框架。5.1节描述数据集、基线、评估流程、参数设置和硬件配置；5.2节在知识超图数据集上对比HMTE与多种基线，证明其优越性；5.3节在二进制知识图谱上评估模型泛化能力；5.4节进行消融实验与参数分析。

讨论

我们从多角度评估HMTE模型：6.1节分析训练收敛行为，评估效率与稳定性；6.2节检验位置信息在注意力机制中的作用；6.3节探讨不同记忆机制的有效性，聚焦SSM设计；6.4节通过案例展示HMTE如何解决超关系上下文中的关键挑战。

结论

本文提出知识超图嵌入模型HMTE，包含位置感知自注意力模块和选择性记忆层模块。前者有效编码显式与隐式位置信息，后者基于状态空间的记忆机制选择性保留多实体交互中的关键模式。在三个基准数据集上的实验结果验证了实体位置编码与记忆机制在复杂关系推理中的重要性。