用于编辑基于语言模型的知识图谱嵌入的结构感知与参数高效框架

《Knowledge-Based Systems》：Structure-aware and parameter-efficient framework for editing LM-based knowledge graph embeddings

　　

• •
  我们提出了一种统一的结构化编辑框架，用于基于语言模型的知识图谱嵌入，该框架无缝集成了骨干预训练语言模型、并行编辑分支和超网络机制。
• •
  我们引入了三个互补模块：局部感知正则化、低秩编辑变换和关系感知编辑门控，实现了精确、可控且高效的知识更新。
• •
  我们进行了大量实验，证明了我们的模型取得了优异的性能。与参数密集型基线方法相比，我们的方法在编辑可靠性方面更高，同时计算开销显著降低，验证了结构感知高效编辑的有效性。

引言

知识图谱（KGs）是现代神经符号人工智能的基石，它将世界知识组织为三元组 $(h,r,t)$ 以支持各种下游应用，如信息检索 [1]、推荐 [2] 和科学发现 [3]。为了克服符号表示的稀疏性，知识图谱嵌入（KGE）技术将实体和关系映射到连续向量空间中 [4], [5]，相关的表示学习技术也进一步在工业推荐系统 [6]、工业行为生物特征识别 [7] 以及结合大语言模型的细粒度图像分类 [8] 中得到探索。最近，预训练语言模型（PLMs）的集成彻底改变了这一领域 [9], [10]。通过将三元组编码为自然语言序列，基于语言模型的知识图谱嵌入方法（例如 KG-BERT [11]、TGFormer [12]）利用了预训练语言模型的丰富上下文知识，并在稀疏实体和复杂推理任务等具有挑战性的场景下展现出优势 [13], [14], [15]。

尽管基于语言模型的知识图谱嵌入方法具有强大的表达能力，但它们面临着一个根本性困境：它们通常是静态的模型。随着现实世界知识的不断演变，从头开始重新训练这些大规模模型在计算上是不可行的。因此，知识编辑技术应运而生，旨在在不损害模型通用能力 [16] 的前提下，精确地注入或纠正特定事实，如图 1 所示。现有的解决方案大多借鉴了通用自然语言处理领域的技术，利用超网络（例如 KE [17]、MEND [18]）或直接权重调制（例如 ROME [19]）来更新前馈网络（FFNs），因为事实知识被认为存储在这些网络中 [20]。近期关于结构化知识建模的研究也强调了在表示学习中捕获层次化、历时性和差异性关系的重要性 [21], [22], [23]。

然而，一个关键差距仍然存在：通用预训练语言模型编辑器忽视了知识图谱的结构特性。与无结构文本不同，知识图谱受严格几何和逻辑性质的约束，例如传递性、逆关系和层次拓扑结构。我们认为，对基于语言模型的知识图谱嵌入方法施加无约束的编辑操作，会在嵌入空间中引发各向异性畸变 [24]。虽然此类更新可能纠正了目标事实，但它们通常会破坏已学习的几何流形 [25]，导致结构崩溃，使得有效的多跳推理路径被切断。现有方法采用统一的编辑策略，未能考虑这种关系异质性，导致对复杂关系的更新不足，或灾难性地遗忘相邻的结构依赖关系。例如，更新"首都"（CapitalOf）关系应严格保持函数映射特性，而更新"朋友"（FriendOf）关系则需要处理对称灵活性。

为了解决这些挑战，我们提出了一种既结构感知又参数高效的统一框架。基于知识更新在低内在维度内运行的假设 [26]，我们围绕三个核心创新设计了系统。首先，为了缓解结构崩溃问题，我们引入了局部感知正则化，该方法构建了基于拓扑的正则化集合，包含实体邻域和关系原型，明确惩罚非目标几何流形上的偏差。其次，我们提出了低秩编辑变换，用超网络生成的低秩分解替代全秩参数更新。这充当了谱正则化器，防止编辑器对目标样本中的高频噪声过拟合，同时大幅降低参数占用。最后，我们引入了关系感知编辑门控，这是一种可学习机制，根据关系的语义嵌入动态调节更新幅度，确保编辑操作尊重不同关系类型的语义刚性。总之，我们的贡献如下：

• •
  我们提出了一种统一的结构化编辑框架，用于基于语言模型的知识图谱嵌入，该框架无缝集成了骨干预训练语言模型、并行编辑分支和超网络机制。
• •
  我们引入了三个互补模块：局部感知正则化、低秩编辑变换和关系感知编辑门控，实现了精确、可控且高效的知识更新。
• •
  我们进行了大量实验，结果表明我们的模型取得了优异的性能。与参数密集型基线方法相比，我们的方法在编辑可靠性方面更高，同时计算开销显著降低，验证了结构感知高效编辑的有效性。

章节摘要

知识图谱嵌入与基于语言模型的知识图谱嵌入

经典的知识图谱嵌入方法旨在将实体和关系表示在连续向量空间中，并通过几何或语义评分函数对三元组进行评估。早期的平移模型以 TransE [27] 为代表，将关系建模为实体嵌入之间的平移操作，为链接预测提供了一种简单有效的范式。为了提高关系建模的表达能力，语义匹配模型如 DistMult [28]、ComplEx [29] 和 RotatE [30] 进一步扩展了

任务定义

知识图谱是结构化事实信息的仓库，通常表示为三元组 $(h,r,t)$，其中 $h$ 和 $t$ 分别表示头实体和尾实体，$r$ 指定连接它们的语义关系。形式上，知识图谱定义为 其中 $E$ 和 $R$ 分别表示实体集合和关系集合。现代知识图谱嵌入模型旨在将这些符号事实编码到连续向量空间中，以支持链接预测和关系推理。近期基于语言模型的知识图谱嵌入方法

实验设置

实验在 Ubuntu 20.04 环境下进行，使用 NVIDIA GeForce RTX 4090 进行模型训练。模型使用 PyTorch 框架实现，并在单张 GPU 上进行训练。在超参数调优方面，我们对关键超参数的多个取值范围进行了探索。学习率在 $[1\mathrm{e}?5,1\mathrm{e}?3]$ 范围内测试，批大小在 $\left[\mathrm{8,32,64,128}\right]$ 之间变化，低秩参数秩从 $\left\{\mathrm{1,2,4,6,8,16,32,64,128}\right\}$ 中选择。正则化权重

效率与性能权衡分析

我们分析了低秩编辑变换中参数 $r$ 的变化对模型性能的影响，并探讨了性能与效率之间的权衡关系。具体而言，我们记录了模型在 E-FB15k-237 和 E-WN18RR 两个数据集上的 Succ@1 和 RK@3 性能指标。实验结果如图 3 所示，揭示了 $r$ 的变化如何影响模型性能。

在 E-FB15k-237 上，随着 $r$ 从 1 增加到 8，Succ@1 和 RK@3 均快速提升。性能

结论

本研究提出了一种结构感知且参数高效的框架，用于编辑基于语言模型的知识图谱嵌入方法。通过联合整合局部感知正则化、低秩编辑变换和关系感知编辑门控，所提方法在轻量级编辑机制下支持精确的事实纠正和注入，同时保持非目标知识。在四个基准数据集上的实验结果表明，所提框架在可靠性方面均取得了优异的性能

CRediT 作者贡献声明

Wang Mingjie（王明杰）： 写作 – 审阅与编辑，写作 – 原始草稿，软件，方法论，概念构思。Gan Jianhou（甘建厚）： 可视化，监督，项目管理，资金获取。Ren Wenqi（任文琦）： 写作 – 原始草稿，监督，软件，调查研究，概念构思。Wang Jun（王军）： 验证，软件，资源，调查研究。Li Zijie（李梓杰）： 可视化，软件，方法论。Zhou Juxiang（周菊香）： 写作 – 审阅与编辑，验证，监督，概念构思。

利益冲突声明

作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

致谢

本研究得到以下机构支持：国家自然科学基金（编号：62166050）、云南省重大科技专项（编号：202402AD080002）、云南省基础研究计划项目（编号：202401AT070122）以及云南省教育厅科研基金（编号：2024Y159）。

王明杰|甘建厚|任文琦|王军|李梓杰|周菊香