基于关系型约束的少样本知识图谱补全混合方法

《Neurocomputing》：Relation-type constrained mixup for few-shot knowledge graph completion

　　高青云|李飞|郭贵兵|吴云飞|王星伟
中国辽宁省沈阳市110169，东北大学软件学院

摘要
少样本知识图谱补全旨在通过从有限的头部-尾部对中学习未见关系的表示来推断缺失的事实。然而，现有方法在学习关系表示时往往受到知识图谱固有数据稀疏性的影响，从而导致对局部样本的过拟合以及收敛速度缓慢。尽管有一些研究通过数据增强来生成额外的训练样本以缓解数据稀疏问题，但这些方法并未考虑三元组生成过程中的复杂关系类型。因此，它们可能会引入噪声或错误的关系链接，从而负面影响模型的补全性能。为解决这些限制，我们提出了一种基于关系类型约束的Mixup方法（RTCM）用于少样本知识图谱补全。具体而言，我们首先引入关系类型约束的增强策略，以确保增强后的样本保留原有的关系类型。接着，我们提出了实体增强和结构增强模块：实体增强从语义相似的候选实体池中选择合适的实体来替换原始实体，从而生成更多样化、更密集的训练数据；结构增强则在相同约束下扩展一阶邻居，构建具有相似拓扑结构的合成子图。最后，我们采用基于Mixup的联合训练策略，将原始数据和增强数据融合在一起，以丰富实体表示并加速模型收敛。大量对比实验表明，我们的方法优于现有的最先进基线方法。

引言
知识图谱以三元组的形式表示实体之间的关系，被广泛应用于问答系统[19]、推荐系统[47]以及生成式检索[25]等领域。由于知识图谱本身存在不完整性，知识图谱补全方法通常依赖大量三元组来推断缺失的事实[6]、[7]。在实际应用中，关系三元组往往呈现稀疏分布，这限制了关系表示的学习以及模型的泛化能力。因此，少样本知识图谱补全作为一种有前景的解决方案，越来越受到关注。

少样本知识图谱补全的目标是在仅给定与目标关系相关的有限数量实体对的情况下，预测查询三元组中的尾部实体。现有方法可大致分为两大类[50]：（1）基于度量学习的方法[27]、[45]，这类方法通过计算查询实体对与支撑实体对在表示空间中的相似度来推断未见事实；（2）基于梯度学习的方法[3]、[34]，这类方法利用少量样本快速调整模型参数，以识别新的关系。然而，由于训练数据的稀疏性，这两类方法在学习关系表示时都容易过拟合，导致对未见关系的泛化能力有限。此外，仅使用少量查询样本进行训练往往会导致模型收敛速度缓慢。

为缓解少样本知识图谱补全中的数据稀疏问题，数据增强方法提供了一种有希望的解决方案。现有的数据增强方法大致可分为两类[4]：（1）启发式增强方法通常通过裁剪、遮蔽和替换等操作来生成新样本[51]；（2）基于模型或表示层面的增强方法则利用精心设计的生成模块，如扩散模型[11]、双向Transformer[5]以及基于编码器的架构[9]，来提升生成数据的相关性。然而，这些方法往往忽视了知识图谱中固有的复杂关系类型，从而导致样本出现噪声或关系链接错误，进而限制模型完成知识图谱补全的能力。我们对三个公开少样本知识图谱补全数据集的统计分析表明，知识图谱中的关系可分为四大类。如图1所示，如果在数据增强过程中忽略关系类型约束，就会生成错误的链接（用红色叉号标记），从而破坏原有的关系类型。这样一来，增强后的数据可能在结构上与原始知识图谱不一致，进而引入噪声，干扰正确关系表示的学习。

为解决学习到的表示对有限局部样本的过拟合问题，以及数据增强在少样本知识图谱补全过程中引入的噪声问题，本文提出了一种基于关系类型约束的Mixup方法（RTCM）。具体而言，我们首先提出了关系类型约束的增强策略：对于1-N关系，仅替换尾部实体，头部实体保持不变；对于N-1关系，仅替换头部实体，尾部实体保持不变；而对于1–1和N-N关系，则同时替换头部和尾部实体。该策略有效避免了包含错误链接的噪声三元组的生成，从而保障了模型关系表示学习的完整性。为解决支撑集和查询集中的数据稀疏问题，本文提出了遵循上述数据增强约束的实体增强和结构增强模块。1）实体增强模块：我们首先使用预训练的嵌入向量计算实体相似度，然后从候选实体池中选择最相关的替代实体，形成新的训练三元组。该策略在保持严格关系类型一致性的同时，生成更加密集且多样化的训练三元组。2）结构增强模块：对于每种关系，该模块首先提取其一阶邻居子图，随后根据相邻实体之间关系的相似度筛选并增强重要实体。这一过程能够构建出具有相似局部拓扑特征的扩展子图。通过这种方法，模型在实体表示学习过程中能够获得更丰富的结构上下文信息。最后，受先前基于Mixup方法的启发[4]、[46]，我们在表示层面将原始实体对与增强后的实体对进行融合，生成能够同时体现多样性及结构上下文的合成样本。该策略不仅提升了实体嵌入的泛化能力，还显著加快了模型的收敛速度。本文的主要贡献如下：•我们提出了一种基于关系类型约束的Mixup方法（RTCM），有效解决了少样本场景下因数据稀疏导致的过拟合问题，并抑制了数据增强过程中噪声三元组的生成。•为解决训练数据稀疏的问题，我们提出了实体增强和结构增强模块，用于生成多样且结构丰富的增强数据。•为提升实体表示的泛化能力并减少模型训练过程中的收敛速度问题，我们在表示层面对原始实体对与增强后的实体对进行了融合。

片段内容
知识图谱嵌入
知识图谱嵌入旨在将知识图谱中的实体和关系映射到低维密集向量空间中，从而捕捉知识图谱中固有的潜在结构与语义信息。作为一项基础且主流的技术，知识图谱嵌入已被广泛用于知识图谱补全和链接预测任务。近年来，Trahas将关系交互形式化为向量变换操作，并利用专门的评分函数来评估某种假设的合理性。

初步说明
知识图谱可以定义为，其中表示实体集合，表示关系集合，而表示所有三元组，每个三元组由一个头部实体、一个关系和一个尾部实体组成。在少样本知识图谱补全问题中，关系的出现频率仍然遵循长尾分布[34]、[37]。

现有的少样本知识图谱补全方法主要依赖于元学习框架来完成未见事实的推断，该框架分为两个阶段：元训练和元测试。具体而言，给定一个知识图谱后……

本文提出的方法
在本节中，我们介绍了所提出的RTCM方法，如图2所示。RTCM由三个模块组成：关系类型增强约束策略、实体与结构增强模块，以及基于Mixup的联合训练策略。整体流程总结在算法1中。

实验设置
数据集
我们在三个公开的少样本知识图谱补全基准数据集上评估了我们的方法：Nell-One、FB15K-237和Wiki-One[20]。Nell-One源自NELL[2]、[23]，这是一个持续从网站收集信息并据此构建知识系统的平台。FB15K-237源自FB15k237-One[29]，这是一个常见的小型少样本知识图谱补全数据集。Wiki-One数据集基于Wikidata[32]，这是一个规模更大的数据集，其拥有的实体和关系数量远超许多其他数据集，且已被广泛用于……

结论
我们提出了一种基于关系类型约束的Mixup方法，用于少样本知识图谱补全任务。具体而言，我们首先设计了关系类型约束的增强策略，有效避免了噪声三元组中错误链接的生成；其次，我们构建了实体增强和结构增强模块，以生成多样且结构丰富的增强数据；最后，我们将增强数据与原始数据融合，以提高表示的泛化能力并加速模型收敛。大量实验……

CRediT作者贡献声明
高青云：写作——审稿与编辑，写作——初稿，资源准备，方法设计，研究实施，形式分析，概念构思。李飞：写作——审稿与编辑，验证，形式分析，数据整理，概念构思。郭贵兵：验证，监督，方法设计，资金获取，概念构思。吴云飞：验证，监督。王星伟：验证，项目管理。

利益冲突声明
作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢
本研究部分得到了中国国家自然科学基金的支持，项目编号为62576083和62432003。高青云目前是中国东北大学软件学院的博士生。她的研究成果已在包括AAAI和SIGIR在内的多个顶级机器学习会议上发表。她的研究兴趣主要集中在数据挖掘和机器学习领域。