基于难度感知课程与条件扩散的协同关系学习，用于小样本知识图谱补全

《Knowledge-Based Systems》：Synergistic relation learning via difficulty-aware curriculum and conditional diffusion for few-shot knowledge graph completion

　　宁宇辰|窦全胜|唐焕玲|陈冰溪|薛金芳|唐新雨•SynRel将课程调度与条件扩散技术结合用于少样本知识图谱补全。•课程调度在FKGC中运用难度评估、反馈机制以及退火算法。•质量感知选择机制可过滤掉FKGC任务中低质量的支撑集。•基于难度条件的扩散技术可优化关系以提升尾部预测性能。

引言
知识图谱以三元组的形式组织现实世界中的实体及其关联，即（头实体、关系、尾实体），并已被广泛应用于问答系统、推荐系统、语义检索和决策支持等任务中[1]。然而，由于知识获取成本高昂且领域覆盖范围有限，现实世界的知识图谱往往存在信息不完整和关系稀疏的问题，这直接影响了后续知识推理的性能。知识图谱补全旨在利用现有事实中的结构模式和语义关联来推断缺失的事实，已成为提升知识图谱完整性和可用性的关键技术。

传统的知识图谱补全方法通常依赖大量已观测到的三元组来学习稳定的关系表示，在数据丰富的场景下能取得优异性能。但现实世界知识图谱中的关系分布往往呈现明显的长尾特征，许多关系仅包含极少数量已知事实。为解决这一问题，少样本知识图谱补全技术被提出，该技术仅需少量已观测事实即可预测缺失的三元组[2]。与传统知识图谱补全相比，少样本知识图谱补全更注重模型从有限信息中快速推断关系模式并实现可迁移推理的能力，因此在关系建模、训练稳定性以及泛化能力方面面临更大挑战。

现有的少样本知识图谱补全方法通常通过结构表示学习、关系原型归纳或图神经网络建模等方式，从有限事实中提取关系语义以用于后续推理。近年来，一些代表性研究从关系分布建模和生成式优化的角度推动了少样本知识图谱补全技术的发展。例如，NP-FKGC专注于在少样本场景下建模关系语义分布及预测不确定性[3]，而ReCDAP则表明将生成式表示优化引入少样本关系学习能有效提升模型性能[4]。尽管这些方法在关系表示学习方面取得了显著进展，但它们仍主要侧重于提升关系建模能力，忽视了少样本学习过程中不同关系与任务之间的差异。因此，现有模型在复杂场景下的学习效率、推理稳定性及泛化能力仍然有限。所以，如何有效协调训练调度与关系表示优化，以提高少样本知识图谱补全模型在长尾场景下的泛化能力和稳定性，仍是一个重要的未解问题。

为解决上述问题，本文提出了SynRel（协同关系学习），这是一种针对少样本知识图谱补全的难度感知优化框架。具体而言，我们设计了一种难度感知调度算法，该算法通过结合先验难度信息与动态训练反馈，自适应地调整样本组织方式和训练顺序，同时引入连续退火机制来实现从简单到复杂的平滑课程安排。此外，考虑到不同少样本任务配置在表示能力和学习能力上的差异，我们还引入了质量感知选择机制，以减少低质量样本组合对关系归纳的干扰。在关系表示优化方面，模型首先基于现有的结构编码和关系原型学习流程获得初始关系表示[3]，然后将该难度信息作为条件输入到扩散优化过程中，从而实现自适应的去噪和优化，并根据任务难度动态调整推理步数，按难度比例分配优化资源。通过这些设计，所提出的模型既保留了现有关系表示学习框架的优势，又使其更适用于处理复杂的长尾关系。

我们在两个常用的少样本知识图谱补全基准数据集NELL-One和FB15K-237上进行了大量实验。实验结果表明，所提出的难度感知训练和条件优化机制对少样本知识图谱补全非常有效。在5样本设置下，SynRel在NELL-One和FB15K-237上的平均互反排名得分分别为0.527和0.592。与强大的基线模型ReCDAP相比，SynRel在NELL-One上的MRR值提升了7.11%，Hits@1值提升了8.40%；在FB15K-237上，MRR值提升了3.68%，Hits@1值提升了6.16%，仅Hits@5值略低于ReCDAP。消融实验进一步证实，动态难度建模、基于连续退火的课程调度以及质量感知选择机制都对最终性能有积极影响。此外，不同K样本设置下的对比实验验证了所提模型在不同少样本条件下的适应性，敏感性分析则进一步支持了所选关键超参数的合理性。这些结果表明，将训练调度与关系表示优化结合，并考虑难度信息，是少样本知识图谱补全领域的一个有前景的研究方向。

本文的其余结构如下：第2节回顾相关研究，第3节阐述问题定义，第4节介绍所提出的方法，第5节报告实验结果与分析，第6节总结全文，第7节讨论局限性及未来工作。SynRel的主要代码可在https://github.com/EthanNing922/SynRel地址获取。

相关研究
本节回顾与SynRel密切相关的四类研究：少样本知识图谱补全范式、结构感知原型学习、基于扩散的关系优化以及具有难度建模的课程学习。这些研究为我们的框架中的结构编码、关系原型学习、条件扩散优化以及难度感知调度提供了方法论基础。不过，现有的少样本知识图谱补全方法往往只考虑任务组织和关系……

问题定义
设实体集记为E={e1,e2,…,en}，其中ei表示E中的第i个实体，i=1,…,n。设关系集记为R={r1,r2,…,rm}，其中rj表示R中的第j个关系，j=1,…,m。设三元组集记为T?E×R×E。那么，一个知识图谱可以表示为G=(E,R,T)。

对于任意关系r∈R，与r相关的三元组集合定义为Tr={(h,r,t)∈T∣h,t∈E}。与关系r相关的三元组数量记为cnt(r)=|Tr|。

仅与少数实体相关的关系……

SynRel的整体流程
如图1所示，所提出的框架由四个组成部分构成：难度感知调度算法、结构编码与关系原型学习模块、基于条件扩散的优化模块以及排序预测模块。在训练过程中，难度感知调度算法会动态确定需要学习的关系，而支撑集质量感知选择机制则会为当前迭代构建合适的支撑集。由此产生的……

实验
为验证所提出的SynRel模型的有效性，我们在两个广泛使用的少样本知识图谱补全基准数据集上进行了系统性评估。实验主要关注模型在少样本场景下的性能表现。通过与其他方法的比较、消融实验以及进一步分析，我们研究了各个组件对整体性能的贡献。

结论
本文提出了SynRel，这是一种用于少样本知识图谱补全的难度感知优化框架。其核心思想是将任务难度作为协调基于课程的学习任务组织与基于扩散的关系表示优化的共同信号，而非将二者视为独立的过程。在NELL-One和FB15K-237上的实验结果表明，SynRel在5样本设置下的大部分评价指标上均展现出更好的整体性能。消融实验……

局限性
尽管SynRel在少样本知识图谱补全任务上取得了不错的成果，但这项工作仍存在一些局限性，需进一步研究。首先，所提出的框架主要在两个标准数据集NELL-One和FB15K-237上进行评估。虽然实验结果证明了其有效性，但在更大规模的知识图谱、更复杂的关系分布或更具噪声的场景下的泛化能力仍有待进一步检验。因为关系难度、支撑集质量以及候选空间等因素都可能……

作者贡献声明
宁宇辰：撰写——初稿、软件开发、方法设计、概念构思。窦全胜：撰写——审稿与编辑、监督、项目管理、资金筹集。唐焕玲：验证、方法设计、数据整理。陈冰溪：验证、软件开发。薛金芳：调研、数据整理。唐新雨：可视化、形式化分析。

资金支持
本研究得到了中国国家自然科学基金[项目编号62173213]以及新疆维吾尔自治区自然科学基金[项目编号2024D01A11]的支持。资助方在研究设计、数据收集与分析、论文发表决策以及手稿准备等方面均未施加任何影响。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。