R-HMF：一种基于关系增强的分层多模态框架，用于小样本知识图谱补全

《ACM Transactions on Multimedia Computing, Communications, and Applications》：R-HMF: A Relation-enhanced Hierarchical Multimodal Framework for Few-shot Knowledge Graph Completion

知识图谱补全（KGC）在构建完整图谱中至关重要，但少样本场景下存在模态异质性、冗余噪声和关系表征不足的问题。本文提出R-HMF框架，通过模态特定少样本关系学习、多模态事实评估模块及自适应特征提取，结合大语言模型生成关系描述进行多模态对齐，在MM-FB15K237和MM-DBpedia数据集上显著提升性能。

　　

摘要

知识图谱补全（KGC）旨在推断缺失的事实三元组，在构建完整的知识图谱以提升下游应用方面发挥了重要作用。然而，大多数KGC技术需要大量的标注训练样本，而当仅有少量三元组可用时，性能会显著下降。主要挑战在于这些少量标注三元组提供的信息不足。最近，一些研究利用多模态实体上下文来丰富实体表示，但其性能仍受到以下限制：1）忽视了模态异质性的挑战；2）引入了与相应关系无关的冗余多模态噪声；3）在仅有少量标注样本的情况下难以学习关系表示。为了解决这些问题，我们提出了一种新颖的基于关系增强的分层多模态框架（R-HMF），用于少量样本的知识图谱补全。具体而言，为考虑模态异质性，我们首先进行针对每种模态的少量样本关系学习，以捕捉实体和关系之间的关联。随后，设计了一个多模态事实评估模块，通过考虑联合多模态表示空间中的实体上下文来验证给定三元组的正确性。值得注意的是，为了避免实体冗余多模态噪声的干扰，我们提取了适应不同关系的自适应实体特征。此外，为了加强少量样本环境中的关系表示，我们还充分利用大型语言模型（LLMs）生成相应的关系名称和描述，这些信息也将用于不同模态之间的对齐。在两个多模态知识图谱数据集MM-FB15K237和MM-DBpedia上的广泛实验结果表明，与现有的最先进方法相比，我们的框架在1-shot设置下的Hits@10得分提高了3.23%，在5-shot设置下的Hits@10得分平均提高了6.45%。