超越模态重要性：用于归纳式多模态知识图谱补全的可靠性引导树记忆

《Knowledge-Based Systems》：Beyond modality importance: Reliability-guided tree memory for inductive multimodal knowledge graph completion

　　

摘要
归纳式多模态知识图谱补全旨在通过联合利用结构、文本和视觉信息，预测涉及未见实体的缺失事实。近年来，检索增强方法通过语义邻域检索提高了对未见实体的推理能力，但仍面临两个关键挑战。首先，这些方法通常依赖注意力或门控机制来衡量不同模态的重要性，但模态权重无法确定在特定关系下某一模态是否能可靠地区分正确实体与相似候选实体，可能导致高权重但低判别力的模态线索误导最终预测。其次，现有方法通常从扁平的候选空间记忆中检索语义邻域实体，这容易引入语义相似但无关的干扰实体，进一步削弱模型区分相似候选实体的能力。为解决这些问题，我们提出了ReTree，一种面向归纳式多模态知识图谱补全的可靠性引导树形记忆框架。ReTree首先学习目标三元组的统一多模态表示，并从关系级别校准和局部候选分离的角度评估文本、视觉和融合表示的可靠性。随后，它构建自适应基于原型的树形记忆，将训练样本组织为关系根节点、原型节点和实体节点。可靠性分数进一步指导原型精化和实体分配，在每种关系内产生更具判别力的候选组织。在推理阶段，ReTree将树形记忆上的层次检索与未见实体的查询局部插入相结合，实现对相似候选更有效的识别。在多个归纳式多模态知识图谱补全基准上的实验表明，ReTree在预测性能和泛化能力方面均优于现有方法。

引言
知识图谱通常以关系三元组的形式组织事实知识，广泛应用于问答、推荐和语义搜索等下游任务。然而，现实世界中的知识图谱往往存在显著的不完整性，许多潜在事实仍未被观测到[1]、[2]、[3]、[4]。知识图谱补全旨在基于现有事实预测缺失的实体或关系，从而提升知识图谱的完整性[5]、[6]。早期方法主要依赖结构三元组来学习实体和关系表示，但当实体邻域稀疏或关系语义复杂时，仅依靠结构表示往往无法获得足够的判别力。

为缓解结构信息不足的问题，多模态知识图谱进一步将实体和关系与文本描述、图像等外部信息关联，为预测缺失事实提供更丰富的语义线索。在此方向上，多模态知识图谱补全方法已在跨模态对齐[7]、模态融合[8]、视觉过滤[9]和多模态表示学习等方面进行了研究，并表明文本和视觉信息可以有效补充结构表示[10]、[11]。然而，大多数现有多模态知识图谱补全方法仍依赖于迁移学习设定，其中测试实体在训练阶段已经存在。随着新实体不断添加，这种设置无法满足开放知识图谱的动态演化需求。因此，归纳式多模态知识图谱补全应运而生并受到广泛关注，其目标是利用多模态信息实现涉及未见实体或关系的推理。近期，检索增强方法通过存储训练表示并为未见实体推理检索语义邻域，改进了归纳式多模态知识图谱补全[12]。该范式表明，语义相关的训练实例可以提供超越局部图结构的可迁移证据。然而，现有检索增强归纳式多模态知识图谱补全方法仍面临两个关键局限性。

首先，现有方法通常估计每个模态对最终匹配分数的贡献程度，但很少确定该模态在当前关系下是否可靠。注意力或门控权重可以指示模态重要性，但未必反映某一模态能否将正确实体与困难候选实体区分开。如图1(b)所示，对于查询q=(Galaxy Buds Pro, brand, ?)，视觉线索是可靠的，因为它们有助于将Samsung与视觉和语义相关的品牌区分开。相反，对于q=(Galaxy Buds Pro, category, ?)，视觉相似的类别如Earbuds和Headphones仍可能获得较高的视觉权重，而文本描述提供了更具判别力的证据。这个例子表明，可靠的模态应当既与关系一致又在局部具有判别力。

其次，现有方法通常根据全局语义相似度从扁平内存中检索邻域实例。这种检索可以找到与当前查询接近的样本，但并未显式组织关系特定的候选区域。当若干候选实体共享相似的描述、视觉外观或实体类型时，扁平检索倾向于产生微小的分数差异。如图1(c)所示，全局相似的候选实体在最终排序中可能仍然接近，使得预测对模态噪声和邻域扰动变得敏感。

为解决这些问题，我们提出了ReTree，一种面向归纳式多模态知识图谱补全的可靠性引导树形记忆框架。ReTree首先学习统一的多模态表示，并通过关系级别校准和局部候选分离估计文本、视觉和融合的可靠性。然后，它构建自适应的关系-原型-实体树形记忆，其中可靠性分数指导原型精化和实体分配。在推理阶段，ReTree对未见实体执行查询局部插入，并从关系根节点到原型节点和实体节点进行由粗到细的检索。通过将模态可靠性建模与关系感知内存组织相结合，ReTree减少了低判别力模态线索的影响，并改进了未见实体预测的候选判别能力。本文的主要贡献总结如下：

- 我们提出了ReTree，一种面向归纳式多模态知识图谱补全的可靠性引导树形记忆框架。ReTree将模态可靠性评估引入未见实体推理过程，并将扁平语义检索重构为由粗到细的层次检索，从而缓解了高权重、低判别力模态线索和相似候选区分不足的问题。
- 我们设计了一种关系感知的模态可靠性评估方法。该方法从两个角度估计文本、视觉和融合视图的可靠性：关系级别一致性和局部候选分离，从而提高了模型识别当前关系下有效模态线索和区分困难候选实体的能力。
- 我们构建了自适应的关系-原型-实体树形记忆，并设计了面向未见实体的层次检索策略。该结构根据关系频率和表示离散度确定原型数量，并结合作查询局部插入、原型级别检索和实体级别扩展，使模型能够在关系相关的局部候选区域内进行更精细的候选排序。
- 我们在多个归纳式多模态知识图谱补全基准数据集上评估了ReTree。实验结果表明，ReTree在预测性能和泛化能力方面均优于现有方法。

本文其余部分结构如下：第2节总结了多模态知识图谱补全、归纳式知识图谱补全和检索增强推理的相关工作。第3节阐述了本工作中重要的概念和数学符号。第4节详细介绍了ReTree算法。第5节呈现了实验结果和分析，包括与基线算法的对比、消融实验、参数敏感性和案例研究。第6节总结了全文并讨论了未来研究方向。

相关工作
多模态知识图谱补全通过纳入实体描述和图像等辅助模态扩展了传统知识图谱补全[10]、[11]。现有研究主要集中在三个方向：多模态特征注入、跨模态对齐和自适应融合，以及噪声鲁棒的表示学习。这些方向从不同角度改善了实体语义，但大多是在迁移学习设定下开发的。早期多模态知识图谱补全方法[13]、[14]利用文本描述和视觉特征...

预备知识
本节介绍本文中使用的关键符号和形式定义。本文提出的框架中常用的数学符号总结在表1中。

定义1 知识图谱
知识图谱定义为一组事实三元组，G={(e_h, r, e_t)|e_h, e_t∈E, r∈R}，其中E表示实体集，R表示关系集。每个三元组(e_h, r, e_t)表示关系r从头实体e_h指向尾实体e_t成立。

定义2 多模态知识图谱
多模态知识图谱通过为实体关联辅助信息扩展了传统知识图谱...

概述
归纳式多模态知识图谱补全需要在测试阶段预测涉及未见实体的缺失事实。由于未见实体缺乏可训练的实体嵌入，模型需要从文本描述和视觉输入构建实体表示，然后在已见关系下执行候选实体匹配。现有方法通常采用固定的多模态融合或统一的查询-实体匹配方法，难以确定不同模态的可靠性。

实验
本节首先介绍了实验中使用的数据集、基线模型、评估指标和实现细节。随后，在归纳式多模态知识图谱补全、迁移式多模态知识图谱补全和少样本归纳式多模态知识图谱补全三种任务设置下进行了性能对比，验证了模型在不同推理场景中的综合性能。最后，从多个维度进行了深入实验，包括模块消融、设计敏感性、冷启动鲁棒性...

结论与未来工作
在本文中，我们提出了ReTree，一种面向归纳式多模态知识图谱补全的可靠性引导树形记忆框架。ReTree通过三个相互连接的组件解决未见实体预测问题：可靠性感知表示学习、具有自适应原型的层次树形记忆，以及层次树形检索和归纳推理。在表示学习阶段，ReTree从关系级别估计文本可靠性、视觉可靠性和配对可靠性...

CRediT作者贡献声明
Jingchao Wang: 撰写-原稿, 方法论, 概念化。Jianqi Gao: 撰写-审阅与编辑, 监督。Weimin Li: 撰写-审阅与编辑, 监督。Xinyi Zhang: 撰写-审阅与编辑, 监督。Yue Wang: 验证, 监督。

利益冲突声明
作者声明不存在已知的可能影响本论文所报告工作的财务利益或个人关系。

致谢
本工作得到了河南省科技重点研发计划（262102211055）和国家重点研发计划（2022YFC3302601）的资助。

Jingchao Wang|Jianqi Gao|Weimin Li|Xinyi Zhang|Yue Wang