HSP：一种用于多模态实体对齐的分层语义保留方法

《Pattern Recognition》：HSP: A Hierarchical Semantic Preserving method for multimodal entity alignment

　　

王宝|马瑞哲|梁新宇|严莉|马宗敏

南京航空航天大学计算机科学与技术学院，南京，211106，江苏，中国

摘要

多模态实体对齐（MEA）旨在识别跨多模态知识图谱中的等价实体。然而，现有的基于蕴含关系的方法由于表示粗糙和融合方式僵化，无法捕捉到具有实体意识的跨模态语义。在本文中，我们提出了一种创新的层次语义保持（HSP）方法，该方法通过保持高维视觉结构、在共享语义空间中校准异构表示以及动态适应实体类型，全面解决了语义坍塌、跨模态不对齐和融合僵化的问题。具体而言，HSP首先设计了一个层次视觉保持编码器来保留高维视觉表示的内在拓扑结构，确保在保持阶段的结构完整性和细粒度语义保留。然后，HSP构建了一个跨模态语义校准网络，在校准阶段将文本和视觉模态对齐到统一的语义空间中，以减少跨模态差异。最后，在适应阶段，HSP开发了一个基于实体类型的融合控制器，通过元学习动态平衡模态贡献，实现灵活的、具有类型意识的多模态集成。在三个公共的跨语言MEA基准数据集（ZH-EN、JA-EN、FR-EN）和两个跨图数据集（FB-DB、FB-YG）上进行的广泛实验表明，与强大的基线方法相比，所提出的模型在MRR上提高了高达2%。

引言

知识图谱（KGs）通过将现实世界实体映射到图节点来提供语义知识的结构化表示，边明确地建模了它们之间的关系。自从大规模知识图谱的部署以来[1]，许多研究推进了它们的构建和应用，特别是在问答[2]、推荐系统[3]和自然语言理解[4]等任务中，KGs已成为不可或缺的工具。然而，随着社交媒体平台上多媒体内容的迅速增长，传统的基于文本的知识图谱在利用和表示多模态信息方面存在固有的局限性。为了解决这个问题，Chen等人[5]提出了多模态知识图谱（MMKGs），将实体和关系与多模态信号关联起来，通过跨模态信息聚合实现现实世界场景的有效表示。MMKGs使得知识表示更加丰富和具有上下文意识，从而支持高级应用，如视觉问答[6]、[7]和具身智能[8]、[9]。同时，它们也由于构建的复杂性为现有研究带来了新的挑战。特别是，多模态实体对齐（MEA）任务已成为一个焦点，因为跨知识图谱的有效对齐显著增强了语义互操作性，如图1所示。

为了应对这一复杂任务，Chen等人[5]最初提出了由嵌入、融合和匹配组成的经典三阶段架构，随后的研究[10]、[11]、[12]开发了各种方法来利用图像模态的视觉线索并整合多模态信息，部分缓解了种子对齐的稀缺问题。更近期的工作[11]、[13]、[14]进一步关注了融合多模态表示的利用和更复杂的融合策略的设计。尽管如此，Zhao等人[15]指出，这些方法仍然存在KG间交互不足的问题，并且容易受到多模态异质性的影响。为了从根本上解决这些限制，他们将多模态实体对齐任务重新定义为一种蕴含推理问题，其中一个实体的多模态描述在语义上蕴含另一个实体，意味着它们对应于同一个现实世界实体。通过将所有模态的信息投影到预训练语言模型的文本空间中，这种基于蕴含关系的表述使得实体表示之间能够进行细粒度的、基于令牌的交互。因此，它实现了更强大的跨模态语义对齐，并且与当代方法[16]、[17]、[18]相比表现出显著的优势。

然而，上述基于蕴含关系的框架不可避免地遇到三个关键缺陷：（1）跨模态语义映射中的维度灾难，（2）缺乏跨模态语义一致性，以及（3）在特定模态融合中的适应性有限。具体来说，视觉模态编码了丰富的细粒度语义，如空间布局、面部细节或建筑线索，但现有的基于蕴含关系的方法通常通过线性投影将这些高维特征压缩到低维文本空间中，导致大量语义损失。同时，连续的视觉表示与离散的文本描述形式形成鲜明对比，如果没有校准的语义桥梁，模型通常基于虚假的共现而不是真正的语义对应关系来对齐实体。此外，当前的融合策略对所有实体类型应用统一的权重，忽略了“人物”实体高度依赖面部细节、“建筑”实体受益于全局结构模式，以及“抽象概念”实体可能缺乏有意义的视觉信号，使得融合过程变得僵化和次优。

为了解决这些限制并推进蕴含关系范式，我们提出了一种新颖的层次语义保持（HSP）方法，该方法通过三阶段的“保持–校准–适应”机制重构对齐过程。具体来说，HSP包括三个关键组成部分。首先，层次视觉保持编码器（HVPE）通过具有三个并行路径的残差层次Transformer保留2048维视觉特征的内在拓扑结构，捕获局部、全局和语义信息。其次，跨模态语义校准网络（CSCN）通过双线性映射和InfoNCE损失以及硬负样本挖掘将视觉和文本表示投影到共享的语义子空间中。最后，实体类型适应融合控制器（EAFC）利用元学习通过门控注意力机制生成具有实体类型意识的融合权重，实现跨模态的上下文敏感、类型感知的融合。这些组件形成了一个统一的、相互依赖的流程，其中高保真特征支持跨模态校准，校准后的表示通过类型感知的融合得到精细化，形成了一个连贯的端到端多模态实体对齐框架。

为了全面评估所提出的模型及其层次语义保持（HSP）策略，我们在三个跨语言数据集（ZH–EN、JA–EN、FR–EN）和两个跨图数据集（FB15K–DB15K、FB15K–YG15K）上进行了系统实验，在三种种子设置（20%、50%、80%）下进行测试，结果显示，在资源有限的设置下，HSP在跨图基准测试中的MRR提高了高达2.0%，而在跨语言数据集上则一致获得了0.2%–0.6%的收益，证明了其在不同语言对上的强大泛化能力。本文的其余部分组织如下：第2节回顾了多模态知识图谱和实体对齐的相关工作。第3节介绍了所提出的模型，详细说明了HVPE、CSCN和EAFC模块。第4节描述了实验设置并报告了实证结果，包括消融研究。第5节讨论了局限性并概述了未来工作的方向。最后，第6节总结了这项工作。

总结来说，本文的主要贡献如下：

• •
  我们发现了现有基于蕴含关系方法中阻碍跨模态有效对齐的三个关键限制：维度不平衡、语义不一致性和模态融合的不灵活性。
• •
  我们提出了层次语义保持（HSP），这是一种基于蕴含关系的多模态实体对齐方法，它引入了三阶段的“保持–校准–适应”范式，共同缓解了由维度引起的 semantic 崩塌；强制跨模态语义一致性；并实现了具有实体类型意识的适应融合。
• •
  在多个公共MEA基准数据集上的广泛实验表明，HSP在跨语言和跨图对齐场景中都表现出优越且一致稳健的性能。

章节片段

相关工作

在本节中，我们系统地回顾了多模态知识图谱的发展轨迹，然后详细介绍了多模态实体对齐任务的具体内容。

任务目标

所提出的HSP模型的目标是解决现有基于蕴含关系的多模态实体对齐方法中的三个关键限制：（1）由于高维视觉特征过度压缩到以文本为中心的空间中导致的语义扭曲，（2）跨模态交互不足导致的语义对齐弱，以及（3）忽略实体类型特定模态相关性的静态融合。通过缓解这些问题，HSP更好地保持了特征保真度和跨模态

数据集

为了全面评估所提出的HSP模型的性能，¹，我们在五个代表性的基准数据集上进行了实验，这些数据集涵盖了跨图和跨语言场景。如表1所示，FB15K-DB15K数据集是通过将FB15K [28]和DB15K [29]中的实体对齐而构建的，形成了一个包含12,849个对齐种子和26,281张相关图像的跨图实体对齐基准。类似地，FB15K-YG15K数据集是

局限性分析

尽管HSP取得了优越的性能，但它有三个实际限制。首先，HSP模型依赖于冻结的ResNet-152特征作为视觉输入。移除HVPE后，在DBP_ZH–EN上的 Hits@1 减少了3.8%，表明它依赖于高质量的视觉特征；然而，ResNet-152可能无法为抽象或视觉上模糊的实体（例如，“通货膨胀”）提供足够的表示，从而限制了对齐。通过采用更强的视觉基础模型可以缓解这一限制。其次，

结论

在本文中，我们重新审视了基于蕴含关系的多模态实体对齐，并确定了阻碍其有效性的三个根本限制：（1）由于高维视觉特征的过度压缩导致的语义坍塌，（2）由于校准机制薄弱导致的跨模态语义一致性不足，以及（3）忽略实体类型特定模态相关性的僵化融合策略。为了解决这些挑战，我们提出了HSP，一种层次语义保持

CRediT作者贡献声明

王宝：撰写 – 原稿。马瑞哲：撰写 – 审稿与编辑。梁新宇：验证、数据整理。严莉：验证。马宗敏：撰写 – 审稿与编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。