DEMEF：基于逻辑规则和多模态融合的自适应实体对齐

《Neurocomputing》：DEMEF: Adaptive entity alignment enhanced by logic rule and multimodal fusion

　　

摘要

大规模知识图谱和预训练模型的快速发展激发了利用多模态数据进行实体对齐任务的兴趣。然而，模态间的固有异质性带来了重大挑战。依赖静态融合策略的传统方法往往难以应对模态特定噪声、数据缺失以及不同信息源贡献不均等问题，最终阻碍了鲁棒的跨图谱对齐。为了克服这些挑战，我们提出了 DEMEF，一个在实体层面自适应定制融合过程的新颖框架。我们的主要贡献在于一种多头跨模态注意力机制，该机制逐实体评估每个模态的可靠性和互补性，生成反映特征质量和相关性的自适应融合权重。我们进一步通过自适应对比对齐策略增强此过程，以在有限监督下缩小对齐实体之间的差距，并集成逻辑规则约束以确保语义一致性。从工程应用角度来看，我们的方法在有监督和无监督设置下的多个基准数据集上均表现出优越的性能，与最先进方法相比，将对齐错误率降低了约 12%。实验结果证实，DEMEF 为现实世界知识图谱集成场景提供了鲁棒且计算高效的解决方案，特别是在各数据源质量差异显著的情况下。

引言

知识图谱（KGs）已成为组织和表示现实世界信息的基本数据结构，支持从搜索引擎和推荐系统到问答和智能助手的各种应用 [11]、[12]、[29]。DBpedia、Wikidata 和 YAGO 等大规模知识图谱的出现彻底改变了我们构建和访问知识的方式 [1]、[27]。由于不同组织独立开发和维护自己的知识图谱，相同的现实世界实体在不同知识图谱中往往有不同的表示，导致信息孤岛和知识冗余 [18]、[21]。实体对齐旨在识别不同知识图谱中相同的实体，已成为知识集成和共享的关键任务，促进了跨数据库查询和知识迁移 [7]、[23]、[41]。

问题定义 - 多模态实体对齐

给定：

• •
  两个知识图谱：$$ 和 $$。
• •
  多模态信息，包括图结构 $$、关系语义 $$、属性信息 $$、视觉模态 $$，以及名称、标签和描述等文本描述。
• •
  少量种子对齐集合：$$。

目标：识别所有等价实体对$$$$

通过学习相似度函数 $$，利用互补的多模态信号，处理噪声和缺失数据，并管理知识图谱间的语义异质性。

解决此问题对于几个下游应用至关重要。在跨数据库知识集成中，对齐的实体使企业系统能够合并来自多个异构源的客户记录、产品目录或组织层级。在多语言信息检索中，实体对齐支持跨语言搜索和推荐，通过连接区域或特定语言知识图谱中的等价实体。在知识图谱补全中，对齐的实体允许互补的知识图谱相互丰富缺失事实，从而提高下游问答和推理系统的覆盖率和一致性。

实体对齐方法的演进反映了知识表示日益复杂和精致。早期方法主要依赖于人工匹配规则或简单的字符串相似度指标 [8]、[14]，这被证明劳动密集且未能有效捕捉语义关系。这推动了基于嵌入方法的发展，这些方法利用图神经网络（GNNs）来捕捉拓扑模式和实体关系 [3]、[22]、[31]。如 RDGCN [33] 等显著工作开创了图卷积网络的使用，而 AGN [36] 引入了关系反射以更好地保留关系语义。GALA [30] 和 XGEA [39] 进一步探索了跨图谱注意力机制以捕捉复杂的对齐模式。然而，这些基于结构的方法往往难以应对稀疏或有噪声的图连接，其有效性受限于不同知识图谱间的结构异质性 [19]、[40]。

为了克服这些局限性，研究人员开始纳入图结构之外的附加模态。文本信息（如实体名称、描述和属性）的集成标志着重大进步 [26]、[37]。如 BERT-INT [25] 和 KE-GCN [20] 等方法表明，预训练语言模型可以通过捕捉文本描述中的语义相似性来显著提高对齐性能。TEA-GNN [32] 和 JSAE [24] 提出了统一框架，以联合学习名称、属性和结构。视觉模态的引入进一步扩大了实体对齐的可能性，因为图像通常提供仅文本或结构无法捕捉的互补实体特征 [6]、[16]。EVA [16] 开创了无监督对齐中视觉轴转的使用，而 MMEA [4] 提出了一种结合视觉和文本特征的多模态嵌入框架。

近年来见证了更复杂的多模态实体对齐方法的出现 [9]、[15]。MCLEA [5] 提出了一种对比学习框架以对跨模态实体进行对齐，而 MSNEA [5] 开发了一种孪生网络架构来处理异构信息源。MMKG [10] 和 CrossKG [35] 探索了各种融合策略以有效整合多模态信息。尽管取得了这些进展，但仍存在几个关键挑战。当前方法通常采用静态或半动态融合策略，未能考虑不同实体间不同模态的可靠性变化。现实世界知识图谱经常包含不完整的模态信息，特别是在视觉方面，影响对齐鲁棒性。此外，现有方法在整合多模态信息时难以保持逻辑一致性，通常需要大量的种子对齐进行训练。

为了应对这些挑战，我们提出了 DEMEF，一种新颖的框架，引入了几个关键创新：

• •
  我们指出现有多模态实体对齐方法依赖静态融合策略的局限性，并提出了一种自适应融合机制，可根据实体特定特征自动调整模态权重。
• •
  我们开发了 DEMEF，一种结合跨模态注意力和对比学习技术以实现有效多模态实体对齐的新颖框架。该框架具有自适应融合门和逻辑规则增强模块以维持语义一致性。
• •
  我们在基准数据集 DBP15 K 和跨知识图谱数据集（FB15 K-DB15 K, FB15 K-YAGO15 K）上进行了全面的实验，证明 DEMEF 在 Hits@1, Hits@10 和 MRR 上取得了最先进的性能，并与最近的 2024–2025 年基准进行了比较。

章节片段

相关工作

实体对齐经历了几种技术范式的发展，每种范式在解决先前方法特定局限性的同时引入了新的挑战。在本节中，我们系统地回顾了现有方法，并确定了驱动我们工作的研究差距。

方法论

在本节中，我们呈现 DEMEF，一个旨在解决多模态实体对齐基本挑战的综合框架。与采用静态融合策略或严重依赖单一主导模态的先前方法不同，我们的框架通过精心设计的专门模块流水线（图 1）自适应地适应实体特定特征。我们方法的关键创新在于其自适应评估和利用

实验

在本节中，我们通过基准数据集上的广泛实验验证 DEMEF 的性能。我们旨在回答以下研究问题：

• •
  研究问题 1（第 4.5 节）：DEMEF 与最先进实体对齐方法在不同设置和数据集上的表现如何，包括最近的 2024–2025 年基准和跨知识图谱基准？
• •
  研究问题 2（第 4.7 节）：DEMEF 中每个组件对整体性能贡献如何？哪些模块最关键？
• •
  研究问题 3（第

结论

在本研究中，我们介绍了 DEMEF，一个协同两种关键创新的新颖框架：用于实体特定模态偏好学习的自适应融合门，以及用于增强模型对细微细节敏感度的模态感知硬实体重放。我们方法的一个显著特征是纳入了逻辑规则增强模块，该模块通过逻辑规则利用外部领域知识提供额外的语义指导，并缓解不良效应

CRediT 作者贡献声明

余辉：验证，数据整理。 苏秉信：写作 – 初稿，可视化，验证，资金获取，数据整理。 李浩隆：写作 – 审阅与编辑，验证。 薛健：写作 – 审阅与编辑，写作 – 初稿，数据整理，概念化。

利益冲突声明

作者声明，他们没有任何已知的竞争财务利益或个人关系，这些关系可能会影响本文所述的工作。

余辉 所属机构：中国湖北省襄阳市 441053 湖北文理学院计算机工程学院。研究兴趣：人工智能，智能算法。研究背景：余辉于 1982 年出生于中国江西。他于 2004 年获得中国南昌大学电子专业学士学位，并于 2007 年获得中国山西大学通信与信息系统专业硕士学位。他获得了信息

余辉|苏秉信|李浩隆|薛健