融合增强双向多模态实体链接模型

《Engineering Applications of Artificial Intelligence》：Fusion-Enhanced Bidirectional Multimodal Entity Linking Model

　　

摘要

多模态知识图谱依赖于多模态实体链接（MEL）将不同模态中的实体提及与结构化知识库进行对齐。然而，现有的MEL方法在复杂的现实场景中面临重大挑战，主要是由于异质模态之间的语义鸿沟、严重的文本噪声以及多个非显著视觉实体的存在。传统方法依赖于 indiscriminate 特征融合或端到端生成式大语言模型（LLMs），缺乏防止跨模态噪声传播的显式机制，使其容易受到幻觉和表示退化的影响。为了解决这些关键局限性，我们提出了一种融合增强的双向多模态实体链接模型（FILLED），旨在系统化地整合特征增强、动态评估和噪声蒸馏。具体而言，该框架引入了：(i) 一个特征金字塔双向融合网络以丰富视觉表示；(ii) 一个短语感知的文本编码器以捕捉多粒度语义；(iii) 一个由LLM引导的动态门控机制，用于显式评估各模态的信号噪声比；以及(iv) 一个经对比学习优化的瓶颈融合模块，以执行物理噪声过滤并强制跨模态语义一致性。在三个基准数据集（Wiki-MEL、WikiDiverse 和 Noisy-MEL）上的大量实验表明，FILLED 在标准语料上取得了具有竞争力的性能，同时在极端干扰的 Noisy-MEL 数据集上建立了新的最先进结果。值得注意的是，在高扰动的噪声子集上，FILLED 实现了 57.8% 的 Top-1 准确率和 83.6% 的平均倒数排名（MRR），分别比最强基线高出 3.2% 和 1.1%。这些指标证实了所提出模型在高度噪声环境中具有出色的鲁棒性和长尾消歧能力。

引言

随着网络内容、社交媒体和多模态用户生成数据的快速增长，知识图谱（KGs）已从纯文本表示演化为融合视觉、文本和结构化数据的多模态知识图谱（Liang et al., 2024; Zhu et al., 2022）。这些多模态 KGs 能够实现对实体、关系和事件的更丰富、更全面的建模，并为多模态问答、推荐和事件理解等下游应用提供了关键基础（Yao et al., 2019; Wang et al., 2021）。

实体链接（EL）是将文本提及连接到知识库中实体的任务，是知识图谱构建和扩充的基本组成部分（Shen et al., 2014）。它已被广泛应用于各种人工智能实际工程应用中，例如鲁棒的工业推荐系统、Web 级信息检索（Hoffart et al., 2011）以及复杂的生物医学知识构建（Zhu et al., 2023; Lin et al., 2024; Sakor et al., 2025）。然而，在现实工程环境中部署此类系统时，通常会遇到与不受控的多模态噪声和严格的计算效率要求相关的严重挑战。

随着互联网的发展，社交媒体帖子和网络内容等场景中的现实世界数据通常是多模态的，通常由文本和图像组成。传统的实体链接方法仅设计为处理文本输入，而多模态环境需要共同利用文本和视觉信息以更准确地链接实体提及。这导致了对多模态实体链接（MEL）任务日益增长的研究兴趣。

早期的MEL研究主要依赖于独立的特征编码。例如，使用 ResNet（He et al., 2016）或 ViT（Dosovitskiy et al., 2020）提取视觉特征，同时使用 BERT 及其变体提取文本特征，然后通过简单拼接或共享空间投影进行融合（Devlin et al., 2019）。Moon et al.（2018）率先探索了使用基本跨模态注意力在社交媒体上进行消歧任务。随后，Adjali et al.（2020）提出了一种简单的融合方法，直接拼接独立的视觉和文本嵌入，而 Zhang et al.（2023）则将多模态特征映射到共享空间以进行简单的相似度匹配。然而，这种浅层融合策略往往忽略了模态之间复杂的语义对齐。为了解决这个问题，研究人员开始引入深层交互机制。例如，Yuanzheng et al.（2025）提出了一种利用硬负例对比学习来强制文本和视觉提及之间对齐的双编码器架构；Zeng et al.（2023）深入研究了在实体嵌入空间中匹配知识图谱的机制，以增强结构化知识的对齐。后来，Peng Wang et al.（2022）进一步引入了一种分层多模态协同注意力机制。尽管这些方法显著改善了跨模态对齐，但它们存在一个关键缺陷：在融合期间直接计算密集特征交互，允许视觉模态的噪声传播并污染文本表示，从而降低了模型在噪声场景下的鲁棒性。

随着大语言模型（LLMs）的快速发展，MEL 领域的研究重点已转向利用其强大的零样本推理和语义理解能力来提高模型性能。Shezheng Song et al.（2024）提出了 DIM 框架，实现了多模态实体链接与 LLMs 的动态集成；2025 年，Wang et al.（2026）进一步引入了 DeepMEL，构建了一个多智能体协作框架来处理复杂的 MEL 任务。此外，LLMs 已被广泛应用于多语言链接（Ne?i? et al., 2024）和表格数据实体链接（Jayawardene et al., 2024）。然而，尽管基于 LLMs 的方法在语义理解方面取得了突破，但直接将其作为端到端生成式链接器为实际工程部署带来了重大障碍。这种生成范式不仅产生巨大的计算开销和延迟，而且在面对高度局部化的多模态噪声（例如特定人物拼写错误与多实体图像混合的场景）时，模型非常容易产生幻觉。

尽管现有的 MEL 研究取得了显著进展，但在处理复杂的现实世界场景时仍存在具体的局限性。首先，由 Yuanzheng et al.（2025）的双编码器架构和 Zhang et al.（2021）的共享空间投影所代表的方法直接利用现成的骨干网络进行特征提取。缺乏模态特定的特征增强机制，这些模型在面对极端文本噪声或非显著视觉对象时，底层表示能力受到严重限制。其次，虽然 Peng Wang et al.（2022）引入了一种分层协同注意力机制以加强模态间交互，但这种密集特征交互不仅增加了模型复杂性和训练成本，而且无法有效阻止跨模态噪声传播。在图像包含多个实体或文本有严重拼写错误的场景中，这种无约束的注意力机制加剧了模态失衡，最终产生次优的融合表示。最后，虽然最近引入的端到端 LLM 框架（Shezheng Song et al., 2024; Wang et al., 2026）通过其强大的语义理解在一定程度上缓解了特征对齐问题，但其高昂的计算开销使其难以满足实际应用的实时要求。此外，迫使它们直接生成链接结果使它们在局部多模态噪声的干扰下容易受到幻觉的影响。

如图 1 所示，当图像包含多个个体但只有 Tupac Shakur 是目标链接实体，且伴随的输入文本包含大量拼写错误（例如，"voise"、"refiected"）时，该场景引入了显著的额外噪声。在这种情况下，传统的 MEL 模型——通常依赖于全局特征或密集跨注意力机制——由于缺乏显式噪声过滤模块而受到困扰。因此，非目标个体的视觉特征和拼写错误的文本噪声在融合阶段导致严重的跨模态噪声传播。这导致多模态表示高度不准确，最终导致提及无法正确链接到知识库中的正确实体。另一方面，在这种情况下试图利用生成式大语言模型（LLMs）直接输出链接的实体也经常失败。因为 LLMs 严重依赖于子词分词器，"Shakvr" 或 "strugglez" 等严重打字错误会突然中断令牌序列。这阻止了模型检索其参数化知识，并经常诱导幻觉，导致错误地链接到不相关的实体（例如，阿拉伯法学家 Q307365）。此外，多模态 LLMs 在面对多人图像时缺乏细粒度的视觉定位能力。当文本线索被噪声破坏时，端到端 LLMs 极难消歧图像中哪个特定实体是实际目标。这表明对于实际工程系统来说，存在一个关键的范式转变：与其迫使 LLMs 充当资源密集型的端到端链接器，不如将它们的强大语义理解能力作为轻量级的动态评估器来更好地利用，在物理特征融合之前对模态噪声进行门控和过滤。

这种情况通常导致图像和文本模态之间的隐式或显式语义不匹配。这些不一致性在融合过程中引入了大量噪声，最终损害了实体链接系统的准确性。为了解决这些问题，必须解决两大挑战：(1) 模态之间的语义鸿沟——文本和视觉特征通常被独立编码然后融合，导致在共享嵌入空间中产生表示不对齐。(2) 复杂的图像-文本关联，特别是在非显著或模糊的上下文中，引入了误导或不相关的多模态相关性，缺乏显式评估机制来防止融合期间的噪声放大。

为了克服这些挑战，我们提出了 FILLED（Fusion- enhanced BIdirectionaL MuLtimodal Entity Linking MoDel），一个高度鲁棒且工程友好的框架，旨在系统化地整合特征增强、动态评估和噪声蒸馏，以实现噪声环境中的可靠实体链接。FILLED 引入了四个关键创新：(1) 特征金字塔双向融合模块，通过整合高分辨率空间细节和语义丰富的深层特征来加强视觉表示；(2) 短语感知的文本编码器，融合字符级和短语级语义以增强文本理解；(3) 由 LLM 引导的动态门控机制，显式评估每个模态的信号噪声比以动态抑制背景干扰；(4) 带对比学习的瓶颈融合机制，执行物理压缩以过滤跨模态噪声并强制语义一致性。

我们在三个标准基准 Wiki-MEL 和 WikiDiverse 以及一个极具挑战性的专用数据集 Noisy-MEL 上评估了 FILLED。结果表明，虽然我们的模型在标准数据集上取得了与现有最先进方法相当的性能，但在 Noisy-MEL 上显著优于它们，在极端噪声场景中展现出卓越的鲁棒性和长尾抗性。大量的消融研究进一步证实了结合 LLM 门控与物理瓶颈压缩的必要性。

本文的主要贡献总结如下：

- 我们指出，多模态实体链接系统在图像包含多个实体且文本包含严重拼写错误的噪声场景中往往表现不佳，并且传统的融合或直接的生成式 LLM 方法无法防止跨模态噪声传播。
- 我们提出了 FILLED，一种新颖的多模态实体链接框架，旨在联合增强、动态评估和物理对齐多模态特征。具体而言，我们引入了双向视觉融合策略和短语感知的文本编码以有效减少语义鸿沟，以及由 LLM 引导的动态门控机制与瓶颈融合相结合以结构化地过滤不相关噪声并增强嵌入一致性。
- 实验结果表明，FILLED 在标准 MEL 基准上取得了具有竞争力的性能，并在极端干扰的 Noisy-MEL 数据集上交付了最先进的结果，验证了其在具有挑战性的现实环境中具有卓越的消歧准确性和长尾稳定性。

本文其余部分组织如下。我们首先在第二节介绍相关工作。然后在第三节介绍我们提出方法的基本原理，并在第四节详细描述我们提出的 FILLED 方法。实验结果展示在第五节。最后，我们在第六节总结本文。

章节片段

文本和多模态实体链接

实体链接（EL）是自然语言处理（NLP）中的一项基本任务，旨在将非结构化文本中模糊的实体提及与知识库（KB）中相应的条目进行对齐。传统的 EL 流程通常包括提及检测、候选生成以及基于文本相似度的消歧。早期的方法在很大程度上依赖于表面形式匹配和手工制作的特征，例如 Cucerzan（2007）基于图的方法以及系统概述。

多模态实体链接

实体链接指的是将非结构化文本中已识别的实体提及与其在知识库（KB）中相应的实体进行对齐的任务（Yang et al., 2024）。标准流程包括提及检测、候选生成、候选排序和实体消歧。

形式化地，给定文本中的一个实体提及 ?? 和一组检索到的候选实体 ???，最终步骤通过最大化匹配分数 ??(??,??) 来选择最合适的实体 ???∈???：???=arg?max??∈??????(??,??)

方法论

如图 2 所示，我们的 FILLED 框架由五个核心模块组成：多模态数据输入、特征提取、由 LLM 引导的动态门控、瓶颈融合和实体链接。框架概述如图 2 所示。

数据集与实验设置

为了训练多模态编码模块，我们使用了 Flickr30K 数据集（Young et al., 2014），该数据集包含 31,783 张图片，每张图片配有五句描述性语句，捕捉多样的视角。

为了训练多模态命名实体识别（NER）模块，我们采用了 Twitter2015 数据集，该数据集提供了丰富的带有命名实体标注的社交媒体内容，确保在多模态上下文中准确识别实体提及。在完成这些预训练之后，结论如下：

在本研究中，我们提出了 FILLED，一个新颖的多模态实体链接框架，旨在解决复杂现实场景中固有的语义不对齐、严重文本噪声以及视觉模糊性挑战。为了突破传统无约束融合的瓶颈，我们的框架系统地集成了特征增强、动态评估和噪声蒸馏。具体而言，我们引入了特征金字塔双向融合网络以丰富视觉表示。

CRediT 作者贡献声明
Yong Feng：写作 – 审阅与编辑。
Yunxiang Wang：写作 – 原稿撰写。
Rongbing Wang：形式分析。
Xinwei Wu：方法论。
Menglin Zhang：数据整理。
Hongyan Xu：监督指导。
Yonggang Zhang：项目管理。

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系，这些可能被认为会影响本文所报告的工作。

致谢
本研究由辽宁省自然科学基金一般项目2024年（编号：2024-MSLH-196）以及吉林大学教育部符号计算与知识工程重点实验室项目（资助编号：93K172018K01）资助。

Yong Feng | Yunxiang Wang | Rongbing Wang | Xinwei Wu | Menglin Zhang | Hongyan Xu | Yonggang Zhang
辽宁大学信息学院，中国辽宁沈阳