融合多模态大型语言模型生成的依据以实现多模态命名实体识别

《Neurocomputing》：Fusing MLLM-generated evidence for multimodal named entity recognition

　　

Kexin Jiang|Bo Li|Xiaoqin Xiao

广东外语外贸大学华南商学院计算机科学学院，中国广州510545

摘要

多模态命名实体识别需要整合文本与视觉信息，以便在社交媒体帖子中准确识别实体范围，而这些短文本往往具有模糊性且依赖上下文。我们提出了EPFF（证据后验融合框架），这是一种概率方法，可将多模态大型语言模型生成的辅助证据转化为基于令牌级别的、具备不确定性意识的融合后验值。与那些将视觉证据视为确定性信息的传统方法不同，EPFF能够对每个令牌对视觉上下文的依赖程度进行建模，从而实现文本与图像模态的选择性、可解释性整合。该框架利用经过冻结处理的DeBERTa模型编码的全局解释信息、令牌级别的视觉支持指标以及推理嵌入来指导融合过程。在Twitter-2015和Twitter-2017测试集上的实验表明，EPFF在Twitter-2017上取得了最佳性能，在Twitter-2015上也表现优异，其F1分数分别为90.88%和78.63%。通过消融实验和案例分析进一步验证，证据后验融合以及大型语言模型生成的辅助信号能够显著提升对那些具有挑战性且视觉上模糊的实体的识别精度。这些结果凸显了在强大的多模态实体识别系统中，具备不确定性意识的融合机制以及结构化的辅助证据的重要性。

引言

多模态命名实体识别旨在借助配对的视觉上下文来识别文本中的实体范围及类型[1]、[2]。这项任务对于理解社交媒体内容尤为重要，因为社交媒体中的帖子通常较短、信息杂乱且含义模糊，而图片往往能提供关键的参照线索。最近的调研表明，多模态命名实体识别的进展在很大程度上取决于三个紧密相关的因素：有效的跨模态表示、文本与视觉证据之间的可靠对齐，以及在图像质量较差或相关性较弱时的稳健融合能力[3]。尽管已经取得了不少进展，但模型的可解释性和可控性问题依然存在，尤其是当模型需要判断是否应该信任某个特定令牌或实体提及对应的视觉上下文时[3]。

最近的研究从多个互补角度提升了多模态命名实体识别的性能。Xu等人[4]通过生成与文本内容更匹配的自适应混合图像来增强系统的稳健性，结果表明图像的质量和相关性会对识别结果产生重要影响。Zhao等人[5]则研究了多图像场景，并通过图交互框架明确了对图像与文本相关性的建模，指出并非所有图像都对实体预测有同等贡献。Zeng等人[6]进一步证明，大型语言模型能够帮助预测文本与图像之间的相关性，从而提升多模态命名实体识别的性能。这些研究共同表明，相关性估计是多模态命名实体识别的核心。然而，目前大多数方法仍然主要在图像或实例层面运作，没有明确学习一种基于令牌级别、具备不确定性意识的机制，来决定应让多少视觉证据影响每个预测结果[4]、[5]、[6]。

与此同时，多模态大型语言模型逐渐成为提供更丰富中间证据的理想工具，这些证据包括推理过程、支持度判断以及跨模态推理轨迹。不过最新的研究也揭示出多模态推理一致性以及模态偏见等持续存在的局限性。Jia等人[7]指出，跨模态推理一致性问题远未得到解决，而Corvid则通过强化跨模态连接机制以及结构化推理行为，提升了多模态链式推理的能力[8]。最近，Ma等人[9]又证明，基于端到端大型语言模型的接地式实体推理仍可能受到单模态思维模式的影响。这些结果都表明，仅有更丰富的证据是不够的，还必须以可控且可验证的方式将其整合进来[7]、[8]、[9]。对于多模态命名实体识别而言，这就要求在设计时将大型语言模型的输出视为不确定的辅助证据，而非确定性结论，其可靠性需要在融合过程中进行校准。

为此，我们提出了EPFF（证据后验融合框架），这是一个用于多模态命名实体识别的统一概率框架，它可以将大型语言模型生成的证据转化为基于令牌级别的、具备不确定性意识的融合后验值。EPFF并非将相关性评分、支持度指标或推理过程作为固定特征直接输入，而是将视觉信息的依赖程度建模为一种受证据条件影响的后验分布，从而使模型能够决定何时应该信任视觉信息、哪些令牌确实需要视觉信息，以及如何抑制不匹配的视觉信号。

我们的主要贡献如下：

• •
  我们提出了EPFF，这是一种用于多模态命名实体识别的概率框架，它将大型语言模型生成的辅助证据建模为基于令牌级别的融合后验值，从而能够以具备不确定性意识的方式整合多模态信息。
• •
  我们设计了一种基于证据引导的融合方案，并加入了一致性校准目标，这样外部证据就可以在不需要被视为强制监督的情况下影响融合过程。
• •
  我们还设计了一种基于支持度感知的、以推理过程为导向的对齐目标，以此更好地捕捉基于视觉的参照线索，进而提升最终生成结果的稳健性和可解释性。

章节节选

多模态命名实体识别

多模态命名实体识别旨在通过同时利用文本与视觉信息，来识别社交媒体及相关场景中的实体范围及类型。其主要难点在于弥合文本与图像之间的语义差异，同时抑制那些关联性较弱或存在噪声的视觉内容的干扰。近期的研究进展主要集中在跨模态对齐、细粒度交互以及稳健的融合技术方面。Qian等人对多模态命名实体识别进行了全面综述，并指出

方法论

在本节中，我们将介绍所提出的证据后验融合框架（EPFF），这是一种用于处理社交媒体帖子中多模态命名实体识别的概率框架。设计EPFF的灵感来源于一个简单却重要的观察：在多模态帖子中，视觉信息对不同令牌的参考价值并不相等。有些实体仅通过文本上下文就能被识别，而另一些实体则需要依靠视觉信息来消除歧义。如果直接将图像特征注入到每一个

数据集

我们在两个广泛使用的多模态命名实体识别测试集上对所提出的方法进行了评估，即Twitter-2015和Twitter-2017。这两个数据集均来自Twitter，由推文与对应图像对组成，每个样本都包含一段短文本及其相关的视觉上下文。按照标准设置，这两个数据集都涵盖了四种实体类型：PER、LOC、ORG和。

表1总结了相关数据统计信息。Twitter-2015包含4000个训练样本，1000个验证

结论

在本文中，我们提出了EPFF，这是一种具备证据意识的多模态命名实体识别框架，它将大型语言模型生成的辅助信号作为经过校准的指导依据，用于实现基于令牌级别的融合，而非依赖确定性预测。通过结合基于后验的融合方法、一致性校准以及基于支持度感知的对齐机制，EPFF既学会了如何整合文本与视觉信息，也明确了何时视觉信息才真正具有帮助作用。在Twitter-2015和Twitter-2017上的实验结果表明，该框架相较于现有方法始终能取得更好的性能

CRediT作者贡献说明

Kexin Jiang：撰写——初稿、方法论部分、资金申请。Bo Li：撰写——初稿、数据整理工作。Xiaoqin Xiao：撰写——初稿、可视化设计、数据整理工作。

利益冲突声明

作者声明，他们不存在任何已知的、可能影响本文研究结果的财务利益关联或个人关系。

致谢

本研究得到了广东省教育厅青年创新人才项目（自然科学类）（项目编号2025KQNCX149）的支持。

Kexin Jiang在中国延边大学获得了计算机科学与技术专业的硕士学位。他目前就职于广东外语外贸大学华南商学院。他的研究兴趣包括自然语言处理、基于方面的情感分析、多模态学习以及大型多模态模型。