HiTIMI：一种用于多模态命名实体识别的分层类型驱动的跨模态交互框架

《Neurocomputing》：HiTIMI: Hierarchical type-driven inter-modality interaction framework for multimodal named entity recognition

本文提出HiTIMI框架，通过类型驱动注意力机制和层次化跨模态交互，解决多模态命名实体识别中的语义不一致问题。该方法利用类型关键词提取增强实体类型区分度，结合文本和视觉模态的层次化交互建模，并通过辅助检测任务提升类型表示学习效果，实验表明在多个基准数据集上显著优于现有方法。

　　在当今社会，随着社交媒体平台上的用户生成内容迅速增长，从这些大量无结构的数据中提取有组织和有价值的信息变得尤为重要。这一任务不仅有助于理解群体和个体的意见、事件和偏好，也为后续的自然语言处理任务提供了基础。然而，传统的命名实体识别（NER）方法在处理社交媒体上的短文本和噪声数据时遇到了挑战。相比之下，社交媒体中的视觉模态为实体识别提供了重要的补充信息来源，因为图像能够传达丰富的上下文线索，这些线索在文本中往往难以捕捉，例如人物的外貌特征、物体的描述以及空间关系等。

因此，多模态命名实体识别（MNER）任务逐渐受到广泛关注，该任务通过多模态联合建模来识别和分类文本中的实体。识别出的实体可以用于各种下游任务，如多模态关系抽取和多模态实体链接。然而，现有的MNER方法在构建跨模态的一致表示方面仍存在不足，导致语义鸿沟的产生。这种语义鸿沟主要是由于图像和文本之间信息表达的不一致所造成的。因此，直接利用这些不一致的表示来捕捉文本和视觉模态之间的语义对应关系仍然是一个重大挑战。

为了解决这一问题，本文提出了一种基于实体类型的层次化跨模态交互（HiTIMI）框架。该框架通过将实体类型作为语义桥梁，实现跨模态的语义对齐。具体而言，HiTIMI首先将实体类型视为引导线索，在统一的类型驱动语义表示空间中对齐不同模态，确保模态之间的语义一致性。为了增强类型表示的区分能力，本文设计了一种类型关键词提取方法，通过将训练数据集中高频出现的实体与其对应的实体类型词汇进行关联，从而丰富类型描述。随后，HiTIMI在层次化结构的每一层上建模类型感知的跨模态语义对应关系，进一步捕捉细粒度的跨模态语义。此外，本文还设计了基于文本和视觉类型的辅助检测任务，通过联合建模提供额外的监督信号，以提升类型表示在引导跨模态对齐方面的有效性。

HiTIMI框架的核心在于其多层次的结构设计，能够同时处理低层次的细节信息和高层次的抽象信息。这种设计不仅有助于提高模型在处理多样化社交媒体内容时的推理能力，还能增强模型对复杂跨模态语义的捕捉能力。具体来说，HiTIMI采用多层堆叠的Transformer结构，提取不同抽象层次的层次化表示。通过引入类型驱动的模态无关注意力机制，HiTIMI能够将实体类型作为跨模态语义桥梁，从而在统一的类型驱动语义表示空间中对齐文本和视觉模态。此外，为了进一步提升类型表示的区分能力，HiTIMI还设计了一种类型关键词提取方法，该方法通过将训练数据中的高频实体与其对应的实体类型词汇进行关联，从而丰富类型描述，使得实体类型在跨模态对齐过程中更具指导性。

HiTIMI的另一个重要组成部分是类型感知的跨模态层次化交互模块，该模块能够在层次化结构的每一层上捕捉类型感知的跨模态语义对应关系。这种交互不仅包括低层次的细节信息，还涵盖了高层次的抽象语义，从而实现更全面的跨模态理解。此外，为了提供额外的监督信号，HiTIMI还设计了基于文本和视觉类型的辅助检测任务，这些任务通过与主要识别任务联合建模，提升了类型表示的学习效果。

实验结果表明，HiTIMI在多模态和单模态NER任务中均取得了优异的性能。在多个基准数据集上的测试结果显示，HiTIMI的性能优于当前最先进的方法，分别提升了2.79%和1.05%。这些结果表明，HiTIMI框架在处理社交媒体上的多模态数据时具有显著的优势。同时，HiTIMI框架的层次化设计和类型驱动机制，使其能够有效应对社交媒体数据中的多样性和噪声问题，从而提高实体识别的准确性和鲁棒性。

尽管HiTIMI框架在多模态命名实体识别任务中表现出色，但其仍然存在一些局限性。当前的评估主要集中在短社交媒体帖子上，这可能无法充分反映处理长文档（如新闻文章）时的挑战。在处理长文档时，实体的跨度可能更长，跨模态之间的不一致性也可能更加明显。因此，未来的研究可以考虑以下方向：首先，探索如何从输入模态中提取更丰富的上下文信息，例如文本到图像或图像到文本的上下文信息提取；其次，考虑如何检索更多的辅助信息，以进一步提升模型在复杂场景下的表现。

此外，本文的贡献不仅体现在模型设计上，还体现在对多模态命名实体识别任务的深入理解上。HiTIMI框架通过引入基于实体类型的层次化交互机制，有效解决了跨模态语义对齐的问题。同时，通过类型关键词提取方法和辅助检测任务，提升了类型表示的区分能力和学习效果。这些方法的结合使得HiTIMI在处理社交媒体上的多模态数据时具有更高的准确性和鲁棒性。

在实验设置方面，本文选择了五个基准数据集：Twitter-2015、Twitter-2015r（Twitter-2015的过滤版本）、Twitter-2017、MNER-MI和MNER-MI-Plus。这些数据集涵盖了从2014年到2022年的社交媒体数据，包括不同风格、主题和质量的图像和文本组合。通过在这些数据集上进行测试，本文验证了HiTIMI框架的有效性。实验结果表明，HiTIMI在这些数据集上的表现优于当前最先进的方法，特别是在处理长文档和复杂跨模态场景时表现出更强的适应能力。

总的来说，HiTIMI框架为多模态命名实体识别任务提供了一种新的解决方案。通过引入基于实体类型的层次化交互机制，HiTIMI能够有效解决跨模态语义对齐的问题，提升模型在处理社交媒体数据时的性能。同时，通过类型关键词提取方法和辅助检测任务，HiTIMI进一步增强了类型表示的区分能力和学习效果。这些方法的结合使得HiTIMI在处理多样化和噪声数据时具有更高的准确性和鲁棒性。未来的研究可以进一步探索如何优化这些方法，以提升模型在处理更复杂和更广泛的数据场景时的表现。