如何理解命名实体：利用常识进行新闻标题标注

《ACM Transactions on Multimedia Computing, Communications, and Applications》：How to Understand Named Entities: Using Commonsense for News Captioning

新闻图片标题生成中命名实体理解方法研究，提出融合常识知识的三个模块：过滤模块区分实体语义，整合节点度、依赖关系和区分特征；丰富模块结合常识信息扩展实体描述，最终通过多模态模型生成标题。实验在GoodNews和NYTimes数据集上验证有效性。

　　

摘要

新闻字幕生成的目标是利用图像及其对应的新闻文章内容作为输入来描述该图像。这一过程在很大程度上依赖于一系列被检测到的命名实体，包括现实世界中的人物、组织和地点。本文利用常识知识来辅助新闻字幕的生成。所谓“理解”，是指将新闻内容与现实世界中的常识进行关联，这有助于系统：1）区分语义上相似的命名实体；2）使用训练语料库之外的词汇来描述这些命名实体。我们的方法包含三个模块：(a) 过滤模块 从两个方面阐明关于命名实体的常识：它指的是什么？ 和 它与什么相关？，并将这些常识分为 解释性知识 和 相关知识。(b) 区分模块 结合 解释性知识 以及 节点度、依存关系 和 区分度 三个方面的信息，来区分语义上相似的命名实体。(c) 丰富模块 将 相关知识 添加到命名实体中，通过常识信息（例如身份和社会地位）来丰富实体的描述。最终，所有这些信息都被整合到一个大型多模态模型中，以生成新闻字幕。在两个具有挑战性的数据集（GoodNews 和 NYTimes）上的广泛实验证明了我们方法的优越性。消融研究和可视化分析进一步验证了该方法在理解命名实体方面的有效性。