知识增强型预训练语言模型的综述

《ACM Transactions on Asian and Low-Resource Language Information Processing》：A Survey of Knowledge Enhanced Pre-trained Language Models

知识增强预训练语言模型通过知识注入提升自然语言处理任务中的理解、推理和可解释性，同时解决传统预训练模型鲁棒性差和缺乏可解释性的问题。本文系统综述了KEPLMs的进展，从不同视角分类现有模型，并探讨未来研究方向。

　　

摘要

预训练的语言模型通过自监督学习在大规模文本语料库上学习了有用的词表示方法，在经过微调后，在自然语言处理（NLP）领域取得了令人满意的性能。然而，这些模型存在鲁棒性较差和缺乏可解释性的问题。我们将引入知识注入的预训练语言模型称为知识增强型预训练语言模型（KEPLMs）。这类模型表现出深度的理解能力和逻辑推理能力，并提升了模型的可解释性。在这篇综述中，我们全面介绍了KEPLMs在NLP中的应用。首先，我们讨论了预训练语言模型和知识表示学习的最新进展；接着，我们从三个不同的角度系统地对现有的KEPLMs进行了分类；最后，我们指出了KEPLMs在未来研究中的一些潜在发展方向。