基于混合BERT-LSTM模型的NLP技术，为与新冠疫情相关的推文推荐相关标签

《ACM Transactions on Asian and Low-Resource Language Information Processing》：NLP-enabled Recommendation of Hashtags for Covid based Tweets using Hybrid BERT-LSTM Model

标签推荐模型BELHASH结合BERT嵌入与LSTM，在COVID-19推文中实现0.72准确率、0.67 F1分数，首次融合BERT与LSTM优化多标签分类。

　　

摘要

标签（Hashtags）已成为一种新的趋势，用于概括人们的感受、情绪、心情变化、食物口味等。它们还可以代表各种实体，如地点、家庭和朋友。在社交媒体网站上，标签是一种搜索和分类内容的方式。随着标签使用的增加，自动化处理这些标签的需求也随之产生，从而衍生出了“标签推荐”这一概念。然而，社交媒体上仍有大量未添加标签的帖子。在利用标签进行数据搜索和分类时，这些未标记的帖子会被忽略，无法提供任何有用的信息，最终被忽视。但如果能够根据用户的帖子内容为其推荐合适的标签，用户可能会选择其中一个或多个标签，从而使这些帖子被正确标记。在这种情况下，标签推荐技术就显得非常有用。尽管已经有很多研究采用传统的深度学习方法来进行标签推荐，但基于自然语言处理（NLP）和BERT嵌入技术的研究还相对较少。在本文中，我们提出了一种名为BELHASH的模型，该模型结合了BERT嵌入技术和LSTM神经网络来实现标签推荐。由于标签需要通过MultiLabelBinarizer转换为多个二进制向量（由0和1组成），因此这项任务可被视为多标签分类问题。我们使用Covid-19相关的推文对这一模型进行了评估，取得了0.72的准确率、0.7的精确率、0.66的召回率和0.67的F1分数。据我们所知，这是首篇将BERT嵌入技术与LSTM模型结合用于标签推荐的论文，并且取得了较为出色的研究成果。