利用深度学习技术构建阿拉伯方言识别框架

《ACM Transactions on Asian and Low-Resource Language Information Processing》：Building a Framework for Identifying Arabic Dialects Using Deep Learning Techniques

社交媒体用户达48.71亿，多语言数据处理推动自然语言处理发展。结合阿拉伯语方言等8国及21国多语言语料库，采用CNN/BiLSTM与FastText嵌入的混合模型，在情感分析与翻译任务中取得51.4%最佳性能。

　　

摘要

Statista的统计数据显示，过去十年中社交媒体的使用量迅速增加，到2021年，全球互联网用户数量将达到约48.71亿。这是因为手机平台允许用户用多种语言（包括阿拉伯语）表达自己的情感和观点。作为使用最广泛的社交媒体平台之一，Twitter为用户提供了一个表达思想的便捷环境。许多杂志和政府网站利用Twitter发布官方声明和决策，虽然这些内容采用标准阿拉伯语撰写，但用户却用自己的母语与之互动。为了解决自然语言处理中的问题（如情感分析和翻译），需要解释和处理大量多种语言的数据。我们结合了Katherine提供的数据集（涵盖8个国家的方言）以及NADI共享任务数据集（通过Twitter收集，包含21个国家的方言）。实验中使用了三种具有不同词嵌入技术的深度学习模型，最终最佳效果由CNN/BiLSTM与FastText组合模型实现（准确率为51.4%）。