一种用于乌兹别克语文本的混合NER–情感模型：整合词汇学、深度学习和基于实体的方法 作者：Bobur Saidov, Vladimir Barakhnin, Rakhmon Saparbaev, Zayniddin Narmuratov, Rustamova Manzura, Ruzmetova Zilolakhon, Anorgul Atajanova

《Big Data and Cognitive Computing》：A Hybrid NER–Sentiment Model for Uzbek Texts: Integrating Lexical, Deep Learning, and Entity-Based Approaches Bobur Saidov, Vladimir Barakhnin, Rakhmon Saparbaev, Zayniddin Narmuratov, Rustamova Manzura, Ruzmetova Zilolakhon and Anorgul Atajanova

　　

摘要

本研究提出了一种混合式的乌兹别克斯坦情感分析模型（在本地文献中有时也被称为语调分析），该模型将上下文文本表示与来自命名实体识别（NER）模块的实体信息以及常见于短-lived在线消息中的表情符号情感线索相结合。为了进行全面的基线比较，我们评估了七种方法：SVM、LSTM、mBERT、XLM-RoBERTa-base、mDeBERTa-v3、LaBSE以及所提出的混合模型。这些方法涵盖了传统的机器学习方法和现代的多语言Transformer架构，用于处理资源受限的情感分析任务。整个流程首先对乌兹别克语文本进行特定处理，以消除非正式拼写、转写变体以及不统一的撇号使用所带来的干扰。同时，系统会提取表情符号，以捕捉社交媒体文本中常见的非语言表达的情感信号。接下来，我们构建了三个互补的特征流：一个是用于句子级别语义的上下文编码器；另一个是基于NER的实体特征流，用于编码实体提及及其类型；还有一个情感模块，用于模拟表情符号的先验及其与上下文意义的交互。这三个特征流被融合成一个统一的表示形式，然后输入到最终的分类器中以预测情感极性。在乌兹别克语测试集上的实验表明，该混合模型的F1分数达到了0.92，明显优于仅使用文本的基线模型。实验结果表明，考虑实体和表情符号特征的做法在处理讽刺/反讽、混合情感（包含多个目标）以及拼写错误等干扰因素时能够提高模型的鲁棒性，使得该方法适用于社交媒体分析、公共舆论监测、客户反馈分类以及基于推荐的文本挖掘等场景。