从稀缺到明晰:基于少量数据的阿拉伯语应用评论解析
《Information Processing & Management》:Scarcity to clarity: Unraveling Arabic app reviews with minimal data
【字体:
大
中
小
】
时间:2026年09月17日
来源:Information Processing & Management 8.1
编辑推荐:
**主要结论**
• 主动学习减少了阿拉伯语应用评论分析所需的标注数据量。
• 样本多样性和数据增强进一步降低了对标注数据的依赖。
• 情感分析的标注数据降至3.37%,分类任务的标注数据降至25.86%。
• 该框架在跨数据集和跨分类领域方面显示出潜在的应用性。
**引言
**主要结论**
• 主动学习减少了阿拉伯语应用评论分析所需的标注数据量。
• 样本多样性和数据增强进一步降低了对标注数据的依赖。
• 情感分析的标注数据降至3.37%,分类任务的标注数据降至25.86%。
• 该框架在跨数据集和跨分类领域方面显示出潜在的应用性。
**引言**
智能手机已成为现代生活中不可或缺的工具,我们对移动应用程序的依赖日益增长,涵盖了通信、导航、购物和娱乐等日常任务的广泛领域(Malavolta等,2015年)。各类组织和服务提供商开发了移动应用程序,以便无缝访问其服务,满足用户的不断变化需求。然而,确保用户满意度需要对这些应用程序进行持续更新和改进。开发人员通常依赖用户评论和反馈来洞察用户体验、识别软件问题并发现改进领域(Malavolta等,2015年)。因此,对用户反馈的有效分析在指导开发决策和提升应用整体质量方面发挥着关键作用。然而,分析阿拉伯语应用评论面临诸多挑战,包括数据稀缺和语言变体多样性。人工分析用户反馈既耗时又费力,使得自动化解决方案成为必要(Fuad与Al-Yahya,2021年)。
自然语言处理(NLP)的最新进展,特别是在文本分类和情感分析方面,主要由机器学习(ML)和深度学习(DL)模型推动(Lu等,2025年)。基于Transformer的模型在广泛的NLP任务中表现出卓越的成功,包括情感分析、主题分类、序列建模和文本生成(de Oliveira与Nascimento,2026年)。然而,这些模型的有效性在很大程度上依赖于大规模、高质量的标注数据集进行训练。这种对大量标注数据的依赖对阿拉伯语等低资源语言构成了显著限制,因为这些语言的标注数据集有限且创建成本高昂。
为应对数据稀缺的挑战,主动学习作为一种有前景的解决方案应运而生,尤其适用于阿拉伯语等低资源语言(Ren等,2022年)。这种机器学习技术通过使模型主动识别并选择最具信息量的样本进行标注,从而减少了对大量标注训练数据的需求。通过迭代性地聚焦于不确定的样本,主动学习可以在降低标注成本和劳动力的同时提升模型性能。尽管主动学习已在各种NLP应用中证明有效(Alturayeif和Ahmad,2025年,Chen等,2026年),但其在阿拉伯语NLP中的应用,尤其是在应用评论分析方面,仍 largely 未被开发。
阿拉伯语由全球数百万人使用,由于其复杂的形态学、丰富的语法结构以及口头方言的巨大多样性,在NLP领域面临独特挑战(Shaalan等,2019年)。这些语言复杂性需要先进的方法来有效处理和分析阿拉伯语文本。随着阿拉伯语使用者在全球移动应用用户中占据重要比例,他们的反馈成为开发人员寻求提升用户体验和改进应用的关键资源(Kharsa等,2026年)。尽管其重要性,阿拉伯语在NLP领域被视为低资源语言,以标注训练数据和语言资源的稀缺为特征。这种标注数据的缺乏对开发阿拉伯语文本处理的ML模型构成了重大挑战。
尽管阿拉伯语应用评论的情感分析在先前研究中得到了广泛探索,包括Al-Hagree和Al-Gaphari(2022a)、Chader等(2020)、Ramzy和Ibrahim(2024)以及Saudy等(2022)的工作,但在更复杂的任务如识别错误报告、改进请求和功能评估的评论分类方面仍存在空白。Al-Hagree和Al-Gaphari(2022b)、Hadwan、Al-Hagery等(2022)以及Hadwan、Al-Sarem等(2022)的研究使用了具有前景的ML模型;然而,这些模型通常需要大量的标注数据集进行有效训练。Aljeezani等(2025年)的近期研究介绍了AURA(阿拉伯语应用用户评论)数据集,包含两个版本:AURA-Sentiment和AURA-Classification。该研究使用了MarBERT等预训练Transformer模型,但也强调了数据稀缺的持续挑战。为解决这一问题,主动学习在阿拉伯语NLP中作为一种有前景的技术应运而生,它允许模型选择最具信息量的数据进行标注,从而在保持高性能的同时减少对大量标注数据集的需求。例如,Abdelhakim等(2023年)、Al-Tamimi等(2021年)以及Goudjil等(2013年)的研究表明,主动学习显著减少了阿拉伯语文本分类、冒犯性语言检测和情感分析等任务所需的标注工作量。
大多数先前的阿拉伯语应用评论研究侧重于完全监督的情感分析,而研究标注高效学习以进行功能性应用评论分类的工作较少。在本研究中,我们提出了一种用于阿拉伯语应用评论分析和分类的主动学习框架,旨在应对数据稀缺带来的挑战。我们的方法纳入了两项关键策略以进一步减少对标注数据的需求:样本多样性和数据增强。样本多样性通过排除重复评论来最小化训练数据中的冗余,而数据增强使用合成数据生成来扩展数据集。具体而言,我们使用两个数据集——AURA-Sentiment和AURA-Classification——对预训练Transformer模型进行了微调。此外,我们评估了所提框架在多个数据集和分类领域中的泛化能力。
本研究旨在开发一个高效的阿拉伯语应用评论分析主动学习框架,在显著减少标注需求的同时保持具有竞争力的性能。具体而言,本研究的目的是:
1. 量化与传统完全监督训练相比标注工作量的减少程度。
2. 设计针对阿拉伯语情感分析和多类应用评论分类的主动学习框架。
3. 调查基于多样性的样本选择在最小化标注训练数据内部冗余方面的影响。
4. 评估数据增强技术在有限标注数据条件下的有效性。
5. 评估增强主动学习框架在不同领域中的适用性。
为实现这些目标,本研究做出以下贡献:
1. 我们开发并实证评估了一个标注高效框架,集成了基于不确定性的主动学习、基于多样性的采样和数据增强,用于阿拉伯语应用评论分析。
2. 我们在所提框架中对预训练Transformer模型进行了微调,应用于AURA-Sentiment和AURA-Classification数据集。
3. 我们证明了仅使用3.37%的训练数据作为手动标注样本来进行情感分析,以及25.86%用于功能性应用评论分类,即可达到与完全监督训练相媲美的性能,从而量化了相对于传统全数据训练的标注效率提升。
4. 我们展示了所提框架在附加情感分析数据集和分类领域中的有效性,为其泛化能力提供了初步证据。
本文其余部分结构如下:第2节回顾相关工作;第3节描述方法论;第4节呈现并讨论实验结果;第5节评估框架的泛化能力;第6节讨论研究意义;第7节总结全文。
**各章节摘要**
**相关工作**
本节回顾并分析了阿拉伯语应用评论分析与分类方面的先前研究,以及阿拉伯语NLP中主动学习技术的研究。据我们所知,本综述涵盖了过去15年间发表的同行评审研究。
**方法论**
本节概述了本研究所使用的方法论,包括数据预处理、深度学习模型、主动学习框架和模型评估。图1提供了整个方法论的概述,从分割应用评论数据集开始。基线模型在整个训练集上进行训练,而主动学习框架则迭代选择最具信息量的样本进行标注。两个模型均使用测试集进行评估以衡量其性能。
**实验与结果**
本节讨论了我们所进行实验的细节以及阿拉伯语应用评论情感分析和分类的结果。
**框架泛化性的扩展评估**
为评估所提框架的泛化能力和有效性,我们在两个公开的阿拉伯语数据集上进行了额外实验,涵盖情感分析和分类任务。
**研究意义**
本研究的发现以前所未有的方式推进了阿拉伯语应用评论分析和分类方面的先前研究。首先,先前的工作主要使用传统ML或常规DL模型专注于情感分析,而本研究通过将在Transformer架构中的主动学习应用于情感分析和多类评论分类来扩展了文献。这一组合在阿拉伯语应用的背景下基本未被探索。
**结论**
用户评论和反馈是移动应用程序开发人员的重要资源,为了解用户体验提供了宝贵的洞察,包括错误报告、偏好功能和改进建议。许多应用用户是阿拉伯语使用者,他们以各种阿拉伯语方言提供反馈。阿拉伯语是一种复杂且形态丰富的语言;然而,由于可用于有效训练ML和DL模型的标注数据集有限,它被视为低资源语言。
**CRediT作者贡献声明**
Dorieh Alomari:写作——审阅与编辑,写作——初稿撰写,可视化,验证,软件,方法论,调查,形式分析,数据整理,概念化。Irfan Ahmad:写作——审阅与编辑,验证,监督,资源,项目管理,方法论,调查,资金获取,数据整理,概念化。
**关于生成式AI和AI辅助技术在稿件准备过程中使用的声明**
在准备本工作期间,作者使用了ChatGPT来校对论文并纠正拼写和语法。在使用该工具/服务后,作者根据需要审阅并编辑了内容,并对已发表文章的内容承担全部责任。
**利益冲突声明**
作者声明没有已知的可能影响本文工作的竞争性财务利益或个人关系。
**致谢**
作者感谢国王法赫德国王石油矿物大学(KFUPM)对本研究的支持。Irfan Ahmad此外感谢沙特数据和AI局(SDAIA)和KFUPM通过SDAIA-KFUPM联合人工智能研究中心基金编号JRC-AI-RFP-10提供的支持。
Dorieh Alomari | Irfan Ahmad
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号