基于低秩适应（LoRA）的大语言模型微调在阿拉伯语情感分析中的有效性研究

《Scientific Reports》：Evaluating parameter-efficient fine-tuning of large language models for sentiment analysis with bayesian optimization

　　

摘要

数字格式下日益增长的用户生成评论和反馈为各个领域提供了有价值的见解。情感分析在从文本数据中提取观点方面发挥着关键作用。大语言模型（LLMs）在众多自然语言处理任务中展现出了卓越的性能；然而，对这些模型进行微调仍然是一项资源密集且耗时的任务。参数高效微调（PEFT）技术提供了一种计算效率更高的替代方案。本研究通过评估 ASTD、LABR 和 HARD 数据集上的序列分类和指令微调范式，探讨了低秩适应（LoRA）在阿拉伯语情感分析中微调大语言模型的有效性。结果表明，与带有分类头的 LLaMA-3-8B 相比，LLaMA-3-8B-Instruct 实现了具有竞争力的性能。此外，SILMA-9B-Instruct 展现出最高的整体性能，在 ASTD、LABR 和 HARD 数据集上分别达到了 88.95%、89.91% 和 96.55% 的 F1 分数。另外，研究采用了贝叶斯超参数优化，通过探索秩、Dropout 和学习率来寻找最佳的 LoRA 配置，从而使整个模型在 F1 分数上获得最大的验证得分。