阿拉伯语情感分类的大语言模型部署导向评估框架：超越准确率性能的输出有效性度量研究

《Scientific Reports》：Deployment-oriented evaluation of large language models for Arabic emotion classification

　　

摘要

大语言模型（LLMs）越来越多地用于情感分类任务，然而阿拉伯语领域的相关评估仍然有限，且通常仅关注预测性能。本研究提出了一种面向部署的阿拉伯语情感分类评估框架，该框架在传统的基于准确率的评估之外，补充了输出有效性度量，通过覆盖率（coverage）和未知率（unknown rate）加以操作化，并结合严格评估与覆盖评估两种模式。评估基于1002条人工标注的阿拉伯语句进行，涵盖五种情感类别，标注者间一致性极高（\(\kappa = 0.9722\)）。我们在统一的零样本设置下评估了多个专有模型和开源权重模型的大语言模型，并进一步考察了少样本提示、三票随机聚合以及运行间稳定性等因素的影响。此外，还纳入了有监督阿拉伯语编码器基线模型AraBERT和MARBERT，作为面向特定任务的参考模型。结果表明，表现最优的大语言模型兼具强大的预测性能和较高的输出有效性，而非可评估输出方面的差异则因模型和协议而异。少样本提示提升了大多数（但非全部）被评估模型的性能，而三票聚合在各系统间产生的效果并不一致。总体而言，研究结果表明，面向部署的指标能够提供超越预测性能的互补信息，有助于在受控推理条件下对阿拉伯语情感分类系统进行更加透明的评估。