危机信息学中的大型语言模型在零样本和少样本分类中的应用

《ACM Transactions on the Web》：Large Language Models in Crisis Informatics for Zero and Few-Shot Classification

本文提出通过微调预训练大语言模型解决危机分类数据依赖问题的方法，在有限训练数据下Llama微调模型达69%宏F1分数，较基线提升26%，并超越ChatGPT4 3%。二分类中未经微调的LLM 2和ChatGPT4也达87%宏F1。研究为缺乏标注数据的危机场景提供新方案，突出LLM应对冷启动的潜力。

　　

摘要

本文探讨了使用预训练的大型语言模型（LLMs）进行危机分类的方法，以解决标注数据依赖性问题。我们提出了一种通过微调来增强开源LLMs的方法，从而创建出能够与传统的监督学习模型相媲美的零样本和少样本分类器，用于对危机相关信息进行分类。通过对比研究，评估了使用通用领域预训练的LLMs、特定危机领域的LLMs以及传统监督学习方法在危机分类任务中的表现，为该领域树立了基准。

我们针对特定任务微调的Llama模型在分类人道主义信息时取得了69%的宏观F1分数——即使训练数据有限，这一成绩也比Llama基线模型提高了26%。此外，该模型在宏观F1分数上比ChatGPT4高出3%。当使用多任务数据进行微调后，这一提升幅度进一步提高到了71%。在将信息二元分类为“与危机相关”或“与危机无关”时，我们发现像Llama 2和ChatGPT4这样的预训练LLMs在未经微调的情况下也表现良好，ChatGPT4的宏观F1分数达到了87%。

这项研究扩展了我们对如何利用LLMs进行危机分类的理解，为缺乏标注数据的危机场景提供了重要契机。研究结果凸显了LLMs在危机信息学中的潜力，尤其是在灾难初期阶段解决“冷启动”问题的能力，同时也展示了它们在训练数据有限的情况下仍能实现高准确率的能力。