对开源大型语言模型进行提示和微调以实现立场分类

《ACM Transactions on Intelligent Systems and Technology》：Prompting and Fine-Tuning Open-Sourced Large Language Models for Stance Classification

立场分类研究利用大语言模型替代人工标注，测试10种模型和7种提示方案发现LLM性能与监督模型相当但波动较大，微调未显著提升效果，需建立立场分类基准优化LLM表现。

　　

摘要

立场分类（即预测作者对某一主题的看法）一直是从社会科学到机器学习等多个研究领域的关注焦点。目前的立场检测方法主要依赖于对句子的手动标注，随后再训练监督式机器学习模型。然而，这种手动标注过程需要大量的劳动成本，从而限制了该方法在不同情境下的泛化能力。在这项研究中，我们探讨了使用大型语言模型（LLMs）作为立场检测方法的可能性，这种方法可以减少甚至消除对手动标注的需求。我们测试了10个开源模型和7种提示方案，发现LLMs在性能上可以与领域内的监督模型相媲美，但其表现并不一致。我们还对LLMs进行了微调，但发现微调过程并不一定能带来更好的性能。总体而言，我们发现LLMs并不总是优于较小的监督式机器学习模型，因此建议将立场检测作为一个基准，让LLMs也针对这一基准进行优化。本研究使用的代码可访问https://github.com/ijcruic/LLM-Stance-Labeling。