《Information》：Evaluating Prompt Engineering Techniques for LLaMA-3: A Study of Zero-Shot, Few-Shot, and Chain-of-Thought Prompts Across Reasoning and Classification Tasks
编辑推荐：
提示工程（Prompt Engineering）已成为微调大型语言模型（Large Language Models, LLMs）的一种实用且资源高效的替代方案，尤其因为这类方法的计算成本低于微调。本文评估了三种广泛采用的提示技术——零样本（Zero-Shot）
提示工程（Prompt Engineering）已成为微调大型语言模型（Large Language Models, LLMs）的一种实用且资源高效的替代方案，尤其因为这类方法的计算成本低于微调。本文评估了三种广泛采用的提示技术——零样本（Zero-Shot）、少样本（Few-Shot）和链式思考（Chain-of-Thought, CoT）。尽管这些提示策略已较为成熟，但从业者仍缺乏关于何时应优先选择每种技术、它们无法可靠支持哪些任务类型，以及性能权衡如何影响基于LLM的系统的实际使用的明确指导。研究人员使用Meta的LLaMA-3 8B Instruct模型，在三个基准任务上测试了这些技术：情感分类（SST-2）、多项选择题（CommonsenseQA）和多步数学问题求解（GSM8K）。研究人员基于准确率（Accuracy）、F1分数（F1 Score）和求解率（Solve Rate）进行了全面的性能比较。求解率被强调为评估LLM输出可用性的补充指标——这一因素在现有文献中常被忽视。实验结果表明，少样本提示在结构化分类任务中尤为有效，而链式思考提示在需要多步推理的逻辑密集型任务中表现出色。在分类任务上，少样本提示提高了求解率，但准确率和F1分数低于零样本提示。在多项选择题上，零样本、少样本和链式思考提示的求解率均达到100%。在多步数学问题求解上，链式思考相比零样本提高了求解率和可解释性，但未超过零样本的准确率。总体而言，结果表明提示策略的有效性具有任务依赖性，在三个基准任务中，准确率和输出有效性均观察到差异。
在大型语言模型（LLM）快速融入自然语言处理（NLP）系统的背景下，提示工程（Prompt Engineering）作为无需昂贵微调即可适配下游任务的有效手段日益受到重视。然而，现有研究多聚焦于单一任务类型或仅采用语义准确率等指标，缺乏对输出结构可用性的关注。为弥补这一空白，研究人员使用Meta的LLaMA-3 8B Instruct模型，系统评估了零样本（Zero-Shot）、少样本（Few-Shot）和链式思考（CoT）三种提示策略在情感分类（SST-2）、常识问答（CommonsenseQA）和多步数学推理（GSM8K）三类任务上的表现，并引入求解率（Solve Rate）作为衡量输出结构有效性的部署导向指标。研究表明，提示策略的有效性具有显著任务依赖性，语义正确性与输出可用性之间并非总是同步；少样本提示虽能提升格式合规性但易引入类别偏差，链式思考提示在推理任务中增强了可解释性和求解率，零样本提示在简单分类中表现良好但输出格式不稳定。该研究为实际应用中选择提示策略提供了实证依据。
研究人员采用统一的实验框架，使用LLaMA-3 8B Instruct模型（通过Hugging Face Transformers库加载，采用4-bit量化推理，运行于Google Colab Pro的单个A100 GPU），在所有任务上应用相同的评估协议。每个基准数据集上限为650个样本，按原始顺序顺序选取，三种提示策略均使用相同子集。生成采用贪婪解码（do_sample=False），任务特定的最大生成token数分别设置为GSM8K 164、CommonsenseQA 30、SST-2 20。评估指标包括准确率、F1分数和求解率（定义为输出满足非空、格式合规、可无歧义提取三个条件的比例）。对SST-2，输出需精确匹配“positive”或“negative”；对CommonsenseQA，输出需为A–E中的单一标签；对GSM8K，输出需包含“Final answer: [value]”格式的最终行。
在SST-2情感分类任务中，零样本提示在准确率（89.2%）和F1分数（89.2%）上优于少样本提示（准确率77.2%，F1分数76.5%），但少样本提示的求解率（100%）高于零样本（96.5%）。失败分析显示，少样本设置下模型对“positive”类别存在明显预测偏差，源于对示例的过度拟合；零样本输出则格式不一致，如生成“The sentiment is positive”而非直接输出“positive”。CoT不适用于二元分类任务故未评估。
在CommonsenseQA多项选择任务中，零样本、少样本和CoT三种提示均达到100%求解率，零样本的准确率（78.9%）略高于少样本（75.7%）和CoT（74.4%）。CoT提示提供了更可解释的推理过程，但未带来准确率提升。失败分析表明，错误答案多与误解干扰项或依赖表层关键词匹配有关，零样本条件下的部分正确回答可能来自猜测而非真正的多步推理。
在GSM8K数学文字题任务中，结果变异性最大。零样本提示准确率为38.3%但求解率仅50.3%，超过40%的输出未按格式提供最终答案；少样本提示求解率达100%但准确率极低（1.71%），模型频繁模仿示例答案格式而非真正解题，出现模式坍缩；CoT提示在准确率（34.0%）略低于零样本的情况下，将求解率显著提升至89.4%，并产生逐步推理和中间计算，可解释性和输出可靠性增强。定性示例显示，CoT能指导模型分解并验证每一步，减少结构错误。
讨论部分总结了几项关键发现。提示策略的选择应取决于任务目标：分类任务中零样本或少样本各有优劣，推理任务中CoT优势明显；求解率与准确率可能解耦，如GSM8K少样本高求解率但低准确率，零样本高准确率但低求解率，实际部署中两者需同时满足。此外，CoT在需要透明度的应用（如教育、金融）中价值突出，尽管其延长输出导致推理成本增加。研究还指出，结果基于单一模型和单次运行，定量数值可能随模型规模变化，但定性趋势可能具有普适性。
研究结论为：提示策略的有效性取决于任务类型，不存在普适的最优方法；求解率作为准确性之外的补充指标，能反映输出结构可用性，对自动化处理场景至关重要；提示选择应结合任务需求，同时考虑正确性与输出有效性。未来研究方向包括偏差评估与公平审计、扩展到更大模型或多模态模型、混合提示策略、自动提示生成、多语言与跨领域扩展，以及标准化求解率评估流程。
