《Big Data and Cognitive Computing》：Better Prompts, Better Usefulness: A Systematic Review and Experimental Evaluation of Structured Prompting Techniques in Large Language Models
编辑推荐：
大型语言模型（LLMs）已迅速成为认知计算系统和人工智能辅助知识工作的核心组件。然而，LLM生成输出的有效性不仅取决于模型能力，还取决于用于引导它们的提示结构。本研究调查了结构化提示技术如何影响业务导向任务中的感知输出有用性。首先，研究人员遵循PRISMA指南
大型语言模型（LLMs）已迅速成为认知计算系统和人工智能辅助知识工作的核心组件。然而，LLM生成输出的有效性不仅取决于模型能力，还取决于用于引导它们的提示结构。本研究调查了结构化提示技术如何影响业务导向任务中的感知输出有用性。首先，研究人员遵循PRISMA指南进行了一项系统文献综述，以识别、分类和综合现有的提示增强策略。该综述导致了一个分类法的开发，该分类法区分了任务对齐技术（例如，一次性（one-shot）和少量样本（few-shot）提示）与推理透明技术（例如，思维链（Chain-of-Thought，CoT）提示）。基于此分类法，研究人员设计了一项受控实验研究，其中知识工作者在分析和总结任务中评估LLM生成的输出。使用线性混合效应模型（linear mixed-effects modeling），研究人员评估了提示技术的影响以及生成式人工智能（Generative AI，GenAI）使用频率的调节作用。结果表明，与基线方法相比，结构化提示显著提高了感知有用性，其中基于示例的条件设定与显式推理脚手架（explicit reasoning scaffolding）的组合获得了最高评价。使用频率的调节作用在统计上不显著，表明结构化提示设计的好处在不同经验水平上均保持稳健。这些发现将提示结构定位为一种实用的认知界面机制，并为增强认知计算环境中的人机交互提供了基于证据的指导。
**1. 引言**
随着人工智能（AI）融入组织工作流程，员工如何获取、处理和利用知识发生变化。生成式AI（GenAI）可提升生产力和产出质量，但用户若无法有效解释和使用AI输出，可能引入低效问题。提示工程（prompt engineering）作为创建有效查询以改善AI响应的技巧，成为最大化GenAI系统有效性的关键。已有研究显示，设计良好的提示能提升性能、降低幻觉。在商业环境中，用户常使用GenAI处理开放式、跨功能任务，如解释指标、总结文档等。此时，输出的有用性不仅依赖技术准确性，还涉及结构、相关性等。提示设计应被视为组织能力，而不仅是技术优化。现有研究多聚焦特定领域和技术任务，缺乏对跨领域商业任务中提示技巧如何影响有用性的系统证据。本研究通过系统综述和实验评估，从用户中心视角分析提示增强技术对感知有用性的影响，并考察使用频率的调节作用。研究问题：RQ1. 哪些提示增强技术能改善商业输出有用性？RQ2. 不同提示技巧如何影响感知有用性？使用频率是否调节该关系？
**2. 相关工作**
**2.1 生成式AI与大型语言模型（LLMs）**
AI包括机器学习（ML）和深度生成模型（DGMs）。GenAI能生成文本、图像等新内容。LLMs基于transformer架构，通过自注意力机制捕捉语义关系，采用自监督的下一词预测训练。由于任务通过自然语言输入指定，提示成为用户控制LLM行为的主要机制。
**2.2 商业背景下的GenAI**
GenAI在组织中的采用加速，支持内容生成、推理和构思。从信息系统视角，GenAI应视为嵌入工作流的社会技术系统。现有研究多关注领域特定应用，缺乏跨功能模式的通用理解。GenAI部署的特点是AI-人类协作，价值创造取决于用户如何有效表达任务需求，因此提示成为关键。
**2.3 提示工程**
提示工程是结构化设计和迭代优化提示以引导LLM输出的过程。它体现了交互设计而非纯技术优化。提示灵活性使单一模型可执行多种任务，但LLM对提示措辞和结构高度敏感。提示有效性取决于任务特性、提示结构和模型架构的上下文对齐。尽管研究增多，但提示工程缺乏标准化术语和统一概念框架。
**3. 材料与方法**
研究采用两阶段方法。RQ1通过系统文献综述（SLR）和定性内容分析实现；RQ2通过实验评估不同提示技巧及其组合的有用性。
**3.1 系统文献综述（SLR）**
遵循PRISMA指南，检索Scopus和Web of Science，聚焦报告提升LLM输出有用性的提示增强技术。纳入标准：同行评议期刊论文、英文、以提示技巧为主要焦点。排除标准：非同行评议、提示仅偶然提及、仅关注模型架构或基准优化。筛选后保留53项研究。数据提取包括提示技巧、应用情境、评估方法和报告效果。采用Mayring框架进行归纳性定性内容分析。
**3.2 实验设计**
采用定量实验设计，自变量为提示技巧（六种：零样本、一次性、少量样本、思维链、一次性+思维链、少量样本+思维链），因变量为感知输出有用性和感知提示质量，调节变量为GenAI使用频率。参与者为知识工作者，通过在线问卷评估AI生成输出。实验任务选择了分析和合成两类。流程：先通过预调查收集真实商业任务，构建提示，使用Microsoft Copilot生成输出，然后由参与者评价。数据收集采用便利抽样，最终有效样本105人。测量工具改编自Abeysinghe & Circi (2024)的Likert量表，信度良好（输出有用性α=0.947，提示质量α=0.994）。
**4. 系统文献综述结果**
通过内容分析构建了面向结果的提示技术分类法，包括三个宏观类别：基线提示技术、任务对齐提示技术和输出透明提示技术。
**4.1 基线提示技术**
零样本提示通常作为基线，提供快速但浅层输出，在复杂任务中表现为不完整、通用或推理不足，性能依赖模型和任务。
**4.2 任务对齐提示技术**
包括一次性、少量样本和角色提示。一次性提示通过一个示例减少歧义，效果适中；少量样本提示显著提升准确性和任务对齐，但效果依赖于例质量和任务复杂度，且收益可能递减；角色提示通过指定专业身份增强领域相关性，但可能引入偏见。
**4.3 输出透明提示技术**
包括思维链（CoT）、自一致性提示和验证链（CoV）。CoT通过逐步推理提升多步任务性能，但增加复杂性和时间成本；自一致性通过多次采样稳定推理，但计算成本高；CoV通过显式验证减少幻觉，适用于高可靠性场景。
**5. 实证评估结果**
**5.1 样本特征**：105名有效参与者，主要来自意大利（85.25%），专业背景多样（营销、销售等），大多数频繁使用GenAI。
**5.2 测量信度与数据准备**：输出有用性和提示质量的Cronbach's α分别为0.947和0.994。数据转换成长格式，采用线性混合效应模型（LMEM）。
**5.3 描述性统计**：零样本提示感知有用性最低（M=3.26），组合技巧最高（少量样本+CoT M=4.79，一次性+CoT M=4.82）。
**5.4 假设检验**
**H1检验**：提示技巧对感知输出有用性有显著主效应（p<0.001）。与零样本相比，所有增强技巧均显著提升有用性。单组件技巧（CoT、少量样本、一次性）效果相当（β约0.74-0.84），组合技巧效果最大（β≈1.52-1.55）。任务类型无显著影响。边界均值显示清晰分层：零样本最低，单组件居中，组合最高。
**5.5 调节作用（H2）**：提示技巧对感知提示质量有显著主效应，但GenAI使用频率的调节作用不显著（χ2(5)=3.24, p=0.662），且使用频率无显著主效应（β=-0.04, p=0.169）。
**5.6 假设检验总结**：H1成立，H2不成立。
**6. 讨论**
结果支持结构化提示显著提升感知有用性，组合技巧效果最大。单组件技巧间无显著差异，提示任务对齐与推理透明机制互补。使用频率无调节作用，表明结构化提示的好处不依赖用户经验，提示结构本身是主要决定因素。
**7. 管理贡献**
分类法为从业者提供了选择提示策略的结构化基础。实证结果表明组织应形式化提示模板，并开展提示设计培训，而非依赖经验学习。
**8. 理论意义**
将提示工程研究整合到商业和用户中心视角，提出面向结果的分类法，扩展了现有文献。实证发现揭示了分层模式：零样本最低，单组件居中，组合最高。提示结构直接塑造用户对AI系统评价，且提示有效性独立于使用频率，细化了对AI价值创造中用户能力的理解。
**9. 局限与未来研究**
研究局限性包括：综述研究异质性大，无法进行元分析；提示工程术语不一致；实证样本较小，依赖自我报告评估，且仅包含有限任务。未来研究应开发标准化评估框架，使用更大样本和概率抽样，并采用更精细的用户能力量表（如提示工程能力量表PECS），结合客观绩效指标。可探索更复杂的高风险商业场景和纵向设计。
**10. 结论**
研究回答了RQ1（通过综述识别出基线、任务对齐和输出透明三类提示技巧）和RQ2（结构化提示显著提升感知有用性，组合技巧最优，使用频率无调节作用）。结果确认提示结构是商业环境中感知有用性的主要决定因素，提示工程应被视为可系统化的组织能力。
