理解提示词质量及其与基于大语言模型的代码生成的关系

《IEEE Transactions on Software Engineering》：Understanding Prompt Quality and Its Relation to LLM-based Code Generation

　　

摘要：

提示工程已成为指导大语言模型（LLMs）进行代码生成任务的关键实践，其假设是更好的提示词能产生更好的输出。然而，关于哪些提示词特征实际上驱动了输出质量的差异，目前所知甚少。在本文中，我们迈出了弥补这一差距的第一步，通过调查提示词的可测量属性与生成代码质量之间的关系。我们对从 GitHub 收集的开发者与 ChatGPT 之间的真实世界单轮交互进行了实证研究。提示词从可读性和结构维度进行特征刻画，而输出质量则通过提交代码的概念一致性、感知有用性和正确性来衡量。回归分析表明，可读性指标是有用性和正确性的强预测因子，而句子数量、任务类型等结构特征显著影响概念一致性。总体而言，我们的研究结果提供了证据，表明提示词质量是多维的，并且可测量的可读性相关和结构提示词属性可以作为软件工程中大语言模型生成代码的正确性、有用性和概念一致性的指标。