《AI》：Valid but Not Always Runnable: An Open, Reproducible Benchmark of Large Language Models Drafting Gherkin Scenarios
编辑推荐：
行为驱动开发（Behaviour-Driven Development，BDD）将验收标准编码为Gherkin格式，但手工编写耗时费力，且尚不清楚哪种大型语言模型（large language model，LLM）能最有效地完成此项任务。研究人员对八种LLM进
行为驱动开发（Behaviour-Driven Development，BDD）将验收标准编码为Gherkin格式，但手工编写耗时费力，且尚不清楚哪种大型语言模型（large language model，LLM）能最有效地完成此项任务。研究人员对八种LLM进行了基准测试，从三个需求语料库（需求列表、用户故事、RFP摘录）中生成了2960个Gherkin实例，并从有效性、运行器接受度、评判覆盖度和质量、与黄金标准的相似度、稳定性和成本等多个维度进行评分。语法有效性接近天花板水平，然而仅有78%的输出能够在Cucumber运行器中成功加载：五分之一的输出文件包含多个Feature块。两名学生标注员（一个小型非专家小组）对72个盲法生成的样本校准了评判模型。人类评分水平相当（两位人类评分者之间的误差为0.33 vs 0.35），但输出的排序可靠性远低于人类间的水平（组内相关系数ICC为0.47 vs 0.64；覆盖度为0.21 vs 0.76）：数值量级保持稳定，但精细排名不可靠。相对于这一黄金标准，各模型的性能范围达到人类间上限的66%-107%，但排序又有所不同。帕累托分析显示八个模型中仅有三个非支配模型：成本变化达157倍，而评判质量仅相差0.36分。针对各模型的提示词调优未带来交叉验证增益；限制性的令牌预算截断了冗长模型的输出。两个较新的模型取代了低成本前沿位置：层级层面的发现具有可迁移性，而模型名称很快会过时。研究人员公开了语料库、黄金标准和原型程序。模型选择应权衡成本与运行器接受度，而非仅关注评判质量。
论文解读：大型语言模型生成Gherkin场景的系统性基准研究
研究背景与研究动机
行为驱动开发（Behaviour-Driven Development，BDD）通过Gherkin这种结构化自然语言来编码系统的预期行为，其核心优势在于同时具备非技术利益相关者的可读性和测试运行器的可执行性。然而，高质量Gherkin的手工编写既缓慢又容易出错。随着大型语言模型（Large Language Model，LLM）的发展，自动生成这类场景成为可能，但现有证据基础较为零散：已有研究通常固定单一输入格式、报告狭窄的质量信号，且大多未公开数据集，导致结果难以比较和复现。两项近期综述研究独立指出，评估的全面性、可追溯性和可复现性是该领域最紧迫的空白。因此，一个具有直接实践意义的问题仍未得到解答：输入工件的类型——无论是简洁的需求列表、敏捷用户故事，还是正式的提案请求（Request for Proposal，RFP）散文体——如何影响LLM生成Gherkin的效果、完整性和经济性？不同模型在不同输入类型上是否有差异？
研究方法与技术路线
研究人员采用因子设计，交叉组合8个LLM与3个需求语料库（来自PURE语料库的25个需求列表、来自Dalpiaz公共数据集的25个用户故事、以及自行构建的24个RFP风格摘录），每条件设置5次重复以量化随机性。8个主运行模型包括Claude Opus 4.8、Claude Sonnet 5、GPT-5.5、GPT-4o、GPT-4o-mini、Gemini 2.5 Pro、Llama-3.1-70B-Instruct和DeepSeek-V3。度量体系涵盖客观指标（官方Cucumber解析器语法验证、运行器接受度、生成时间与成本、输出稳定性）和LLM评判指标（由Claude Sonnet 5作为评判模型对需求覆盖度和四个维度的场景质量进行评分）。研究人员还构建了人工标注的黄金标准（两名独立标注者对30项子集手工编写参考Gherkin），并通过两名标注者对72个盲法生成的样本进行独立评级来校准LLM评判模型。所有测量均通过开源、可恢复的Python原型收集。
研究结果
RQ1：模型间的差异
模型在所有质量维度上均存在显著差异，但幅度各异。在6000令牌预算下，所有模型的语法有效性均极高（96.5%-100%），但这依赖于文档化的标准化处理（剥离Markdown代码围栏和拆分多Feature输出）。原始单Feature解析器仅接受77.9%的输出。评判质量方面，面板被压缩在5分量表上仅0.36分的狭窄范围内，前沿模型（Claude Sonnet 5得分4.68，Claude Opus 4.8得分4.66，GPT-5.5得分4.65）置信区间完全重叠，无法区分精细排序。可区分的差距存在于前沿带与低成本/开源带之间。覆盖度方面，七个模型超过96%且相互无法区分，唯一离群值是Gemini 2.5 Pro（91.3%）。
RQ2：三个需求语料库间的差异
需求列表产生了最低的覆盖度（0.95），而构建的RFP摘录最高（1.00），用户故事居中（0.99）。输入类型效应在质量和覆盖度上均显著。值得注意的是，构建的RFP臂是最容易的输入类型，这很可能是由于摘录文本干净、自成一体，而非真实采购文本的典型特征。
RQ3：成本、令牌与成本效率
每次生成的成本跨越两个数量级以上（从GPT-4o-mini的$0.0002到GPT-5.5的$0.0342），而评判质量仅差0.36分。帕累托分析显示仅三个模型是非支配的：GPT-4o-mini（最便宜）、Claude Sonnet 5（最高质量）和DeepSeek-V3（中间位置，79%复制中保持非支配）。Gemini 2.5 Pro在每一次复制中都被支配。成本变化157倍而质量仅变0.36分，这是前沿如此稀疏的原因。
RQ4：输出稳定性
确定性程度约相差五倍。温度设为0的非推理OpenAI模型最为确定（GPT-4o标准差0.16，GPT-4o-mini 0.22），拒绝显式温度并使用默认自适应推理的三个模型变异性更大（GPT-5.5 0.58，Claude Opus 4.8 0.74，Claude Sonnet 5 0.78）。内容层面，平均成对Jaccard步集重叠普遍较低（0.09-0.50），即使计数最稳定的模型也约有半数步文本在运行间重新生成。
反模式与Gherkin构造
前沿模型产生的幻觉最多（Claude Sonnet 5每次输出虚构0.28个需求，Gemini 2.5 Pro 0.26个），而GPT-4o幻觉最少（0.02个）且接地性最好。Given/When/Then完整性普遍较高（91.5%-98.0%）。反模式信号罕见：UI/技术词汇泄露平均仅占步数的0.25%。更显著的差异在于高级Gherkin构造的使用：Scenario Outline/Examples几乎完全局限于前沿模型（GPT-5.5 38.9%的输出使用，Gemini 18.1%，Claude Opus 13.2%，Claude Sonnet 8.9%），而四个低成本/开源模型从未使用。后续实验表明这是提示工程的人为产物而非能力差异。
令牌预算敏感性
早期1500令牌批次导致11.6%的生成被截断，集中在Gemini 2.5 Pro（82%）和GPT-5.5（10%）。提高至6000令牌后截断完全消除，Gemini的良构率从64.9%升至98.4%，场景数从2.2增至5.9。这一发现表明输出令牌预算是生成式基准测试中容易被忽视的首要混杂因素。
长度控制与评判稳健性
前沿质量领先与更长输出共存，但长度仅解释9.6%的评判质量方差。调整长度后，前沿前三名保持不变，但质量范围从0.36缩至0.22分。三个独立离席评判者（Mistral Large、Qwen3-235B、Grok 4.3）的重新评分确认家族级别和前三名集合是评判不变的，但第一名具体模型随评判者而异。
人类校准
两名标注者对72个盲法生成样本的独立评级显示，LLM评判者在绝对误差方面接近人类（质量MAE 0.33 vs 人类间0.35），但在排序一致性方面明显较差（质量ICC 0.47 vs 人类间0.63）。这表明评判量级可信，但紧密排列模型间的精细排序不可靠。
无评判覆盖度检验
对需求列表臂的无评判词汇覆盖度检验仅确认Gemini 2.5 Pro是唯一离群值，其余排序方法依赖，进一步削弱了对精细排序的信心。
与手工编写黄金标准的相似度
基于chrF的相似度测量显示，模型跨度从66%到107%的人类间范围。两个Claude模型处于或高于人类间上限。关键发现是该无评判工具与LLM评判者存在分歧（chrF与评判质量的秩相关仅为0.43），进一步动摇了精细评判排序的可靠性。
讨论与结论
研究结论部分原文如下：研究人员提出了一个结合八个LLM、三个需求语料库和多维度度量体系的基准测试。主要发现包括：（1）在适当标准化下所有模型均产生高度有效的Gherkin，但原始输出接受率仅77.9%；（2）评判质量被压缩在0.36分的窄带内，前沿模型间无法区分；（3）成本变化157倍而质量仅变0.36分，帕累托前沿仅三个模型；（4）Gemini 2.5 Pro是唯一的覆盖度离群值；（5）输出稳定性差异约五倍，且内容级可复现性普遍较低；（6）高级Gherkin构造的使用主要是提示工程的产物而非能力差异；（7）输出令牌预算是关键的混杂变量；（8）LLM评判者在绝对量级上接近人类但在排序上较差。研究人员强调，模型选择应权衡成本与运行器接受度而非仅关注评判质量，并公开了全部语料、黄金标准和原型程序以确保研究的完全可复现性。
