评估作为优化：面向大语言模型驱动数据集生成的状态感知提示演变

《Knowledge-Based Systems》：Evaluation as optimization: State-aware prompt evolution for large language model-driven dataset generation

　　可靠的评估对于在工程应用中部署自主智能体至关重要，但基准数据常常存在标签噪声、冗余、分布偏斜以及场景覆盖不全的问题。现有基于大语言模型的合成数据流水线能够扩展稀缺基准，但通常保持开环：每批数据由静态或局部修订的提示生成，对累积数据集状态的感知甚少。本文提出“评估即优化”（EAO），一种状态感知的提示进化框架，用于大语言模型驱动的数据集生成，将数据集构建视为对覆盖度、多样性、任务特定评估信号以及冗余度的闭环优化。该框架观测数据集级别的统计信息，过滤语义重复项，评估候选批次，并通过诊断性奖励反馈更新后续提示，从而针对代表性不足的区域，同时倾向于在活动标准下预期产生更高实测效用的样本。工程应用为科学信息抽取、人格检测和不平衡毒性分类的基准文本任务。在SciER上，EAO-dsv3在命名实体识别上平均F1值为0.8847，关系抽取为0.3667；EAO-gpt4o分别达到0.9499和0.6487；相应的SciER参考值分别为0.7436和0.2476。对于MBTI检测，使用不同方法的EAO-dsv3的检测器特异性平均F1值分别为0.9188、0.8941和0.8000，而EAO-gpt4o在相同方法下分别为0.9177、0.8735和0.8244。EAO-dsv3和EAO-gpt4o的平均F1值分别为0.8192和0.7781，而原始数据参考值为0.6399。跨源监督训练进一步表明可迁移至原始数据集，显示状态感知的提示进化能够支持面向评估的数据扩展。具备感知、决策和行动执行能力的智能体正越来越多地从受控实验室环境转向开放的真实世界应用[1], [2], [3], [4]。其部署现已涵盖自动驾驶[5]、编码辅助[6]和业务自动化[7]，在这些应用中，失败可能直接影响用户信任、安全和操作可靠性。因此，大规模智能体部署要求在智能体被释放到动态环境之前，能够测量其能力和风险的评估方法[8], [9], [10]。此类评估的可靠性不仅依赖于指标和评估器模型，还取决于用于暴露智能体行为的基准数据。现有数据集常包含噪声、社会偏见、分布偏斜和场景覆盖不全[11], [12], [13], [14], [15]，如图1所示。这些缺陷可能改变评估结论；例如，Recht等人[16]表明，当测试数据更好地反映目标分布时，模型排名和基准分数可能发生变化。因此，改进数据构建过程是迈向可信智能体评估的必要步骤。基于大语言模型的合成数据生成是扩展稀缺评估数据的实用方法，但大多数现有流水线仍将生成视为弱耦合批次的序列。从零样本提示到自校正等方法通常优化局部样本属性，如流畅性、标签有效性或指令遵循[8], [17], [18]。这种局部视角对于基准构建而言不足：如果未观测累积数据状态，生成器可能反复访问高概率语义区域，放大冗余，并使稀有标签或场景代表性不足。因此，核心技术挑战不仅在于生成有效的单个样本，还在于在生成过程中引导演化的数据分布。为应对这一挑战，本文提出“评估即优化”：用于大语言模型驱动数据集生成的状态感知提示进化（EAO）。核心理念是将数据集构建视为迭代的生成与诊断过程，而非一次性采样流程。从任务规范和种子提示开始，EAO生成候选批次，评估其任务有效性、多样性和分布贡献，移除精确和语义重复项，然后根据观测到的数据集状态更新下一个提示。在此循环中，累积统计量如标签覆盖度、关系分布、质量分数和语义新颖性成为反馈信号，引导后续生成朝向代表性不足的区域。所得框架保持可复现的基于提示的程序，无需参数训练，但允许生成对可测量的缺陷如不平衡、冗余和语义覆盖不足做出响应。当前实现最适用于具有显式标签、模式或质量标准的文本任务。其有效性在科学信息抽取、人格检测和毒性分类上进行了评估，这些任务共同测试生成数据是否能够支持结构化抽取、主观分类和偏斜分类设置。本文的主要贡献总结如下：1. **状态感知数据生成。** EAO围绕数据集状态抽象组织生成，该抽象追踪累积数据集的分布、质量和语义多样性，将合成数据构建从孤立采样转变为迭代提示进化。2. **质量与多样性引导的优化。** 复合奖励结合了批次级别的评估导向质量信号与数据集级别的熵增益，使EAO能够优化评估导向的平衡和多样性，同时保持任务有效性。均匀性被视为可控的评估目标，而非真实世界保真度的通用代理。3. **反馈驱动的提示进化。** EAO通过奖励引导的提示编辑和语义重复过滤更新自然语言生成指令，减少冗余样本，并在无需参数训练的情况下提高对目标属性的可控性。4. **实验验证。** 在科学信息抽取、人格检测和毒性分类上的实验显示出更高的实测下游性能。在SciER上，EAO-dsv3和EAO-gpt4o的平均NER F1值分别为0.8847和0.9499，平均RE F1值分别为0.3667和0.6487，而NER和RE的参考F1值分别为0.7436和0.2476；在毒性分类上，EAO-dsv3和EAO-gpt4o的平均F1值分别为0.8192和0.7781，而原始数据设置为0.6399。本文其余部分组织如下。第2节回顾相关工作，第3节介绍EAO框架，第4节报告实验结果和诊断分析，第5节讨论启示和局限性，第6节总结全文。**相关工作**本节回顾三个相关的研究领域，它们定义了EAO的技术背景：智能体评估与基准数据质量；基于大语言模型的合成数据生成，以及提示优化和反馈驱动生成；还有下游文本任务，其中稀缺性、冗余和不平衡影响评估效用。**方法**本节将EAO形式化为构建评估导向合成数据的闭环流程。首先定义全局数据构建问题和目标，然后介绍四个相连的阶段：任务规范、基于状态的问题表述、数据生成模块和数据评估模块，如图2所示。**实验**实验评估旨在确定EAO是否提供构建评估导向合成数据集的可复现程序，并识别该程序有效的条件。四个研究问题指导实证分析：**RQ1：** EAO生成的数据在固定评估协议下是否产生更高的实测下游抽取和分类效用？**RQ2：** EAO与原始基准数据和最近的基于大语言模型的数据相比如何？**结果解读**结果应被解释为支持状态感知数据构建的证据，而非合成数据优于精选数据的普遍主张。最清晰的证据来自SciER，该任务提供了显式的实体和关系模式、重复的256样本评估、资源核算、监督跨源迁移、数据集级诊断和专家检查。在此设置中，EAO的优势在关系抽取上比命名实体识别更大。**结论**本文研究了在质量、多样性和分布约束下的评估导向合成数据构建。提出的“评估即优化”：用于大语言模型驱动数据集生成的状态感知提示进化作为一种闭环数据构建过程：累积数据集作为状态的一部分被观测，候选批次在接纳前经过过滤和评估，诊断性反馈告知下一个提示应如何修订。这一表述提供了一个数据集构建方案。**伦理考量**本研究使用合成数据生成进行评估导向研究，其伦理风险主要源于源基准、下游任务的敏感性，以及生成样本可能放大有害或有偏模式。所有实验均在公共研究数据集上进行，包括SciER、PANDORA、Kaggle MBTI和Civil Comments。研究遵循这些数据集的预期研究用途，不试图识别个体、重建用户。**CRediT作者贡献声明****唐宗伟：** 撰写—审阅与编辑，撰写—原稿，项目管理，方法论。 **马星空：** 监督，调查，概念化。 **刘波：** 监督，调查，概念化。 **邱厚杰：** 撰写—审阅与编辑，可视化，软件。 **张泽宗：** 撰写—审阅与编辑，可视化，验证。 **曹功耀：** 调查，形式分析。 **郭一伟：** 撰写—审阅与编辑，监督。**在手稿准备过程中生成式人工智能和AI辅助技术的声明**声明：在准备本工作期间，作者使用DeepSeek-v3、GPT-4o、GPT-3.5-Turbo、Qwen2.5-72B-Instruct、Gemini-1.5-Pro和GPT-OSS-120B来分析实验结果并协助语言润色。使用这些工具后，作者根据需要审阅和编辑了内容，并对发表文章的内容承担全部责任。**未引用参考文献**[51], [52], [53], [54], [55], [56], [57], [58], [59], [60], [61], [62], [63], [64], [65], [66]**利益冲突声明**作者声明，不存在可能影响本文所报告工作的已知竞争经济利益或个人关系。唐宗伟|马星空|刘波|邱厚杰|张泽宗|曹功耀|郭一伟