《Computers》：Evidence-Aware Human-in-the-Loop LLM Review for Requirements-to-Planning Decisions
编辑推荐：
大语言模型（LLM）能够生成流畅的需求细化文本和规划产物，但仍可能在实现、测试或规划承诺方面遗留未解决的信息。本文提出ReqPlan-Eval，一种证据感知的人机协同（human-in-the-loop）架构，该架构将非功能需求（NFR）分歧、弱词线索、规
大语言模型（LLM）能够生成流畅的需求细化文本和规划产物，但仍可能在实现、测试或规划承诺方面遗留未解决的信息。本文提出ReqPlan-Eval，一种证据感知的人机协同（human-in-the-loop）架构，该架构将非功能需求（NFR）分歧、弱词线索、规划相关模糊性以及角色专业化假设连接至可审查的规划支持记录和可配置的审查路由。实证研究在独立数据集上评估了主要机制和基于角色的路由信号；该研究并非对完整流水线在统一需求集上的端到端评估。在500条留出需求的NFR诊断中，精确匹配准确率（exact-match accuracy）达到0.716，微观F1值（micro F1）为0.702，质量准确率（quality accuracy）为0.874。模式感知仲裁（pattern-aware arbitration）将弱词特异性（specificity）从0.572提升至0.676，审查精确率（precision）从0.678提升至0.724；而组件/目标门控（component/goal gating）将模糊性特异性从0.380提升至0.908，F1值从0.748提升至0.855；两种机制均损失了召回率（recall）。在实验3中，四种角色专业化输出与由三位人类评审员审查和裁定的模型种子参考进行了比较。在20条公开用户故事上，validation_needed的角色级精确一致率为0.825，两票及以上策略审查了12条故事，捕获了14个参考正例中的12个，且未路由任何6个参考负例。开放式规划产物在任务、验收标准（acceptance criteria）和测试构思方面与参考的精确归一化项重叠度极低，因此未对这些产物提出语义一致性声明。七位外部参与者为选择性审查和人类控制提供了初步的表面效度（face-validity）证据。研究结果支持在冻结配置下所评估的组件机制和选择性审查路由，但并未确立端到端工作流有效性、模型不变性、更优规划决策或工业有效性。
## 论文解读
### 一、研究背景
大语言模型（LLM）在软件工程领域的辅助作用日益增强，能够生成需求细化、任务分解、测试构思及其他规划产物。然而，核心困难并非仅限于显而易见的错误文本：一条需求看似完整，却可能在质量目标、业务规则、依赖关系、验收条件或利益相关者决策等方面遗留未解决的关键信息。需求工程领域已为非功能需求（NFR）分析、需求质量检测（涵盖模糊性、不完整性、弱词使用及用户故事质量等方面）奠定了理论基础，而LLM的介入虽能生成候选细化方案和规划产物，但其输出对提示词设计、模型选择和人工监督组织方式仍然敏感。因此，在规划实践中的关键问题不仅是能否生成产物，更在于未解决的信息是否能在做出规划承诺之前被充分暴露和审查。正是在这一背景下，研究人员开展了ReqPlan-Eval架构的设计与评估工作。
### 二、研究概述与意义
研究人员提出了ReqPlan-Eval——一种由人类控制的证据感知审查路由架构。该架构将NFR分歧、弱词仲裁和模糊性门控作为审查证据来源，并引入四种角色专业化的LLM输出以提供多维度规划视角。上述信号和假设统一整合至可审查的规划支持记录中，并由项目选定的策略决定是否需要额外的人工审查。研究范围被有意限定：本文未提出新的NFR分类体系、基础模型或通用冲突检测器，其核心贡献在于两项新的决策机制——模式感知弱词仲裁（pattern-aware weak-word arbitration）和组件/目标模糊性门控（component/goal ambiguity gating），以及一个连接分析信号与可配置审查路由的统一架构。该研究为需求工程中的LLM辅助评审提供了一种将证据可见化、路由可配置化、人工决策权可保留的设计范式，但其贡献应理解为集成化的审查路由设计及组件层面和路由层面的实证证据，而非端到端验证的规划系统。
### 三、关键技术方法
本研究的技术方法涵盖以下核心环节：（1）基于PROMISE NFR数据集（经NICE重新标注的622条记录）开展NFR分类与选择性验证实验，并在单独的500条留出需求上完成分类学感知验证诊断；（2）利用QuRE工业需求质量数据集（500条记录）评估模式感知弱词仲裁机制；（3）采用Dalpiaz用户故事集合（500条）评估组件/目标模糊性门控机制；（4）实验3使用30条故事（20条来自Dalpiaz公开集合，10条为研究团队构建的校准集），由四位LLM角色代理（需求工程、敏捷规划、质量保证/验收标准、架构/技术风险）生成规划支持输出，并构建由三位人类评审员（两位软件工程从业者联合校正、第三位重点审查质量保证与可测试性）裁定的人工参考标准；（5）七位外部参与者对框架展示进行表面效度评估。所有LLM调用均使用OpenAI Responses API，提示词、输出模式、确定性门控规则、仲裁规则和审查策略在最终运行前均已冻结。
### 四、研究结果
**实验1：NFR分类与选择性验证。** 实验1a在相同的622条记录开发环境中比较了三种冻结配置的NFR分类性能，C4TAX
R配置获得了最高的支持宏观F1值（0.691）和加权NFR F1值（0.709），但置信区间与其他配置重叠，可操作性类别仍特别困难。实验1b评估了NFR层的审查路由价值，默认策略（仅路由配置分歧案例）审查31.0%的需求并捕获59.9%的严格NFR错误，高安全策略和扩展高安全策略可捕获更多错误但需审查更多正确案例。实验1c作为单独的留出诊断，在500条留出需求上精确匹配准确率为0.716，微观F1值为0.702，质量准确率为0.874，且双标签记录的精确匹配率急剧下降至0.235，表明精确子类型分类仍具挑战性而广泛的质量识别相对更稳定。
**实验2a：弱词需求缺陷检测。** 模式仲裁将准确率从0.736提升至0.762，精确率从0.678提升至0.724，特异性从0.572提升至0.676，F1值从0.773提升至0.781，但召回率从0.900降至0.848。仲裁共改变了39条记录的判定（全部从"缺陷"改为"正常"），其中26条修正了假阳性、13条引入了假阴性。最终缺陷或受保护模式策略审查60%的记录并捕获86.4%的缺陷。剩余错误主要集中在数据集特定/未归类模式族和充分性/充足性（adequacy/sufficiency）族中。
**实验2b：用户故事模糊性检测。** 组件/目标门控产生了最显著的改变：准确率从0.674升至0.862，精确率从0.610升至0.899，特异性从0.380升至0.908，F1值从0.748升至0.855，召回率从0.968降至0.816。门控抑制了170条LLM阳性的模糊性标记，其中132条为正确的假阳性移除，38条为参考正例变为新的假阴性。最终门控策略审查45.4%的故事并捕获81.6%的模糊故事，审查精确率较高。主要的召回代价与"组件足够清晰且无额外线索时抑制标记"的覆盖规则相关。
**实验3：角色专业化规划支持与审查信号对齐。** 在20条公开故事上，validation_needed的角色级精确一致率为0.825（95%置信区间），风险精确一致率为0.725（线性加权κ = 0.730，平均序数距离0.275），不确定性精确一致率为0.533（κ = 0.561，平均距离0.467），所有分歧均在一级以内。两票及以上validation_needed策略审查了12条故事，捕获了14个参考正例中的12个，且未路由任何6个参考负例。然而，宽泛的行动审查规则（action-review rule）路由了20条公开故事中的19条，审查率达95%，几乎丧失了选择性审查的实用价值。开放式规划产物（任务、验收标准、测试构思）的严格归一化项Jaccard值极低，表明与参考存在强烈的表层不匹配，但研究未进行语义等价评估，因此不能据此对语义一致性或产物有用性做出声明。
**外部参与者评估。** 七位外部参与者对17项标准进行了五级序数评分，在问题相关性、分析层展示、选择性人工验证和人工控制方面获得了最高评分，而在风险与不确定性支持及实践采纳方面的评分较低，这与缺乏明确阈值和基于任务的工作流证据的现状一致。
### 五、讨论与研究结论
当前证据最清晰地支持了两项规划感知机制：模式仲裁减少了弱词假警报并改善了审查精确率（以召回率下降为代价），组件/目标门控大幅减少了模糊性过度标记（同样伴随召回率损失）。留出NFR诊断证实了精确子类型分类的困难性，也由此说明NFR分歧更适合作为审查证据而非权威的子类型判定。实验3中最具说服力的结果是公开故事子集上validation_needed的两票及以上路由策略，在保证召回的同时避免了假阳性路由。实验3的规划参考是模型种子化且经人工裁定的，裁定敏感性分析显示后期人工裁定通常将已改变的类别字段推离角色输出，但实验未收集独立于模型种子的纯人工参考或首轮评审前的独立记录，故模型种子的全部贡献无法被实验隔离。此外，各组件研究使用了不同的冻结模型配置且未在统一模型下重新运行，跨模型不变性不在当前证据范围内。
研究结论（翻译）：ReqPlan-Eval将NFR分歧、弱词证据、规划相关模糊性以及角色专业化规划假设组织为一个可审查的人工审查路由架构。实证证据的范围有意窄于架构本身。留出NFR诊断表明精确子类型分类仍然困难；模式感知仲裁改善了弱词特异性和精确率权衡；组件/目标门控大幅减少了模糊性过度标记，两种机制均损失了召回率。对于实验3，最具辩护力的结果是公开故事上的validation_needed路由——两票及以上规则审查了20条公开故事中的12条，捕获了14个参考正例中的12个，且未路由参考负例。宽泛的行动路由在该数据集上不被支持作为默认策略，因其审查了20条公开故事中的19条。参考中仅含一个high_risk_unresolved正例故事，故未得出高风险检测结论。生成的任务、验收标准和测试构思与参考之间存在强烈的表层不匹配，语义一致性未经评估。规划参考仍为模型种子化且经人工裁定，模型种子的全部贡献无法被实验隔离，且各组件研究使用了不同的冻结模型配置。因此，ReqPlan-Eval应被理解为一种具有组件层面和路由层面证据的集成化审查路由设计，而非端到端或经工业验证的规划系统。下一步研究应在统一需求集上评估完整工作流，采用独立参考构建和基于任务的决策质量、审查时间、工作负载及覆盖行为度量。
