《Applied Sciences》：STLC Manager: Benchmarking LLM-Driven Model-to-Test Transformation and Test Case Optimization
编辑推荐：
大型语言模型（LLMs）能够从异构制品生成软件测试，但语义冗余和随机输出变异性使可靠的执行前精炼复杂化。本文提出STLC Manager，一个由LLM支持的框架，将需求、UML/XML模型和源代码转换为结构化测试场景和测试用例，并支持Serial、Bulk和P
大型语言模型（LLMs）能够从异构制品生成软件测试，但语义冗余和随机输出变异性使可靠的执行前精炼复杂化。本文提出STLC Manager，一个由LLM支持的框架，将需求、UML/XML模型和源代码转换为结构化测试场景和测试用例，并支持Serial、Bulk和Parallel策略以减少语义冗余。验证结合归档的跨模型证据与一项受控本地研究：60次运行、两个固定的64用例套件、三个已安装模型、分区本地Bulk和受控本地Parallel、每种配置五次重复。评估还重建了三名评分者的人类共识，并包含确定性的TF–IDF参考。在受控研究中，分区Bulk的平均测试冗余比（Test Redundancy Ratio, TRR）范围为0.0063至0.5000，Parallel为0.1250至0.6375。Bulk的条目级众数一致率为98.44%至100%，Parallel为75.31%至97.19%，而平均制品范围场景覆盖保持（Scenario Coverage Preservation, SCP）为0.900至1.000。结果表明在所评估协议下Parallel具有更大的配置敏感性。然而，工作负载不同，不支持对策略进行因果排序。实现已公开可用。结论限于执行前语义精炼，不确立可执行性、覆盖率、变异充分性或故障检测。
研究背景：大型语言模型（LLMs）可从需求、UML/XML模型和源代码等异构软件制品生成测试制品，但输出可能冗余、不稳定或结构不一致，且语义冗余与随机输出变异性会妨碍可靠的执行前精炼。现有基于搜索、覆盖引导和变异导向的测试研究多关注下游执行属性，而本文归档不包含执行结果；现有工作也未充分比较LLM介导的测试用例语义优化策略。因此，研究人员围绕异构制品到测试场景/用例生成、执行前语义精炼、人类参照冗余判定和确定性基线开展集成与评估，而非声称提出全新的语义相似度算法。研究人员构建STLC Manager（软件测试生命周期管理器，Software Testing Life Cycle Manager），将需求、UML/XML模型和源代码转化为结构化测试场景与测试用例，并支持Serial、Bulk、Parallel三种语义冗余处理模式；以工业机器人协调系统为基准（源自先前用于模型检查安全验证的工业系统），结合归档跨模型证据、三名评分者的人类Oracle（Human Oracle，人类共识参照）重建和本地受控重复运行进行验证。结论表明：在评估基准上，归档数据可支持关于生成数量、冗余决策、场景级表示、可追溯性和紧凑性的有限结论，但不能支持可执行正确性、覆盖率、变异得分、故障检测或普遍工业有效性的主张；Parallel在评估协议下表现出更大配置敏感性，但因工作负载不同不能对三种策略作因果排序。其意义在于提供可审计的执行前语义精炼工作流及有界完整套件输入本地变异性证据。
关键技术方法（不超过250字）：研究人员采用提示引导的LLM流水线，将需求、UML/XML与源代码转为结构化测试场景和用例，并以Serial、Bulk、Parallel进行语义冗余精炼；以工业机器人协调系统为基准（样本队列来源为先前模型检查安全验证的工业系统），使用FULLREQ与FULLSRC两个固定64用例套件，三个本地GGUF（一种本地模型文件格式）模型（Llama 3.2 3B Q4_K_S、GPT-OSS 20B MXFP4、Qwen3-Coder 30B A3B Q3_K_L）开展60次受控本地重复运行（分区本地Bulk、受控本地Parallel，每配置5次）；重建三名评分者Human Oracle并设确定性TF–IDF（词频–逆文档频率）余弦相似度基线。
研究结果：5.1 生成分析（Generation Analysis）：通过XML、源代码和需求三类制品的归档生成实验，XML由Qwen2.5-1M生成7个场景、49个用例；源代码中LLaMa3.3-70B生成8个场景、64个用例，Codestral-22B生成5个场景、38个用例；需求中LLaMa3.3-70B和Qwen3-Coder-30B生成8个场景、64个用例，GPT-OSS-20B生成6个场景、48个用例，Codestral-22B生成5个场景、36个用例；各模型总用例数中LLaMa3.3-70B和Qwen3-Coder-30B为177，Gemini2.5-Pro为152，Codestral-22B为123，且每个模型总数均含同一49个XML派生用例；源代码配置生成范围35至64，需求配置36至64，结果仅作描述性比较，不表示用例越多质量越高。5.2 不同LLM的测试用例优化基准（Test Case Optimization Benchmarking Across Different LLMs）：通过归档Serial、Bulk、Parallel配置比较Unique、Similar、TRR及比较计数；Serial核心矩阵35个单元，另有8个映射辅助配置进入条目级分析，跨源套件比较计数扩展为47%至57%，Qwen3-Coder-30B为57%，LLaMa3.2-3B与Codestral-22B为52%，LLaMa3.3-70B为49%，GPT-OSS-20B为47%；Bulk含Gemini-2.5 Flash和Pro各7条记录，Pro在7个源套件中的3个TRR低于Flash，但LLaMa3.2-3B记录中Pro更高；Parallel含14条Gemini Flash/Pro记录，Flash在全部7个源套件中TRR高于Pro；这些比例描述分类结果，不证明优化器强弱或保留套件质量。5.3 运行间变异与配置敏感性（Run-to-Run Variability and Configuration Sensitivity）：通过60次本地受控重复运行（12个设计单元、每单元5次重复，13次失败验证尝试单独排除）发现，分区Bulk每运行32个分区内比较、不能检测跨分区冗余，Parallel评估全部2016个无序对；TRR均值在Bulk为0.0063至0.5000、Parallel为0.1250至0.6375；条目级众数一致率Bulk为98.44%至100%、Parallel为75.31%至97.19%；Bulk高一致部分源于两用例分区且无跨分区协调，不证明语义正确；在极端类不平衡下，机会校正一致性可接近零或为负而原始/众数一致率仍高；运行时间Bulk平均6.36至27.84秒、Parallel平均120.24至309.39秒，但工作负载不同。5.4 场景保持与表示分析（Scenario Preservation and Representation Analysis）：通过SCP和SRG（Scenario Representation Gain，场景表示增益）分析发现，归档配置平均SCP为98.40%、中位100%、最低87.50%，6个配置出现部分场景标识丢失；14条研究对齐Bulk记录均保留全部原始ScenarioID标签，Parallel中3条记录出现损失，分别为Gemini2.5-Flash对Gemini2.5-Flash 92.86%、Gemini2.5-Flash对Gemini2.5-Pro 85.71%、GPT-OSS-20B对Gemini2.5-Pro 91.67%；30个配对模型–模式–重复观察中，制品范围与原始ID的SCP有9个不同，原始标签最多掩盖12.5个百分点制品特异性损失；35个核心Serial配置的SRG均值1.5362、中位1.50、标准差0.4404、最小0.9353、最大3.1607，SRG由SCP与TRR决定，不提供独立质量信息。5.5 条目级人类Oracle与基线结果（Item-Level Human Oracle and Baseline Results）：通过重建Human 1/2/3三名评分者记录得到1074个对齐条目、3222个决策，Human 1标为Unique 628、Similar 446，Human 2为749/325，Human 3为698/376，多数票为740 Unique、334 Similar；完全一致比例0.440410（473/1074），Fleiss’ κ（多评分者一致性系数）为0.186386（结论按四舍五入记为0.1864），成对Cohen kappa为0.163797、0.144623、0.267066，Gwet’s AC1为0.515971；条目级分析含72条记录（43 Serial、15 Bulk、14 Parallel），排除记录0和18；Serial F1为0.00至0.72、Bulk为0.00至0.66、Parallel为0.06至0.57，共识Unique被错误移除数Serial为0至65、Bulk为0至57、Parallel为10至41；合并配置–条目决策显示，完全一致层平衡准确率0.6715高于全部条目的0.6183，假移除率0.1653低于0.2003，而仅多数层平衡准确率0.5872、假移除率0.2320；TF–IDF阈值0.50时正确保留Unique 631、正确移除Similar 145、假移除109、漏检189，Similar类精确率0.5709、召回率0.4341、F1为0.4932、平衡准确率0.6434，阈值变化体现召回与假移除权衡；96.52%仅为事后计数层相似性，不是条目级准确率或部署规则。5.6 实际时间与成本结果（Practical Time and Cost Results）：通过169个用例、14196个无序对和假设每对20秒的场景分析得到理论上限78.9小时；归档Bulk日志无耗时字段且标为单次LLM调用，故撤回此前13分钟Bulk估计；归档无实测标注时间分布或受控模式级运行时间研究，因此不主张经验性人工节省、生产率效应或策略速度排序。
讨论总结：原文给出有限结论：异构需求、UML/XML和源代码可转为可追溯结构化执行前测试制品并进行语义重叠过滤，但缩减幅度本身不足，可能掩盖场景损失或假移除，故TRR应与SCP同读，SRG仅作紧凑权衡摘要。重建评分面板表明二元语义冗余并非无歧义人类目标：Fleiss’ κ低、44.04%条目完全一致、55.96%仅多数一致，且仅多数层假移除率更高；Human Oracle仅为共识参照而非客观真值，界面暴露模型、模式与原始LLM标签，不能排除锚定，部署需盲法独立验证并明确假移除与保留冗余成本。Serial为顺序敏感归档证据且未重跑；历史Bulk与Parallel存在提供方混杂和规范不完整；新本地比较控制套件、模型制品、解码配置和重复，但分区Bulk仅32个隔离分区内比较、无跨分区协调，Parallel评估2016对并做连通分量聚合，故结果差异描述所评估协议而非模式固有优势；高重复性不等于正确性，TF–IDF仅确定性词汇参照而非部署规则，执行前决策不确立代码路径差异或故障发现。威胁包括人类参照非盲与一致性低、历史随机参数和模型哈希记录不全、实验设计未完全交叉、单一工业机器人与单工作站外部效度有限、未执行测试以及模式与优化模式的有效性边界。
第7节结论翻译：STLC Manager将异构制品到测试生成与执行前语义套件精炼集成。在所评估机器人基准上，归档数据支持关于生成数量、冗余决策、场景级表示、可追溯性和紧凑性的结论，但不支持关于可执行正确性、覆盖率、变异得分、故障检测或普遍工业有效性的主张。受控本地研究增加了关于运行间行为的完整套件输入证据：60次数据库支持的运行覆盖两个固定64用例套件、三个模型制品、分区本地Bulk、受控本地Parallel和五次重复。Bulk众数一致率为98.44%至100%，Parallel为75.31%至97.19%；平均制品范围SCP为0.900至1.000。在成对双套件解释中，制品范围与原始ID的SCP在30个配对模型–模式–重复观察中有9个不同，确认场景来源在结构上是必要的。三个公开评估面板独立重现1074个对齐条目、Fleiss’ κ、完全一致比例0.440410（473/1074）以及按四舍五入的历史kappa值0.1864；其余601个条目仅为多数一致，归档优化器在该层的假移除更高。Human Oracle界面的可见模型/模式/原始标签线索仍是非盲限制。可复现离线TF–IDF分析提供非LLM参照，其假移除结果依赖阈值，进一步说明参照不应自动定义部署规则。LLaMa3.2-3B的有限共同优化器子集在全部三种归档模式下比较Gemini-2.5 Flash和Pro；由于更广归档未完全交叉且该子集缺乏重复的、提供方控制的运行，不支持对Serial、Bulk和Parallel进行因果排序。未来工作应使用盲法独立标注、预注册优化器选择标准、随机化输入顺序、比较替代跨分区与传递性策略，并评估更多领域和语言；最重要的是，应操作化并执行保留与移除测试，以比较覆盖率、变异充分性、故障检测、无效测试频率和可追溯性。在此之前，可辩护的贡献是面向所评估基准的、具有有界完整套件输入本地变异性证据的可审计执行前语义精炼工作流。
