WebTestPilot：基于符号化GUI元素推断预言机，实现符合自然语言描述的智能端到端网页测试

《Proceedings of the ACM on Software Engineering》：WebTestPilot: Agentic End-to-End Web Testing against Natural Language Specification by Inferring Oracles with Symbolized GUI Elements

　　

摘要AI总结

要查看此由AI生成的总结，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

视觉语言模型在根据自然语言要求自动进行图形用户界面测试方面展现出巨大潜力。然而，语言模型的概率特性可能导致幻觉现象。因此，当检测到要求与网页应用之间存在不一致时，很难判断这是由幻觉引起的还是真正的应用缺陷。解决这一问题面临两个核心技术挑战：（1）在生成隐式测试规则方面的能力和准确性有限，因为模型必须自行作为规则来源，在没有外部指导的情况下判断应用行为是否正确；（2）由于概率推理的存在，模型的可靠性也有限，其不一致的推理方式会降低其作为规则来源的可信度。

我们提出了WebTestPilot，这是一种基于神经符号学的大型语言模型方法，通过符号化处理来应对上述两大挑战。WebTestPilot能够识别并将网页应用中的关键界面元素转化为符号变量。这种设计通过将断言生成限制在基于明确定义的符号的操作上，从而提升了可靠性，减少了无约束或不一致的推理。同时，它还能以结构化的符号形式表示应用状态及其关联，提高了模型识别不同状态之间的数据、因果及时间依赖性的能力。综上，这些优势使得WebTestPilot能够生成可靠且准确的测试规则，准确反映从测试要求中得出的重要隐含期望。为推动该领域的研究，我们构建了一个注入缺陷的网页应用基准测试集，用于评估从自然语言到端到端测试的转换效果。测试结果显示，WebTestPilot的任务完成率为99%，在缺陷检测方面的精确度和召回率均为96%，优于最佳基准值（精确度高70%，召回率高27%）。该模型还能适应各种不同的自然语言输入（包括包含拼写错误、语法错误、冗余句子、风格调整或缩写的内容），以及不同规模的模型（30亿至720亿参数）。在一个基于无代码平台的实际应用中，WebTestPilot在开发过程中发现了8个缺陷，涉及数据绑定、用户界面和导航等方面。

AI总结

AI生成的总结（实验性内容）

此总结是由自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、评估文章相关性，以及让相关领域的读者更好地理解本文内容。它是对作者提供的摘要的补充，而作者提供的摘要仍是文章的核心总结。完整文章才是最具权威性的版本。点击此处了解更多。

点击此处，可以对此总结的准确性、清晰度及实用性发表意见。您的反馈将有助于改进未来的总结版本。

要查看此由AI生成的通俗语言总结，您需要拥有高级访问权限。