WebTestPilot：一种基于自然语言规范的代理式端到端Web测试工具，通过推断具有符号化GUI元素的“预言机”来实现测试逻辑

《Proceedings of the ACM on Software Engineering》：WebTestPilot: Agentic End-to-End Web Testing against Natural Language Specification by Inferring Oracles with Symbolized GUI Elements

　　

摘要AI摘要

要查看此AI生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

视觉语言模型（VLM）代理在自动化图形用户界面（GUI）测试方面显示出巨大潜力，这些测试是根据自然语言需求进行的。然而，语言模型的概率特性可能导致“幻觉”现象，即模型生成的内容与实际不符。因此，当检测到需求与网页应用之间存在不一致时，很难判断这种不一致是由于模型的“幻觉”还是真正的应用错误造成的。解决这个问题面临两个核心技术挑战：（1）在无需指导的情况下，代理必须自己判断应用行为是否正确，从而推导出隐含的测试结果，但其在这一方面的能力和准确性有限；（2）由于基于概率的推理，LLM的不一致性会削弱其作为测试来源的可信度。

我们提出了WebTestPilot，这是一种基于神经符号主义LLM的方法，通过符号化解决了这两个挑战。WebTestPilot能够检测并将网页应用中的关键GUI元素抽象为符号变量。这种设计通过将断言生成限制在基于明确定义的符号的操作范围内，从而减少了不受限制或不一致的推理。同时，它通过以结构化的符号形式表示应用状态及其关系来提高准确性，提高了代理识别数据、因果关系以及状态间时间依赖性的能力。这些功能共同使得WebTestPilot能够生成可靠且准确的测试结果，这些结果反映了从测试需求中得出的有意义的隐含预期。为了推动这一领域的研究，我们建立了一个包含错误注入的网页应用的基准测试框架，用于评估自然语言到端到端（NL-to-E2E）的测试。结果显示，WebTestPilot的任务完成率为99%，错误检测的精确度为96%，召回率为96%，优于最佳基线（精确度提高70%，召回率提高27%）。该代理能够适应多种自然语言输入（例如包含拼写错误、语法错误、冗余句子、风格调整或缩写的文本），以及不同的模型规模（30亿到720亿个参数）。在一个使用无代码平台的实际部署中，WebTestPilot在开发过程中发现了8个错误，包括数据绑定、用户界面（UI）和导航方面的问题。

AI摘要

AI生成摘要（实验性）

此摘要是通过自动化工具生成的，未经过文章作者的撰写或审核。提供该摘要的目的是为了帮助读者发现内容的相关性，并协助来自相关研究领域的读者理解本文的研究内容。它应作为文章作者提供的摘要的补充，作者提供的摘要仍是本文的官方总结。完整文章才是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此AI生成的简单语言摘要，您必须具有高级访问权限。