DevOps中的REST API测试：以一个不断发展的医疗物联网应用为例

《ACM Transactions on Software Engineering and Methodology》：REST API Testing in DevOps: A Study on an Evolving Healthcare IoT Application

Oslo City医疗部门在DevOps流程中评估了RESTest、EvoMaster等五类API测试工具，通过120个端点、14次版本迭代发现工具生成的测试用例仅能检测23个回归问题，覆盖率84%但仍有71%的测试未发现缺陷，导致高昂维护成本。

　　

摘要

医疗物联网（IoT）应用程序通常通过REST API集成各种第三方医疗应用和医疗设备，从而形成复杂且相互依赖的REST API网络。奥斯陆市的医疗部门与多个行业合作伙伴合作开发这些应用程序，这些应用程序配备了多样化的REST API，并在DevOps过程中不断演变，以满足新功能、服务和设备的需求。奥斯陆市的主要目标是在每个开发阶段使用自动化解决方案对REST API进行持续测试，以确保其可靠性。尽管有众多自动化REST API测试工具可供选择，但它们在DevOps环境下对不断演变的医疗物联网应用程序进行回归测试的有效性尚未得到充分验证。本文评估了几种先进且成熟的REST API测试工具——具体包括RESTest、EvoMaster、Schemathesis、RESTler和RestTestGen——在真实医疗物联网应用程序回归测试中的应用效果，考虑了测试中的失败情况、故障、覆盖范围、回归问题以及成本等因素。我们使用了所有可用的REST API（共17个API，包含120个端点）以及DevOps过程中发布的14个版本进行了实验。总体而言，所有工具生成的测试都发现了若干故障、18个潜在问题，测试覆盖率达到84%，同时存在23处回归现象。然而，超过70%的测试未能检测到故障，导致了较大的工作负担。