目标检测网络的蜕变测试技术

《Information and Software Technology》：A metamorphic testing technique for object detection networks

　　

摘要
背景：目标检测网络广泛应用于自动驾驶和安全监控等安全关键领域。这些系统的故障可能导致严重的人员和财产损失。因此，使用多样化且高质量的测试用例进行严格测试对于确保目标检测系统的质量和可靠性至关重要。
目标：传统测试方法面临预言机问题和生成足够测试数据的困难。为解决这些挑战，本文采用蜕变测试技术自动为目标检测网络生成测试用例。
方法：我们提出了 OBMeta，一种蜕变测试技术，可快速构建多样化、高质量的测试用例，用于目标检测网络。OBMeta 利用标注信息将每个输入图像分解为前景物体和背景。五种变换类型（包括亮度调整、添加噪声、模糊、对比度调整和前景物体插入）分别应用于前景、背景和整个图像，以构建蜕变关系。派生测试用例成批生成，并通过图像相似度进行过滤，以保持真实性。
结果：在七个目标检测网络上的实验（包括六个单阶段 YOLO 和 SSD 变体以及一个两阶段 Cascade R-CNN R50-FPN 模型）表明，OBMeta 高效地生成了与原图像相似度更高的测试用例，并产生了更多的对抗样本。此外，使用检测到的对抗样本重新训练网络可以提高模型准确率。
结论：OBMeta 高效地生成了既高质量又能检测错误的测试用例。它为目标检测系统的测试提供了一种实用且自动化的解决方案，从而有助于提高其质量。

引言
目标检测（OD）是深度学习技术最重要的应用之一。为了提高目标检测的速度和准确性，不断有新的目标检测网络被提出。随着目标检测在日常生活和工作中的广泛应用，目标检测网络的质量和可靠性逐渐引起关注。特别是，目标检测系统在自动驾驶 [1]、人脸识别系统 [2]、[3] 和医学图像分析 [4] 等安全关键领域的故障，由于其自身质量问题，可能导致巨大的人员和财产损失。因此，确保目标检测网络的质量和可靠性已成为其部署在安全关键领域的前提。
软件测试是确保软件质量和可靠性的重要手段 [5]。目标检测网络的测试主要面临构建测试数据和判断测试结果困难等挑战。一方面，如何构建高质量且多样化的测试用例始终是软件测试领域的核心问题；另一方面，目标检测网络的测试用例通常需要人工标注的数据，这导致构建预期结果和判断测试结果变得困难 [6]、[7]、[8]。利用领域特定的蜕变关系，蜕变测试技术可以将少量原始测试用例扩展以生成更多派生测试用例，并为派生测试用例匹配预期的测试结果，从而在一定程度上解决测试数据构建和测试结果判断的问题 [9]、[10]、[11]。
目前，已有努力将蜕变测试技术应用到目标检测网络的测试中。Zhang 等人提出的 DeepRoad 对自动驾驶领域的目标检测网络数据进行背景变换，以模拟道路天气条件的变化，解决了测试中难以获取天气相关数据的问题 [12]。Wang 等人提出的 MetaOD 通过在源数据中插入扰动实例来生成新的测试用例，有效地解决了测试用例生成依赖人工标注的问题 [13]。然而，这些研究仍然存在许多不足。例如，DeepRoad 生成的数据应用场景相对单一，无法用于其他通用目标检测网络；MetaOD 构建的蜕变关系相对简单，生成测试用例所需的时间较多，无法快速生成高质量测试数据。因此，开发一种能够快速构建多样化且高质量测试数据的方法，对于目标检测网络的测试至关重要。
为解决这些问题，我们提出了一种基于蜕变测试的目标检测网络测试技术，称为 OBMeta（前景和背景蜕变测试）。目标检测旨在定位和识别被测图像中的前景物体。因此，概念上可以将输入分为两个部分：前景物体和背景。OBMeta 首先基于图像中的标注信息将输入图像解耦为前景物体和背景。然后，分别对前景物体和背景应用变换以构建蜕变关系。基于这些蜕变关系，OBMeta 从原始测试数据中成批生成派生测试用例，使单一类型的蜕变关系能够产生更多样化的测试用例。为了进一步提高测试用例的质量，OBMeta 使用图像相似度算法过滤掉相似度低和真实性差的派生图像。在七个不同目标检测网络上的实验结果表明，与现有的蜕变测试技术相比，OBMeta 通过纳入更多样化的蜕变关系，能够以更低的成本构建更多样的测试数据。此外，与现有的蜕变测试技术生成的测试用例相比，OBMeta 生成的测试用例表现出更优越的错误检测能力和更高的真实图像相似度。此外，实验结果表明，OBMeta 生成的数据可用于重新训练目标检测网络，从而提高其鲁棒性。
总体而言，本文的关键贡献如下：
•提出了一种针对目标检测网络的新型蜕变测试技术。图像被分为前景物体和背景后，分别对整个图像、前景物体和背景应用变换。
•为目标检测网络提出了五种不同类型的蜕变关系，这更好地满足了目标检测任务的实际需求，并能更有效地揭示模型在复杂场景中的潜在错误。
•在几个目标检测网络上进行了实验。从测试用例数量、错误检测能力和执行效率方面评估了所提出的蜕变测试技术的性能。
•使用蜕变测试技术生成的数据重新训练目标检测网络，这在大多数情况下显著提高了网络的鲁棒性。
本文其余部分组织如下。第 2 节介绍预备知识。第 3 节描述我们提出的技术。第 4 节通过实验评估所提出的技术。第 5 节回顾相关工作。第 6 节给出结论。

章节片段
目标检测网络
目标检测指的是在图像或视频中识别和定位物体。随着深度神经网络的不断发展，目标检测网络经历了持续的创新。从最初的人工特征设计到现在使用深度学习进行特征提取，目标检测网络的准确性和速度都得到了显著提高。目前，基于深度学习的目标检测网络分为两类检测
针对目标检测网络的蜕变测试技术
虽然已经有一些针对目标检测网络的测试技术（例如 DeepRoad [12] 和 MetaOD [13]），但前者应用场景相对单一，而后者则面临测试用例多样性低和测试用例生成成本高的问题。我们提出了一种针对目标检测网络的新型蜕变测试技术，称为 OBMeta。该技术将图像分离为前景和背景组件，并使用五种类型的图形变换来构建
研究问题
实验旨在探索以下四个研究问题：
•RQ1: OBMeta 生成的测试数据质量如何？本研究问题从视觉真实性方面评估派生图像的质量。派生图像应保持视觉真实性，不应过度偏离源图像，以便作为具有不变预期检测结果的有效测试用例。
•RQ2: OBMeta 的测试生成效率如何？为了评估优势
智能软件测试
Pei 等人提出了第一个针对 DNN 的白盒测试框架 DeepXplore，引入了神经元覆盖率来评估 DNN 的测试充分性 [39]。Yu 等人开发了一种基于神经元覆盖率的白盒测试方法 Test4Deep，该方法跟踪不活跃神经元并在每次迭代中持续触发它们，以最大化神经元覆盖率 [40]。Huang 等人通过类比 MC/DC 测试构建测试用例。他们提出了四个测试标准并设计了一套测试生成
结论
为解决目标检测网络测试生成困难和时间开销高的问题，以及蜕变关系构建单一的问题，本文提出了 OBMeta，一种针对目标检测网络的蜕变测试技术。该技术通过对目标检测网络输入图像中的前景物体和背景图像进行分别变换来构建蜕变关系。然后，它从源测试

CRediT 署名贡献声明
Ziyuan Wang：写作 – 审阅与编辑，验证，监督，方法论，调查。Shule Ma：写作 – 审阅与编辑，软件，调查，数据整理。Jinwu Guo：写作 – 初稿，软件，调查，数据整理。Zishuo Guo：写作 – 审阅与编辑，软件，调查，数据整理。Zhiyi Zhang：写作 – 审阅与编辑，方法论。Weifeng Zhang：监督，方法论。

利益冲突声明
作者声明他们不知道可能影响本文所述工作的相互竞争的财务利益或个人关系。

Ziyuan Wang|Shule Ma|Jinwu Guo|Zishuo Guo|Zhiyi Zhang|Weifeng Zhang
南京邮电大学计算机科学与技术学院，中国南京