针对性深度学习系统边界测试

《ACM Transactions on Software Engineering and Methodology》：Targeted Deep Learning System Boundary Testing

深度学习系统边界测试的关键在于生成有效且多样的边界案例，现有方法依赖随机扰动且控制不足。本文提出Mimicry黑盒测试生成器，通过风格化GAN分解输入内容与风格，模仿目标与源类特征生成边界案例，在五个分类模型上验证其有效性，测试案例接近理论边界25倍，有效性提升36%，且生成案例语义合理，优于传统基线方法。

　　

摘要

评估深度学习（DL）系统的行为边界对于理解其在各种未见输入下的可靠性至关重要。现有的解决方案存在不足，因为它们依赖于无针对性的随机扰动，且对输入变化的控制有限。在这项工作中，我们引入了Mimicry，这是一种新型的黑盒测试生成器，用于对DL系统的边界进行细粒度、有针对性的探索。Mimicry通过利用DL输出的概率特性来识别有潜力的探索方向来进行边界测试。通过使用基于风格的GAN将输入分解为内容和风格两部分，Mimicry通过模仿源类和目标类的特征来生成边界测试输入。我们评估了Mimicry在为五种DL图像分类系统生成边界输入方面的有效性，并将其与文献中的两个基线进行了比较。结果显示，Mimicry始终能够识别出距离理论决策边界更近的输入（接近$25\times$），并且其性能在统计上显著优于基线。此外，它生成的边界测试用例在语义上具有意义，能够揭示新的功能异常行为，而基线大多产生的输入是损坏或无效的。得益于其对潜在空间操作的更强控制能力，随着数据集复杂性的增加，Mimicry的有效性依然保持不变，其有效性提高了高达$36\%$，并且其多样性也更具竞争力，这一点得到了全面的人类评估的支持。