Citadel：基于上下文相似性的深度学习框架缺陷检测

《ACM Transactions on Software Engineering and Methodology》：Citadel: Context Similarity Based Deep Learning Framework Bug Finding

深度学习框架测试工具存在覆盖不足问题，Citadel方法通过上下文相似性自动生成测试用例，有效检测PyTorch和TensorFlow的58+66个API漏洞，其中13个为性能类缺陷，测试用例生成效率提升35.40%。

　　

摘要

随着深度学习技术的应用，深度学习框架测试工具的需求日益增长。现有的深度学习框架测试工具在覆盖错误类型方面存在局限性。例如，它们无法有效发现影响模型性能、经济性和环境因素的性能错误。此外，现有工具效率低下，虽然能生成大量测试用例，但只有少数能够触发实际错误。在本文中，我们提出了一种名为Citadel的方法，该方法在效率和效果上显著提升了错误检测的速度。我们观察到，许多深度学习框架中的错误具有相似性，这是因为属于同一类的操作符和算法之间存在相似性。Citadel与现有的错误检测工具不同，它旨在发现与已知测试用例相匹配的新错误。该工具通过定义“上下文相似性”来衡量深度学习框架API对之间的相似性，并为与现有错误报告中问题API相似的API自动生成测试用例。Citadel在PyTorch和TensorFlow平台上成功检测到了58个和66个API错误（排除了开发者已标记为无效的错误或重复的报告中的错误），其中许多错误（如13个性能错误）是现有工具无法检测到的。此外，Citadel生成的测试用例中有35.40%能够触发实际错误，这一比例远超现有最佳方法的3.90%。