深度代码模型的变形测试：一项系统性的文献综述

《ACM Transactions on Software Engineering and Methodology》：Metamorphic Testing of Deep Code Models: A Systematic Literature Review

深度代码模型在软件工程中显著提升了代码相关任务的准确性，但其鲁棒性在变量重命名等场景下面临挑战，元测试通过语义保持变换验证模型稳定性。本文系统综述45篇文献，总结模型类型、编程任务、数据集及评估指标，指出动态环境适应和可解释性是未来重点。

　　

摘要

大型语言模型和专为代码智能设计的深度学习模型由于能够执行各种与代码相关的任务，彻底改变了软件工程领域。这些模型能够以高精度处理源代码和软件工件，完成代码补全、缺陷检测和代码摘要等任务；因此，它们有可能成为现代软件工程实践不可或缺的一部分。尽管具备这些能力，但鲁棒性仍然是深度代码模型的一个关键质量属性，因为它们在不同的和对抗性条件下（例如变量重命名）可能会产生不同的结果。变形测试（Metamorphic Testing）已成为一种广泛使用的方法，通过対输入程序应用保持语义的转换来评估模型的鲁棒性，并分析模型输出的稳定性。虽然之前的研究已经探讨了对深度学习模型的测试，但本系统性的文献综述专门关注深度代码模型的变形测试。通过研究45篇主要论文，我们分析了用于评估鲁棒性的转换方法、技术和评估方法。我们的综述总结了当前的研究现状，指出了经常被评估的模型、编程任务、数据集、目标语言和评估指标，并强调了推进该领域发展的关键挑战和未来方向。