GitHub项目中Copilot生成代码的安全漏洞：一项实证研究

《ACM Transactions on Software Engineering and Methodology》：Security Weaknesses of Copilot-Generated Code in GitHub Projects: An Empirical Study

本研究分析GitHub Copilot及CodeWhisperer、Codeium生成的代码，发现29.5%的Python和24.2%的JavaScript存在安全漏洞，涉及CWE-330、CWE-94等25项高危问题，通过Copilot Chat修复率可达55.5%，并提出安全建议。

　　

摘要

利用大型语言模型（LLMs）等AI模型的现代代码生成工具因其能够生成功能性代码而越来越受欢迎。然而，这些工具的使用也带来了安全挑战，常常导致不安全的代码被合并到代码库中。因此，评估生成代码的质量，尤其是其安全性，至关重要。尽管以往的研究探讨了代码生成的各个方面，但对安全性的关注仍然有限，主要集中在受控环境中生成的代码，而非开源开发场景。为了解决这一不足，我们进行了一项实证研究，分析了GitHub Copilot以及另外两种AI代码生成工具（CodeWhisperer和Codeium）从GitHub项目中生成的代码片段。我们的分析发现了733个存在安全漏洞的代码片段，其中Python代码片段占29.5%，JavaScript代码片段占24.2%。这些问题涉及43个常见的安全漏洞类别（CWE），包括一些较为严重的漏洞，如、和。值得注意的是，其中8个漏洞属于2023年CWE十大最严重漏洞榜单（CWE Top-25），这凸显了这些漏洞的严重性。我们进一步通过向Copilot提供静态分析工具的警告信息，利用Copilot的聊天功能来修复其中的安全问题，发现最多可修复55.5%的安全漏洞。最后，我们提出了缓解生成代码中安全问题的建议。