关于在多语言漏洞修复中评估大型语言模型的研究

《ACM Transactions on Software Engineering and Methodology》：On the Evaluation of Large Language Models in Multilingual Vulnerability Repair

软件漏洞修复、多语言、大型语言模型（LLMs）、GPT-4o、编程语言效果差异

　　

摘要

为了自动修复软件漏洞，人们提出了多种基于深度学习的方法，这些方法使用了预训练的语言模型。然而，这些方法仅适用于特定的编程语言（C/C++）。大型语言模型（LLMs）的最新进展使其具备了语言无关的能力和强大的语义理解能力，有望克服多语言漏洞修复的限制。尽管已有研究开始探索LLMs在漏洞修复方面的表现，但其效果仍不尽如人意。为了解决这些问题，我们进行了一项大规模的实证研究，评估了自动化漏洞修复方法以及最先进的LLMs在七种编程语言中的性能。研究结果表明，经过少量示例提示调优的GPT-4o在性能上可与领先的方法VulMaster相媲美。此外，基于LLM的方法在修复独特漏洞方面表现更优，且更有可能修复最危险的漏洞。经过指令调优的GPT-4o在处理先前未见过的编程语言中的漏洞时表现出较强的泛化能力，优于现有的方法。分析显示，Go语言在所有模型类型中始终具有最高的修复效率，而C/C++语言的效果最差。基于研究结果，我们讨论了LLMs在多语言漏洞修复方面的潜力以及失败案例的原因。这项工作首次研究了多种语言下的漏洞修复方法和LLMs，指出了将LLMs应用于多语言漏洞修复的广阔前景。