评估深度学习模型在基础程序分析任务中的有效性

《ACM Transactions on Software Engineering and Methodology》：Evaluating the Effectiveness of Deep Learning Models for Foundational Program Analysis Tasks

　　

摘要AI总结

要查看此由AI生成的总结，您需要拥有高级访问权限。

了解更多信息登录

摘要

摘要

尽管深度神经网络为各种编程语言任务提供了最先进的解决方案，但其在处理基础程序分析任务方面的效果仍有待深入研究。在本文中，我们通过实证研究评估了四种著名的代码模型（即CuBERT、CodeBERT、GGNN和Graph Sandwiches），以及四种常用的大型语言模型（即GPT3.5、GPT-4o mini、Qwen2.5-Coder和DeepSeek Coder），在两项基础任务中的表现：（1）别名预测，即模型判断两个指针是必须别名、可能别名还是绝不能别名；（2）等价性预测，即模型判断两个程序在语义上是否等价。本研究的核心是CodeSem，这是一个基于现实世界中重要软件的源代码构建的数据集（例如Linux内核、GCC、MySQL），并且已经针对这两项预测任务进行了人工验证。结果显示，所有模型在这两项预测任务中都具有较高的准确性。我们还对所有模型在两项任务中的结果进行了全面深入的分析，得出的结论是：虽然在某些特定情况下深度学习模型存在不足，但总体上它们具备处理程序分析基础任务的能力。

我们的代码和评估数据可在https://github.com/CodeSemDataset/CodeSem上公开获取。

AI总结

AI生成的总结（实验性内容）

此总结是通过自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、判断文章的相关性，以及便于相关领域的读者理解该研究工作。它是对作者提供的摘要的补充，而作者提供的摘要仍是文章的主要总结内容。完整文章才是最具权威性的版本。点击此处了解更多信息。

点击此处，可以对此总结的准确性、清晰度和实用性发表意见。您的反馈将有助于改进未来的总结版本。

要查看此由AI生成的通俗语言总结，您需要拥有高级访问权限。