基于神经网络的代码LLM解释方法：背景、原因与实现方式？

《Proceedings of the ACM on Software Engineering》：Neuron-Guided Interpretation of Code LLMs: Where, Why, and How?

　　

摘要AI总结

要查看此由AI生成的总结，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

代码语言模型在各种代码智能任务中展现出了强大的能力。尽管现有研究大多致力于在基准数据集上提升性能，但很少有研究关注模型的内部可解释性——即特定神经元如何影响语法和语义等语言特征，而这对于确保模型的透明度、可控性和可靠性至关重要。虽然自然语言处理领域已经开发出多种神经元可解释性技术，但由于编程语言具有形式化结构、层次化组织以及可执行性等独特特点，直接将这些技术应用于源代码往往无法获得理想效果。在本研究中，我们从神经元层面深入探究了代码大型语言模型的内在机制，旨在识别出对特定编程语言具有选择性响应的神经元，以及用于编码与语言无关的代码表示的前馈层。我们使用了Llama-3.1-8B和Qwen2.5-Coder-32B这两款最先进的模型，针对C++、Java、Python、Go和JavaScript五种编程语言进行了实验。通过分析模型对多语言代码输入的神经元激活模式，我们研究了单个神经元的作用以及不同层次在输出生成过程中的贡献。实验结果表明：（1）代码大型语言模型中既存在专门用于处理特定编程语言的神经元，也存在可用于通用代码生成的通用神经元；（2）较低层次的神经元主要负责编码特定于某种语言的语法结构，而中间层次则负责捕捉可在不同语言间泛化的语义抽象，这些抽象便形成了概念层。为验证这些发现的实际应用价值，我们将它们应用于三项下游任务：基于神经元引导的代码生成微调、利用概念层嵌入进行代码克隆检测，以及借助概念层表示进行代码总结的迁移学习。实验评估显示，这些方法都能有效提升多语言代码大型语言模型的性能。

AI总结

AI生成的总结（实验性内容）

该总结是通过自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、判断文章相关性，以及便于相关领域的读者理解本文内容。它是对作者提供的摘要的补充，而作者提供的摘要仍是文章的核心总结。完整文章才是最具权威性的版本。点击此处了解更多。

点击此处，可以对该总结的准确性、清晰度及实用性发表意见。您的反馈将有助于进一步优化未来的总结版本。

要查看此由AI生成的通俗语言总结，您需要拥有高级访问权限。