关于代码变更学习中参数高效微调的实证研究及其扩展应用

《IEEE Transactions on Software Engineering》：An Empirical Study of Parameter-Efficient Fine-Tuning in Code Change Learning and Beyond

参数高效微调在动态代码任务中的效果研究

　　

摘要：

与全模型微调（FMFT）相比，参数高效微调（PEFT）在多个代码理解任务中表现出更优的效果和效率，这得益于PEFT能够通过仅更新少量参数来缓解预训练语言模型（PLMs）的灾难性遗忘问题。然而，现有的研究主要集中在静态代码理解上，这与最近PLMs的预训练范式和知识迁移相一致，但它们没有考虑动态代码变化的情况。因此，目前尚不清楚PEFT在针对代码变化相关任务的特定任务适应方面是否优于FMFT。为了解决这个问题，我们研究了四种常见的PEFT方法（即AT、LoRA、PT和PreT），并将它们的性能与FMFT在七种流行的PLMs上进行了比较。实验中涉及了两个广泛研究的与代码变化相关的任务：即时缺陷预测（JIT-DP）和提交消息生成（CMG），结果表明这四种PEFT方法在JIT-DP任务上优于FMFT，但在CMG任务中最多只能表现出相当的性能。而在跨语言和资源匮乏的情景下，它们表现出相对的优势。随后，本文从静态和动态两个角度进行了一系列探究性实验，详细解释了PEFT和FMFT的有效性。受到PEFT和FMFT在逐层探究结果中的独特优势的启发，我们提出了Pasta，这是一个用于PLMs在代码变化学习中的自适应高效层特定微调框架，该框架根据探究结果在领域适应过程中结合了FMFT和PEFT。在CMG任务中的实验表明，Pasta在有效性方面超越了多种PEFT方法。即使在BLEU、Meteor和Rouge-L评估指标上，Pasta也比FMFT分别高出1.48%、3.21%和1.87%，同时在训练时间和计算内存方面节省了26.26%和20.65%。

显示更多