通过与大语言模型和小语言模型的协作推理来提升领域特定代码的自动补全能力

《ACM Transactions on Software Engineering and Methodology》：Enhancing Domain-Specific Code Completion via Collaborative Inference with Large and Small Language Models

1. 领域特定代码补全中，通过PEFT微调小模型替代大模型降低计算成本，结合大模型结果与动态分类器优化组合策略，提升准确率并降低内存占用，实验验证了其高效性和优越性。

　　

摘要

基于大型语言模型的代码补全技术展现了出色的性能，但在捕捉特定领域内的专业知识以实现更精确的补全方面仍面临挑战，即领域特定的代码补全。以往的研究探讨了针对这一任务的微调技术或检索增强技术。然而，微调大型语言模型（LLMs）需要大量的计算资源，且成本会随着模型规模的增加而呈平方级增长。检索增强技术在准确和灵活地检索相关信息方面也存在困难。此外，考虑到代码补全工具需要实时运行，如何更高效地利用大型语言模型也成为一个挑战。

为了解决这些挑战，本文首先进行了初步实验，发现在一个特定领域内微调的小型模型的代码补全效果能够补充大型模型的不足。基于这一发现，我们提出了一个协作框架，以有效结合大型和小型模型来实现更好的领域特定代码补全。具体而言，我们使用PEFT方法对小型代码模型进行微调，而不是大型模型，从而降低了微调的开销。我们设计了一个分类器来帮助灵活地整合不同的补全结果。该分类器依赖于多种维度的特征，例如补全代码与上下文之间的相似性，并用于动态决定如何结合大型和小型模型预测的代码片段，以实现更好的代码补全效果。评估结果显示，与现有最佳方法相比，我们的方法在项目内部和领域内部的代码补全场景中分别实现了7.42%和4.67%的平均精确度提升。此外，与现有的领域特定代码补全方法FT2Ra相比，我们的方法推理速度提高了1.40倍，平均内存需求从25.98G降低到了13.69G。这些优势使得我们的方法更加易于使用且效率更高。