超越大语言模型:主动学习在代码异味检测中的相对价值

《Information and Software Technology》:Beyond Large Language Models: On the relative value of active learning for code smell detection

【字体: 大 中 小 】 时间:2026年08月30日 来源:Information and Software Technology 4.6

编辑推荐:

   摘要 背景:代码异味检测的机器学习和深度学习方法通常依赖于大规模标注数据集。在实际中,已标注的代码异味资源十分匮乏,而未标注的代码则大量存在——这使得主动学习成为缓解数据稀缺瓶颈的一个有前景的解决方案。软件工程领域的先前研究表明,主动学习能够在有限的标注和训练预算下提升模型

  

摘要

背景:代码异味检测的机器学习和深度学习方法通常依赖于大规模标注数据集。在实际中,已标注的代码异味资源十分匮乏,而未标注的代码则大量存在——这使得主动学习成为缓解数据稀缺瓶颈的一个有前景的解决方案。软件工程领域的先前研究表明,主动学习能够在有限的标注和训练预算下提升模型性能,但其对代码异味检测的具体有效性尚不明确。

目标:系统研究主动学习(查询策略、分类器、查询率)对代码异味检测的影响,并检验研究结论是否对预训练代码表示模型的选择敏感。

方法:我们在MLCQ数据集上开展了一项全面的实证研究,该数据集包含4365个代码片段,涵盖四种常见的代码异味类型(数据类、Blob、长方法、特性依恋)。我们首先使用CodeBERT提取代码片段的语义特征,然后评估了5类主动学习查询策略(实例化为11种具体变体)、8种分类器以及10种查询率(从5%到50%,以5%为增量)。我们进一步在最优主动学习配置下,将CodeBERT与GraphCodeBERT、CodeT5和PLBART进行比较,以评估表示模型的鲁棒性。为确保结果的稳健性和可靠性,我们采用了分层10折交叉验证、四项评估指标(精确率、召回率、F1分数、Matthews相关系数(MCC)),并使用Scott-Knott效应量差异(ESD)检验进行统计显著性验证。

结果:(1) 在所考察的11种查询策略中,基于不确定性的方法和基于委员会的方法始终优于其他方法,其中投票熵(Vote Entropy)表现尤为突出;(2) 在8种分类器中,随机森林取得了最佳的整体结果;(3) 在查询率方面,将其从5%提高到30%会带来显著的性能提升,而从30%进一步提高到50%则导致改进递减,在某些情况下甚至出现性能下降;(4) 最优的主动学习配置——将随机森林与投票熵结合——在MLCQ数据集上实现了优于所评估的基于提示的大语言模型(LLM)基线的整体性能;(5) 在表示模型鲁棒性分析中,CodeBERT在所有四种代码异味类型上均以F1分数和MCC保持最佳表现。

结论:主动学习能有效提升代码异味检测性能,实践者应优先考虑将CodeBERT特征提取与随机森林配对,并采用投票熵查询策略,同时将查询率限制在30%以平衡检测精度和标注成本。额外的编码器比较表明,这一结论并非仅局限于过时的表示选择。

引言

随着软件系统规模的不断扩大,软件质量受到了软件工程领域从业者和研究人员的日益关注[1]、[2]、[3]。维护软件质量的一个关键方面在于识别和检测代码异味[4]、[5]、[6]、[7]。代码异味是设计缺陷或不良编程实践的结构性指标[8],例如数据类、Blob、长方法和特性依恋。尽管它们很少导致系统立即故障,但代码异味会逐渐侵蚀软件架构,损害整体可维护性和质量。因此,有效的代码异味检测是确保软件质量的基本策略。通过识别代码异味,开发者可以优先安排重构工作并提高代码的可维护性。

代码异味检测提出了两种主要方法:基于启发式规则的方法和基于机器/深度学习的技术。基于规则的方法[9]、[10]、[11]、[12]依赖于预定义的启发式规则,即将代码度量与手动选择的阈值进行比较以检测潜在异味。然而,该方法的准确性高度依赖于阈值的选择,而这些阈值往往以临时方式确定并需要主观的专家验证。相比之下,基于学习的方法[13]、[14]、[15]、[16]、[17]、[18]通过分析历史数据来提取判别性特征并训练分类器,从而自动预测新代码中的异味。通过消除对人工设定阈值或规则的需求,这些方法已成为代码异味检测的主流范式[19]。近期研究[20]、[21]、[22]、[23]、[24]、[25]也探索了使用大语言模型(LLM)进行代码异味检测,但初步结果表明其效果有限(例如,Blaauwendraad的研究[20]中使用GPT-4o mini进行零样本评估的F1分数仅为0.18至0.49),与机器/深度学习方法相比仍有差距。

尽管机器/深度学习在代码异味检测中前景广阔,但进展受到一个根本性瓶颈的制约:标注代码异味数据集的匮乏。训练机器/深度学习模型需要大量精确标注的数据,缺乏此类资源直接限制了性能的提升。此外,人工标注耗时且需要大量的专业知识。为解决数据稀缺问题,其他软件工程领域(例如缺陷预测[26]、[27]、[28],漏洞检测[29]、[30]和需求工程[31])的研究人员已采用主动学习。具体而言,主动学习识别信息量最大的未标注样本,邀请人类专家对这些样本进行标注,并迭代地将这些高价值样本纳入模型训练。这种循环过程不仅减少了对大量预标注数据集的依赖,还确保了有限标注预算的高效利用——避免冗余标注并最大化每个标注样本的影响。然而,主动学习在代码异味检测中的应用仍主要处于探索阶段,其对该特定任务的有效性尚未得到充分理解。简单地将其他领域成功的策略迁移到代码异味检测中可能无法获得同等效益,甚至可能降低性能。

为弥补这一空白,我们开展了一项大规模的确认性和比较性实证研究,而非提出新的主动学习算法。本研究的主要方法论贡献在于,在统一且系统控制的实验设置下,对主动学习在代码异味检测中的应用提供了全面的实证评估,从而更清晰地了解不同的主动学习配置如何在有限标注预算下影响检测效果。具体而言,我们系统考察了五种查询策略族——不确定性采样、基于委员会的查询、期望模型变化、误差减少查询和密度加权查询——以及十一种具体实例化:间隔采样、最小置信度、熵采样、投票熵、批模式主动学习、期望误差减少、图密度、查询信息性和代表性样本、自步主动学习、排序批模式主动学习和随机采样。我们在工业相关代码异味数据集(MLCQ)[32]上开展本研究,该数据集包含4365个代码片段,涵盖四种常见代码异味类型(数据类、Blob、长方法和特性依恋),并被广泛用于软件工程实证研究[26]、[33]、[34]、[35]、[36]、[37]。我们首先使用CodeBERT从该数据集的代码片段中提取语义特征。随后,我们将这些特征与八个分类器(朴素贝叶斯、逻辑回归、决策树、K近邻、多层感知机、支持向量机、随机森林和AdaBoost)以及上述主动学习策略相结合,构建代码异味检测模型。此外,我们探索了从5%到50%(以5%为增量)的十个查询率,以全面了解不同级别的主动数据选择对模型性能的影响。

RQ1:不同的主动学习查询策略如何影响代码异味检测模型的性能?

我们在四种常见代码异味类型(数据类、Blob、长方法和特性依恋)上使用八个分类器评估了11种主动学习查询策略(包括随机采样)和一个无主动学习基线("NONE"),初始标注数据比例和预设主动学习查询率固定在5%;我们计算每种查询策略在每种代码异味类型和每项评估指标(精确率、召回率、F1分数和Matthews相关系数(MCC))上跨八个分类器的平均性能,并使用Scott-Knott效应量差异(ESD)检验[38]验证性能差异的统计显著性。结果表明,在四种代码异味类型和四项评估指标上,基于不确定性的查询策略(间隔采样、最小置信度和熵采样)和基于委员会的策略(投票熵)始终优于其他策略,其中投票熵表现尤为突出。在大多数情况下,所有主动学习策略都优于"NONE"和随机采样基线。

RQ2:分类器的选择如何影响代码异味检测模型的性能?

我们在四种代码异味类型和四项评估指标上比较了8种分类器的性能,初始标注数据比例和每次迭代的查询率固定在5%,计算每种分类器在11种查询策略上的平均性能并通过Scott-Knott ESD检验验证统计显著性;结果表明,随机森林在大多数代码异味类型和指标上取得了最佳的整体性能:它在所有四种代码异味类型上的F1分数均排名第一(数据类0.437,Blob 0.368,长方法0.829,特性依恋0.855),并在四种类型中的三种上取得最高的MCC(数据类0.425,长方法0.799,特性依恋0.794)。

RQ3:在主动学习框架中变化查询率对代码异味检测的有效性有何影响?

我们将查询率从5%到50%(以5%为增量)进行设置,选择表现最佳的投票熵和间隔采样作为主要查询策略(以随机采样为基线),并基于RQ1和RQ2的发现选择随机森林作为分类器,分析在四种代码异味类型和四项评估指标上模型性能如何随查询率的增加而变化。结果表明,当查询率从5%增加到30%时,使用投票熵和间隔采样的模型的精确率、召回率、F1分数和MCC普遍提升;而当查询率从30%进一步增加到50%时,性能提升变得边际化,在某些情况下甚至下降。

RQ4:主动学习框架对预训练表示模型的选择有多敏感?

我们进一步通过在相同的投票熵+随机森林设置下(查询率30%)比较CodeBERT、GraphCodeBERT、CodeT5和PLBART,检验所提主动学习框架对预训练表示模型选择的鲁棒性。结果表明,CodeBERT在所有四种代码异味类型上均取得最高的F1分数和MCC,而替代编码器在个别指标上仍有竞争力,例如长方法召回率和特性依恋精确率。这些发现表明,表示选择影响绝对性能,但在最优主动学习配置下,CodeBERT提供了最强且最均衡的结果。

为了强调主动学习在代码异味检测中的价值,我们进一步将其与更广泛的代表性基于提示的大语言模型(LLM)基线进行比较,包括先前研究中报告的GPT系列模型以及在同一MLCQ数据集上评估的三种非GPT模型(DeepSeek-V4、GLM-5.1和Kimi-2.6)。结果表明,最优主动学习配置(将随机森林与投票熵结合)在四种异味类型上均实现了更强的整体性能,在Blob、长方法和特性依恋上明显优于所评估的LLM基线,而在数据类上仍具有竞争力,后者GPT-4少样本评估获得了最高F1分数。

本研究做出以下贡献。

(1) 我们为基于主动学习的代码异味检测提供了大规模且系统控制的实证评估,涵盖了五种查询策略族(11种具体实例化)、八个分类器和十个查询预算,基于共享的CodeBERT表示,从而能够在主动学习设计空间中进行受控且可复现的比较。

(2) 我们确定了最优的主动学习配置——以投票熵作为查询策略,搭配随机森林分类器和30%的查询率——该配置在MLCQ数据集上在报告设置下实现了优于代表性基于提示的LLM基线的整体性能,并为研究人员和实践者提供了可行的建议。

本文其余部分组织如下。第2节回顾相关工作。第3节介绍我们将主动学习应用于代码异味检测的方法,包括模型设计、查询策略和停止准则。第4节描述实验设置,第5节报告并分析实证结果。第6节首先比较最优主动学习配置与LLM在代码异味检测中的性能,然后讨论这些发现的启示。第7节概述对有效性的威胁。最后,第8节总结全文。

第2节节选

基于启发式规则的代码异味检测方法

基于启发式规则的代码异味检测方法通常依赖结构依赖关系、软件度量和专家制定规则来标记特定异味。

代表性技术包括DECOR [11],该方法将气味特征形式化为规则集以实现系统化检测;JMove [39],该方法通过比较依赖配置相似度来推荐方法移动重构机会;以及JDeodorant [40],该方法利用Jaccard相似度检测特性依恋,并在后续版本中引入了基于主动学习的代码异味检测。

基于主动学习的代码异味检测工作流旨在通过策略性地选取高价值未标记样本进行专家标注,从而提升模型性能。该过程减少了对大量标注数据集的依赖,使有限的标注资源能够得到更高效地利用。如图1所示,该工作流依次经历以下阶段(见表1):

1. 模型初始化:首先使用包含已知代码异味的少量种子数据集训练一个基础检测模型。

数据集:实验基于工业相关代码异味数据集(MLCQ)[32]进行,该数据集被广泛应用于近期代码异味检测研究中,并具有多项适用于评估主动学习的特性。首先,它由现代且积极维护的开源Java项目构建而成,增强了其实用相关性。其次,其标签来自由26名具有领域专长的工业开发者组成的委员会:每个代码片段均由大约三位独立标注者进行标注。

RQ1:不同的主动学习查询策略如何影响代码异味检测模型的性能?

方法:为回答RQ1,我们在四种常见代码异味类型(数据类、Blob、长方法和特性依恋)上,评估了11种主动学习查询策略(包括随机采样)以及一个无主动学习的基线条件(记为"NONE"),并以八种分类算法作为底层代码异味检测模型。对于每种代码异味类型和评估指标(精确率、召回率、F1分数和MCC),我们通过计算各查询策略的平均性能得分来

与非主动学习代码异味检测器的比较:为了确定我们表现最佳的主动学习配置相对于先前在MLCQ上的代码异味检测器的位置,我们将查询率为30%的随机森林配合投票熵与几种代表性的非主动学习方法进行比较。比较对象包括ML_CuBERT [54],该方法将预训练的CuBERT词嵌入输入经典机器学习分类器以区分代码异味;三种基于自编码器的变体 [51],其中AE-Dense通过压缩源代码标记来

效度威胁:内部效度与实验中使用的方法和技术有关,特别是分类模型和主动学习查询策略。(1)我们采用了5族主动学习查询策略和6族分类器,这确保了研究对象的多样性和代表性,有助于增强实验结果的可推广性。这些策略在先前研究中被广泛使用 [26]、[33]、[34]、[35]、[36]。为减少实验中的技术误差,我们

结论与未来工作:本研究对主动学习在代码异味检测中的应用进行了全面的比较调查。我们使用MLCQ数据集开展了广泛分析,涵盖五族查询策略中的十一种具体算法、八种分类器和十种查询率,以考察它们对模型性能的具体影响。主要发现如下:(1)在相同数量的标注训练数据条件下,基于主动学习的代码异味检测器取得了更好的整体性能。

CRediT作者贡献声明:Haoxuan Chen:撰写——初稿、验证、软件、方法论、调查、概念化。Chenxuan Hu:软件、方法论、调查。Chengming Liu:软件、方法论、调查。Jacky Wai Keung:撰写——审阅与编辑、可视化、验证、监督、形式化分析。Xiaoxue Ma:可视化、验证、项目管理、形式化分析、数据整理、概念化。Wenhua Hu:撰写——审阅与编辑、可视化、验证。

利益冲突声明:作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

致谢:本工作得到湖北省大数据智能分析与应用重点实验室开放基金(湖北大学)资助,项目编号为2025BDIAA07。

Haoxuan Chen | Chenxuan Hu | Chengming Liu | Jacky Wai Keung | Xiaoxue Ma | Wenhua Hu | Chuanxiang Ma

武汉理工大学计算机科学与技术学院,中国武汉
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号