《Information》:SCAR-CMB: A Class-Reweighted and Interaction-Aware Feature Selection Method for Imbalanced Software Defect Prediction
编辑推荐:
软件缺陷预测(Software Defect Prediction, SDP)旨在在测试前识别出缺陷倾向模块,但严重的类别不平衡和冗余的软件度量常常限制预测性能。许多传统特征选择方法使用原始不平衡经验分布估计特征相关性,主要强调边际相关性或全局分类器导向标准,
软件缺陷预测(Software Defect Prediction, SDP)旨在在测试前识别出缺陷倾向模块,但严重的类别不平衡和冗余的软件度量常常限制预测性能。许多传统特征选择方法使用原始不平衡经验分布估计特征相关性,主要强调边际相关性或全局分类器导向标准,可能低估对少数缺陷类有信息量的特征。为了解决这个问题,本文提出SCAR-CMB,一种简化的类别重加权与交互感知特征选择方法,用于不平衡SDP。SCAR-CMB使用类别平衡经验分布估计特征-标签依赖性,使用加权条件依赖性信息控制冗余,并在相关性筛选的特征池中引入一个交互感知条件增益项作为辅助重新优先级信号。SCAR-CMB并非执行完整的因果结构发现或正式的协同估计,而是采用马尔可夫毯启发式(Markov-blanket-inspired)条件依赖性设计作为特征选择的实用指南。最终配置排除了困难感知加权(hardness-aware weighting)和错误发现率(False Discovery Rate, FDR)过滤。SCAR-CMB在10个公开的NASA和PROMISE缺陷数据集上,在无泄漏交叉验证协议下进行评估。与七个代表性基线相比,SCAR-CMB取得了有竞争力的整体性能,并获得了最高的平均缺陷类召回率(defective-class recall)、G-均值(G-mean)和平衡准确率(balanced accuracy)。然而,它并非在所有指标上均统一优越,召回优势未被综合Friedman检验(omnibus Friedman test)证实。额外的机制级、稳定性和敏感性分析表明,类别重加权改变了特征优先级,所选特征子集在折叠间相对稳定,交互感知项提供了有限且数据集相关的辅助效果。敏感性分析进一步表明,主要结论并非由特定的特征预算、离散化箱设置或下游分类器单独决定。总体而言,SCAR-CMB应被解释为一种实用的面向少数类的特征选择方法,在缺陷类检测、特征子集控制和计算成本之间提供权衡。
软件缺陷预测(Software Defect Prediction, SDP)旨在测试前识别缺陷倾向模块,但严重类别不平衡与冗余软件度量常限制预测性能。传统特征选择方法多依赖原始不平衡分布评估特征相关性,侧重边际相关性或全局分类器导向标准,可能低估对少数缺陷类有信息量的特征。为此,研究人员提出SCAR-CMB,一种简化的类别重加权(class-reweighted)与交互感知(interaction-aware)特征选择方法,面向不平衡SDP。该方法采用类别平衡经验分布估计特征-标签依赖性,用加权条件依赖性信息控制冗余,并在相关性筛选的特征池中引入交互感知条件增益项作为辅助重新优先级信号。SCAR-CMB采用马尔可夫毯启发式(Markov-blanket-inspired)条件依赖性设计,而非完整因果发现或正式协同估计,最终配置排除困难感知加权(hardness-aware weighting)与错误发现率(False Discovery Rate, FDR)过滤。研究在10个公开NASA与PROMISE缺陷数据集上,按无泄漏交叉验证协议评估,样本队列源自这两个仓库。与七个代表性基线(包括mRMR、FCBF、CMIM、RFE-RF、Boruta-RF、SMOTE-RFE-RF及无特征选择的平衡随机森林)比较,SCAR-CMB获得最高平均缺陷类召回率(defective-class recall)、G-均值(G-mean)与平衡准确率(balanced accuracy),但并非在所有指标上统一优越。机制分析表明,类别重加权改变了特征优先级,所选子集在折叠间相对稳定,交互感知项提供有限且数据集相关的辅助效果。敏感性分析证实主要结论不依赖特定特征预算、离散化箱数或下游分类器。论文发表于《Information》。
结果部分:
5.1 整体与少数类性能(Overall and Minority-Class Performance)
通过平均性能比较(表5)发现,SCAR-CMB在缺陷类召回率、G-均值和平衡准确率上取得最高平均值,但在MCC、AUPRC和AUC上未超过mRMR或无特征选择的平衡随机森林,表明其优势集中于少数类检测与类平衡性能。
5.2 基于排序的统计分析(Rank-Based Statistical Analysis)
平均排序(表6)显示SCAR-CMB在缺陷类召回率、G-均值和平衡准确率上获得最佳平均排名。Friedman检验表明多数指标存在显著整体差异,但缺陷类召回率不显著。Nemenyi事后检验与Wilcoxon符号秩检验显示SCAR-CMB显著优于弱基线(如FCBF),但与强基线差异不显著。
5.3 机制分析:类别重加权的排序级效应(Mechanism Analysis: Ranking-Level Effect of Class Reweighting)
通过比较普通互信息与类别重加权互信息的排名(表7),发现斯皮尔曼相关系数与肯德尔相关系数均值分别为0.6538与0.5651,前k重叠率(k=5,10,15)在0.621至0.776之间,表明类别重加权引入可测量且数据集依赖的排名变化,尤其影响高优先级特征。
5.4 机制分析:特征选择稳定性(Mechanism Analysis: Feature Selection Stability)
使用成对Jaccard相似度与Nogueira稳定性指标(表8),SCAR-CMB的成对Jaccard相似度达0.8932,Nogueira稳定性为0.7039,高于mRMR、CMIM、RFE-RF及SMOTE-RFE-RF,表明所选子集在折叠间相对稳定,非随机。
5.5 机制分析:组件消融与配置验证(Mechanism Analysis: Component Ablation and Configuration Validation)
严格组件消融(表9)显示,添加条件冗余控制略提升MCC、F1
defect、缺陷类召回率、G-均值与平衡准确率,而单独添加交互感知项几乎无改善。配置验证(表10、图3)表明,最终简化版本(无困难感知加权与FDR过滤)在缺陷类检测、类平衡性能与运行时间上达到最佳权衡。
5.6 鲁棒性检验:特征预算与参数敏感性(Robustness Checks: Feature Budget and Parameter Sensitivity)
特征预算敏感性(表11)显示,预算过小(k=5)导致性能下降,15特征设置提供最佳权衡;冗余惩罚系数(β)分析(表12、图4)表明,β在0.15至0.30之间性能稳定,β=0.25选为默认值;最小特征约束不绑定。
5.7 鲁棒性检验:离散化箱敏感性(Robustness Checks: Discretization-Bin Sensitivity)
离散化箱数(3,4,5,7,10)敏感性(表13)显示,5箱设置获得最佳缺陷类召回率,且整体性能稳定,5箱作为默认实践权衡。
5.8 鲁棒性检验:分类器敏感性(Robustness Checks: Classifier Sensitivity)
分类器敏感性(表14)表明,下游分类器影响绝对性能,但SCAR-CMB所选子集在平衡随机森林、标准随机森林与类别加权逻辑回归下均保持有效,其行为随分类器变化,但非完全依赖平衡随机森林。
5.9 失败分析与研究问题总结(Failure Analysis and Research Question Summary)
SCAR-CMB在部分数据集(如KC1、PC3、Synapse-1.2)上弱于其他方法,其优势集中于缺陷类召回与类平衡性能。机制级分析证实类别重加权改变特征优先级,交互感知项效果有限。结论对特征预算、离散化设置及分类器具有鲁棒性,但非普遍最优。
讨论与结论:
讨论部分指出,SCAR-CMB主要优势在于缺陷类召回与类平衡性能,适合优先减少遗漏缺陷模块的场景。其类别重加权改变了高优先级特征排名,特征子集相对稳定,组件消融表明条件冗余控制提供稳定作用,交互感知项辅助效果有限。配置验证表明简化版本更优。研究结论部分翻译如下:本文提出SCAR-CMB,一种简化的类别重加权与交互感知特征选择方法,用于不平衡软件缺陷预测。SCAR-CMB使用类别平衡经验分布估计特征-标签依赖性,用加权条件依赖性信息控制冗余,并在相关性筛选的特征池中引入辅助条件增益项。最终配置排除困难感知加权与错误发现率过滤。在10个公开NASA与PROMISE数据集上的实验表明,SCAR-CMB在缺陷类召回率、G-均值与平衡准确率上取得最高平均值,但并非在所有指标上统一优越,强基线如mRMR和无特征选择的平衡随机森林在全局排序指标上仍具竞争力。因此,SCAR-CMB应视为面向少数类的特征选择方法而非普遍最优。额外机制与鲁棒性分析表明,类别重加权引入可测量的特征优先级变化,特征子集稳定,条件冗余控制提供稳定作用,交互感知项效果有限。敏感性分析证实主要结论不依赖特定设置。未来工作将在更新工业与开源项目上验证,引入努力感知与成本敏感评估,并探索更稳定的条件依赖性估计器。