《Machine Learning and Knowledge Extraction》：An Improved Differential Evolution Algorithm Using Mahalanobis Distance and Cholesky Decomposition for Wrapper-Based Feature Selection
编辑推荐：
在机器学习中，特征选择是一个基本组成部分，在提高预测准确性和降低分类模型计算时间方面起着至关重要的作用。特征选择涉及消除可能对模型学习产生负面影响的无关或冗余特征。研究人员提出一种基于封装式（wrapper）的方法，使用二进制进化算法进行特征选择。差分进化（D
在机器学习中，特征选择是一个基本组成部分，在提高预测准确性和降低分类模型计算时间方面起着至关重要的作用。特征选择涉及消除可能对模型学习产生负面影响的无关或冗余特征。研究人员提出一种基于封装式（wrapper）的方法，使用二进制进化算法进行特征选择。差分进化（Differential Evolution, DE）算法执行特征选择，并与马氏距离（Mahalanobis distance）和Cholesky分解（Cholesky decomposition）相结合，称为MaCRO-DE。使用Cholesky分解计算马氏距离有助于确定特征子集的邻近性，这对于决定选择或丢弃哪些特征非常有用。随后，两个分类器——K近邻（K-Nearest Neighbors, KNN）和支持向量机（Support Vector Machine, SVM）——被用作评估器，并与V形传递函数（V-shaped transfer function）一起使用，以确定为所提方法最合适的选择。为评估所提方法的有效性，研究人员采用CEC-2017基准测试集和来自UCI库的十二个广泛使用的数据集。实验测试使用了十三种著名的元启发式算法进行对比。结果表明，该提案有效实现了其目标，在用于比较的性能指标上优于基准方法，这些指标包括准确率（Accuracy）、F1分数（F1-Score）、召回率（Recall）、精确率（Precision）、适应度值（Fitness value）和所选特征数量。
特征选择是机器学习与数据挖掘中的关键预处理步骤，其目标是剔除无关或冗余特征，同时保持乃至提升分类模型的准确性。由于特征子集搜索被公认为NP难问题，完整搜索在特征数量较大时不可行，因此元启发式算法被广泛用于引导该搜索过程。已有研究虽然从种群初始化、种群聚类和选择策略等方面改进了多种算法，但对种群行为的统计分析作为搜索指导信息仍相对未被充分探索。针对该问题，研究人员以差分进化（Differential Evolution, DE）算法为基础，提出一种融合马氏距离（Mahalanobis distance）与Cholesky分解（Cholesky decomposition）的改进算法MaCRO-DE，并将其扩展为二进制版本用于封装式（wrapper）特征选择。该研究利用马氏距离刻画高维空间中个体之间的统计关系，通过Cholesky分解降低协方差运算成本，从而在DE的变异算子中实现基于种群分布的个体分组与选择。实验采用CEC-2017基准测试集和来自UCI库的十二个数据集，使用K近邻（K-Nearest Neighbors, KNN）与支持向量机（Support Vector Machine, SVM）作为评估器，并与十三种经典及近期元启发式算法进行对比。结果表明，MaCRO-DE在优化精度、收敛稳定性和特征选择效果上表现出较强的竞争力，能够较好平衡分类性能与特征降维，证实利用种群统计行为增强元启发式搜索能力是有效的研究方向。
研究人员使用的主要关键技术方法包括：采用Cholesky分解对马氏距离中的协方差矩阵进行数值稳定计算；依据卡方分布的累积概率阈值将种群个体划分为与当前最优解距离较近或较远的群体，并据此选择变异操作所需个体；根据当前距离自适应调整DE的缩放因子与交叉率；使用V形传递函数将连续候选解转换为二进制特征掩码；目标函数同时考虑分类误差与所选特征比例。实验数据来自UCI库的十二个基准数据集，所有对比算法均采用相同的种群规模、迭代次数与独立运行次数，并使用80/20划分形成外部测试集。
**CEC-2017基准函数比较结果**
研究人员在CEC-2017基准测试集的F1至F29函数上比较了MaCRO-DE与多种元启发式算法的平均适应度。结果显示，没有任何单一方法在所有函数上全面占优，但MaCRO-DE在F2、F5、F8、F10、F15、F16、F19、F24、F25和F27等函数上取得具有竞争力的平均结果，并在其他多个函数上接近最优方法，表现出稳健的收敛性和较低的可变性。该实验说明所提出的距离引导机制有助于改善算法在不同搜索地形下的探索与开发平衡。
**Friedman秩检验**
为补充数值比较结果，研究人员采用Friedman秩检验对所有算法在CEC-2017函数上的平均最终适应度进行统计分析。MaCRO-DE获得最佳平均秩，JADE位列第二，SHADE位列第三；检验p值远低于0.05的显著性水平，因此拒绝所有算法性能等价的零假设，确认算法间存在统计显著差异。该结果支持MaCRO-DE整体竞争性能的可靠性。
**特征选择问题实验结果**
在十二个UCI数据集上，研究人员将二进制MaCRO-DE与十三种元启发式算法进行封装式特征选择比较，使用KNN和SVM作为分类评估器。图形结果显示，不同算法在不同数据集上的相对表现存在差异，没有一种元启发式算法在所有问题上持续占优；MaCRO-DE在分类准确率、F1分数、特征降维和运行时间之间表现出良好的整体平衡。具体而言，MaCRO-DE在Zoo数据集上获得最低的平均所选特征数量，并在多个其他数据集上接近最紧凑的特征子集。
**MaCRO-DE封装式特征选择性能比较**
平均准确率结果显示，MaCRO-DE虽未在所有数据集上取得最高准确率，但在整个基准集上保持竞争性表现，接近最优方法。特征选择结果进一步表明，该算法能够系统性地降低数据维度，同时保留原始特征空间中的有效预测信息。因此，所提方法的性能不应仅以最高分类分数或最小特征子集来衡量，而应视为对预测性能、维度压缩和计算开销的综合平衡。
**总结与结论**
综上，MaCRO-DE通过Cholesky分解改进马氏距离计算，并将其用于个体聚类和变异个体选择，使算法能够同时考虑靠近与远离当前最优解的个体，从而促进探索与开发的平衡。CEC-2017实验表明该算法在平均性能、中位数和标准差方面均具有竞争力且收敛稳定；十二个UCI数据集上的KNN与SVM实验表明，MaCRO-DE在准确率、精确率、召回率、F1分数、所选特征数量和运行时间等指标上保持一致且具竞争力的表现。虽然它未在所有数据集上持续取得最佳结果，但实现了分类性能与特征降维之间的良好协调，并倾向于选择相对紧凑的特征子集。未来工作将集中于高维与不平衡数据集、更多类型的分类器以及所提方法的多目标扩展。
