面向高维特征选择的前后验知识引导与混合环境选择多目标粒子群优化算法

《Journal of Advanced Research》：Multi-objective particle swarm optimization with prior-posterior knowledge guidance and hybrid environmental selection for feature selection

　　

研究人员提出了一种新的多目标特征选择算法MOPSO_PPHS。MOPSO_PPHS通过前后验知识引导（prior-posterior knowledge guidance, PPKG）和V型转移算子（V-shaped transfer operator）改进传统多目标粒子群优化（multi-objective particle swarm optimization, MOPSO）。MOPSO_PPHS通过混合环境选择策略（hybrid environmental selection strategy, HESS）显式保留边界解，从而缓解目标冲突。MOPSO_PPHS在20个基准数据集上表现出优异性能，显著优于八个主流对比算法。

随着信息技术快速发展，高维数据在生物信息学、文本分类和图像处理等领域日益普遍。海量数据虽然提供丰富信息，但也带来“维数灾难”：原始数据常含大量无关、冗余甚至噪声特征，既浪费计算资源和存储空间，又易导致过拟合并削弱机器学习模型泛化能力。特征选择（feature selection, FS）通过剔除冗余噪声、选择代表性子集提高计算效率和分类精度，但高维条件下候选子集组合数随特征数呈2^N增长，穷举搜索不可行。现有过滤式方法计算快但忽略分类器交互、精度受限；包裹式方法以分类器性能为评价标准、精度高但重复训练开销大；嵌入式方法平衡效率与精度但受特定算法限制、泛化性较弱。包裹式策略因深度适配特定分类器而受关注，却面临巨大计算挑战。FS是NP难组合优化问题，元启发式搜索可在可接受成本内获得高质量子集。单目标加权将分类误差和子集大小合成一个目标，可能掩盖二者固有权衡，并使搜索对权重设置敏感。多目标特征选择（multi-objective feature selection, MOFS）同时优化分类误差和特征子集大小，产生非支配解集。尽管NSGA-II、MOPSO等框架及相关初始化、搜索算子、档案维护机制取得进展，高维MOFS仍存在三个问题：初始化盲目，随机粒子难以位于有效特征子空间附近；搜索过程不够自适应，二值进化算子未充分利用种群进化状态；环境选择可能不平衡，分类误差与特征子集大小尺度不同，单一准则可能丢弃极端稀疏或高精度解，降低Pareto前沿覆盖和可用性。为此，研究人员提出MOPSO_PPHS，一种改进的多目标粒子群优化框架，引入前后验知识引导、V型转移算子（V-shaped transfer operator）和混合环境选择策略，并在20个高维基准数据集上验证。论文发表在《Journal of Advanced Research》。该研究意义在于通过数据级先验与进化级后验信息结合、改进二值位置更新和边界解保留，缓解盲搜索、二值空间开发不足和环境选择不平衡，提高收敛性、Pareto前沿覆盖和搜索效率。论文作者为 Yaojie Zhao、Ruixuan Liao、Jinpeng Huang、Yujun Cai、Huiling Chen。

关键技术方法（不超过250字）：研究采用20个高维基准数据集，包括9个UCI数据集和11个SBCB微阵列基因表达数据集；每数据集80%样本用于特征选择、20%用于泛化评估；解编码为D维二进制向量，目标为最小化选中特征比例g₁(x)和K近邻（K-nearest neighbors, KNN）分类误差g₂(x)；种群规模100，最大适应度评估10000，KNN邻居数5，独立运行30次；以超体积（hypervolume, HV）、反向世代距离（inverted generational distance, IGD）、最小错误率（minimum error rate, MER）和平均运行时间（average running time, ART）评价，采用Wilcoxon秩和检验；实现于PlatEMO和MATLAB R2024a。核心方法为PPKG（集成ReliefF、Fisher Score和Pearson相关的先验权重与稀疏初始化，基于非支配分层置信权重的后验权重，双知识引导变异）、V型转移算子和HESS。

研究结果：4.3.1 HV比较：在20个高维数据集上，MOPSO_PPHS获得最佳平均排名，Wilcoxon检验显示均显著优于对比算法；HV反映收敛和覆盖，说明其解集更接近参考前沿且覆盖更宽。4.3.2 IGD比较：MOPSO_PPHS平均排名最佳、所有数据集IGD显著更低；IGD衡量解集与参考Pareto前沿距离，说明收敛和逼近质量更好。4.3.3 MER比较：MOPSO_PPHS平均排名最佳，多数数据集MER更低或相当，并在Leukemia、SRBCT、Tumors_11、Colorectal_GSE25070、Lung_GSE74706等达到零分类误差；说明在保持子集紧凑时保留判别特征。4.3.4 ART比较：MOPSO_PPHS平均排名最佳且所有数据集ART最低；说明HV、IGD和MER提升未以额外运行时间为代价。4.3.5 PF比较：聚合30次运行解并提取全局非支配解后，MOPSO_PPHS通常获得分布更好、竞争力更强的Pareto前沿；在Brain_Tumor2、Prostate_Tumor上分布更宽，在Leukemia2、SRBCT上以更少特征达到零误差，在Colon、Liver_GSE14520_U133A上相似精度下更稀疏。4.3.6 实验结果总结：HV和IGD平均排名更好、PF更宽；MER低且子集紧凑；ART低；总体在解质量、稀疏性和效率间取得稳定权衡。4.4 消融研究：去掉全部设计平均排名最差；去PPKG下降最大（平均排名3.90），去V型为3.10，去HESS为1.75，完整方法为1.25；说明三项设计共同使用效果更好。4.5 敏感性分析：基于HV和IGD平均排名，γ=0.3和V_max=6时最佳，过大γ导致性能下降；最终采用γ=0.3、V_max=6。

讨论与结论部分总结：原文指出，先验知识获取和包裹式适应度评估带来额外计算成本，尤其特征维数或样本规模很大时；当前实现以KNN为基础分类器，采用其他分类器时性能可能变化；知识融合和环境选择中的固定设置未必对所有数据集最优。未来研究人员计划提高MOPSO_PPHS面向更大规模特征选择任务的效率，研究自适应参数设置，并将框架扩展到其他分类器和更多真实医学特征筛选场景。研究结论翻译：本研究针对高维多目标特征选择提出MOPSO_PPHS，方法结合前后验知识引导、V型转移算子和混合环境选择。先验知识用于引导稀疏初始化，进化中提取的后验知识用于引导变异；V型算子改进二进制位置更新，HESS保留选中特征更少或分类误差更低的边界解。上述设计共同帮助MOPSO_PPHS减少盲搜索、提高二值空间开发能力并保持种群多样性。20个基准数据集实验表明，MOPSO_PPHS在HV、IGD、MER和ART方面具有竞争力，说明所提方法能够获得分布良好的Pareto解集，同时保持较低分类误差和合理运行时间。然而，该方法仍有局限：先验知识获取和基于包裹的适应度评估引入额外计算成本，尤其当特征维数或样本量很大时；当前实现使用KNN作为基础分类器，采用其他分类器时性能可能变化；知识融合和环境选择中的固定设置未必对所有数据集最优。未来工作中，研究人员将进一步提高MOPSO_PPHS面向更大规模特征选择任务的效率，并计划研究自适应参数设置，将该框架扩展到其他分类器和更多真实医学特征筛选场景。