《Algorithms》：A Prior-Guided Structure-Aware Multi-Objective Differential Evolution Method for High-Dimensional Feature Selection
编辑推荐：
多目标特征选择通过同时考虑分类性能和特征子集规模，为高维数据分析提供了一种有效框架。然而，冗余特征和无关特征可能降低初始搜索分布的质量，种群聚集也可能削弱非支配特征子集的结构多样性。为解决上述问题，本文提出了PGS-MODE-FS——一种用于高维特征选择的先验
多目标特征选择通过同时考虑分类性能和特征子集规模，为高维数据分析提供了一种有效框架。然而，冗余特征和无关特征可能降低初始搜索分布的质量，种群聚集也可能削弱非支配特征子集的结构多样性。为解决上述问题，本文提出了PGS-MODE-FS——一种用于高维特征选择的先验引导与结构感知的多目标差分进化（multi-objective differential evolution, MODE）方法。具体而言，将特征–类别相关性和特征冗余整合为统一的特征重要性度量，用于指导生成具有不同稀疏度水平的候选解。相同的特征优先级信息进一步用于构建Top-k激活子空间，在该子空间中，根据个体在信息性特征上的结构差异将个体分配到多个岛屿（island），从而促进多样化进化搜索。在17个公开和生物医学数据集上的实验（包括参数分析、对比实验和消融研究）表明，PGS-MODE-FS在解集质量、分类精度、特征缩减和计算效率方面均取得了有竞争力的性能。进一步的多样性分析表明，所提出的多岛屿机制在进化过程中有效保持了结构多样性。
**高维特征选择中的先验引导与结构感知多目标差分进化方法解读**
**1. 研究背景与问题**
高维数据通常包含大量冗余、无关甚至噪声特征，而有限样本量和复杂的特征关系进一步增加了识别信息性特征的难度。这不仅加重了模型训练与搜索的计算负担，还容易导致过拟合，降低分类结果的稳定性。特征选择通过从原始特征集中选取判别能力较强的变量，为高维分类问题提供重要的降维手段，同时比特征提取方法更能保留原始特征的语义可解释性。特征选择并非单纯追求最高分类精度，已有研究表明分类误差与所选特征数量是两个典型且相互冲突的优化目标。因此，将特征选择建模为多目标优化问题更符合实际需求，能够在一次搜索过程中获得一组具有不同权衡关系的非支配解。然而，现有方法仍面临两个关键挑战：一是高维离散空间中，初始种群容易受到冗余和无关特征影响，导致初始解质量低、早期搜索效率下降；二是进化过程中种群个体易集中在局部优势区域，导致种群多样性下降和早熟收敛，削弱算法探索和保留多样化非支配解的能力。
**2. 研究内容与主要贡献**
针对上述问题，研究人员提出PGS-MODE-FS（prior-guided and structure-aware multi-objective differential evolution for feature selection），一种先验引导与结构感知的多目标差分进化高维特征选择方法。该方法首先将特征–类别相关性信息和特征冗余整合为统一的特征先验表示。在初始化阶段，利用该先验指导生成具有不同稀疏度水平和结构模式的候选解，改善初始搜索分布的质量与覆盖。在进化阶段，复用相同的先验构建Top-k激活子空间，依据个体在信息性特征上的结构差异将种群划分为多个岛屿，从而在进化过程中保持结构多样性。通过在17个公开及生物医学数据集上的参数分析、对比实验和消融研究，验证了该方法在解集质量、分类精度、特征缩减和计算效率等方面的竞争力。进一步的多样性分析表明，多岛屿机制能有效保持进化过程中的结构多样性。
**3. 关键技术与方法概述**
研究人员主要采用了以下关键技术方法：首先，利用互信息（mutual information, MI）度量特征与类别相关性，利用Pearson相关系数计算特征间冗余度，并将两者归一化后加权整合为综合重要性指标。其次，基于该指标构建二维特征重要性空间，通过象限划分和频次竞争规则实施先验引导的象限初始化，生成规模为5N的候选种群，再经环境选择形成主种群。再次，在进化阶段，依据综合重要性选取Top-k激活特征构成子空间，以归一化汉明距离度量个体结构差异，并通过阈值划分岛屿；岛屿内部采用两种二进制差分变异策略（DE/rand/1/bin和DE/current-to-best/1/bin）及逐位二进制交叉生成后代，每20代执行岛屿间迁移和多样性注入。评价指标包括反向世代距离（inverted generational distance, IGD）、超体积（hypervolume, HV）和最小分类误差率（minimum classification error rate, MCER）。实验基于17个公开和生物医学数据集，其中包含ST000385、ST000419、GQDL和Leukemia等典型生物医学高维数据。
**4. 主要结果与分析**
**4.1 参数分析**
在Leukemia、ST000385、LSVT、Isolet和WBCD五个代表性数据集上，对权重系数、Top-k激活比率和汉明距离阈值进行了敏感性分析。结果表明，方法对参数变化总体稳定。综合HV、IGD和MCER的平均秩准则，最终确定权重系数为(0.70, 0.30)，Top-k比率为0.50，汉明距离阈值为0.60。
**4.2 对比实验**
将PGS-MODE-FS与FPPFS、LMSSS、MOPSO-ASFS、NSGA-II、MODE_FDGM和DMBDE六种代表性方法在17个数据集上进行比较。PGS-MODE-FS在HV和IGD上均获得最优平均秩（1.8824），在MCER上平均秩为2.7647，同样排名第一。帕累托前沿分布显示，该方法能够生成分布良好的非支配解集，提供分类误差和特征子集规模间的多样化权衡。运行时间方面，其平均耗时低于FPPFS、MOPSO-ASFS、MODE_FDGM和DMBDE，与NSGA-II相当。在剔除6个低维数据集后的11个高维数据集上，PGS-MODE-FS仍保持HV和IGD的最佳平均秩。
**4.3 统计分析**
通过单数据集层面的Mann–Whitney U检验和Holm校正，以及跨数据集的Friedman检验和Wilcoxon符号秩后验比较，结果显示：PGS-MODE-FS在HV和IGD上显著优于FPPFS、MOPSO-ASFS、NSGA-II和MODE_FDGM；在MCER上显著优于MOPSO-ASFS和NSGA-II。与LMSSS和DMBDE的差异在HV和IGD上未达到统计显著。
**4.4 消融研究**
设计RI-MODE-FS（随机初始化）和SP-MODE-FS（无多岛屿机制）两个变体。完整PGS-MODE-FS在HV、IGD和MCER上均获得最优平均秩，表明先验引导象限初始化和结构感知多岛屿进化均对性能提升有正向贡献，且两者互补而非简单叠加。
**4.5 进一步分析**
在计算扩展性方面，采用采样锚点近似计算Pearson冗余矩阵，在10000维特征上将冗余估计时间从2.849秒降至0.243秒，同时与精确排序的Spearman相关系数达0.9728。种群多样性分析显示，在Arcene、Leukemia和Prostate_GE上，PGS-MODE-FS的激活子空间多样性显著高于SP-MODE-FS，归一化多样性AUC分别提升约37.5%、42.9%和20.1%，证明多岛屿机制有效缓解了种群聚集。
**5. 讨论与结论**
讨论部分指出，精确的逐对Pearson冗余计算的时间与内存开销随特征维度呈二次增长，可能限制其在更高维数据上的直接应用。采用采样锚点近似可显著降低冗余估计成本，同时保持与精确排序的高度一致，但100000维实验仅评估了冗余估计阶段而非完整进化流程。未来工作将研究更可扩展的冗余估计策略、面向超超高维数据的端到端验证以及进化参数的自适应控制。
研究结论为：本工作提出的PGS-MODE-FS方法用于解决高维多目标特征选择中初始解质量低下和种群聚集问题。该方法采用统一的特征重要性表示来指导候选种群构建和结构感知多岛屿进化。在17个公开和生物医学数据集上的实验表明，其在解集质量、分类性能、特征缩减和计算成本方面具有竞争力的总体表现。此外，分层维度分析显示，在剔除六个低维数据集后，PGS-MODE-FS在HV和IGD上仍保持最佳平均秩，进一步支持了其在较大特征空间数据集上的多目标搜索能力。种群多样性分析还表明，与单种群变体相比，PGS-MODE-FS在Arcene、Leukemia和Prostate_GE上保持了更高的激活子空间多样性。同时，岛屿内与岛屿间距离的分离现象进一步支持了岛屿划分在保持结构多样性方面的作用。但精确冗余估计的二次复杂度是一个计算局限，未来需进一步改进。
