基于数据集级元特征的特征选择组合搜索效用预测（Feature-Selection Portfolio Search Utility Prediction）

《Machine Learning with Applications》：Predicting the dataset-level utility of feature-selection portfolio search

　　

特征选择（Feature Selection, FS）能够提升预测性能，然而在众多选择器、子集大小与分类器之间进行组合搜索会带来可观的计算成本。本研究预测在启用FS的组合（portfolio）中，最佳组合相对于最佳全特征分类器在数据集层面上的AUC增益。在预测样本所包含的99个数据集中，51个展现出任意正向增益，5个获得至少0.04绝对AUC点的增益。采用类别加权随机森林（Random Forest），使用5个基本描述符与21个Problexity度量，在留一数据集交叉验证（LOOCV）下，对任意正向增益的AUROC达到0.722，对至少0.04增益的AUROC达到0.708。匹配的随机子集搜索与外层折检验为搜索效用提供了互补证据。SHAP分析识别出邻域结构、特征重叠与数据集规模为具有影响力的预测因子。这些结果支持在数据集层面优先开展FS组合搜索，并指明了增强其预测精度的方向。

论文解读

一、研究背景与问题

特征选择是机器学习工作流设计中的关键任务。实践者既可以选择使用全部可用变量训练模型，也可以扩展搜索范围，纳入一个或多个特征选择算法（即选择器），尝试不同的特征子集大小与下游学习器。后一种策略能够移除无关或冗余变量并改善预测性能，但同时会显著扩大流水线搜索空间。这种更广泛的搜索增加了仅凭偶然选出表面上更优流水线的风险，并且在跨多个候选进行正式比较时，会产生多重检验负担，可能需要严格校正并降低统计功效。因此，实践中的决策不仅是选择哪个选择器，更首先在于是否值得开启这一额外的搜索分支。

这一决策因FS收益的高度数据集依赖性而变得更加复杂。大规模基准测试未发现普遍最优的选择器，并报告了跨数据集、分类器与评估协议的巨大差异。一些研究表明，精心选择的子集在高维设置中可能无法超越小型随机子集；某些无监督选择器的表现也不优于随机选择；更直接的是，近期元分析强调，超越其他FS基线并不必然意味着超越原始全特征表示。这些发现共同挑战了“FS搜索将改善最终预测流水线”的默认假设。

针对数据集依赖性的主要应对是算法推荐。元学习系统通过元特征描述数据集并推荐预期表现最佳的选择器。然而，这些方法通常在更基本的决策——即FS搜索是否值得执行——已经做出之后才介入。Post等人（2016）首次以彻底的实证方式处理效用问题，询问FS是否会改善给定数据集—分类器组合，其随机森林元模型在结合数据集描述符、分类器特征与性能探针后达到0.773的AUROC。本研究将效用预测扩展至更前置的操作决策：是否开启完整的FS搜索分支。

二、研究内容与意义

本研究评估一个包含37种特征选择算法、5种子集大小与5种下游分类器的FS组合。研究在99个具有描述符记录的数据集上预测该组合的效用，使用5个基本描述符与21个Problexity度量表示每个数据集，并将效用定义为最佳FS流水线相对于最佳全特征分类器的增益。研究并行于Post等人的框架，预测任意正向增益，并以τ=0.04作为主要实质性增益阈值，同时以τ=0.05作为更严格的敏感性分析。该表述为每个数据集产生一个结果。

主要评估采用类别加权随机森林与留一数据集交叉验证，使每个合格数据集获得一个留出分数。研究还考察了一种概念上不同的一类方法：仅对FS增益可忽略的数据集拟合PCA，将可能受益于FS的数据集视为结构异常。这一替代方案探讨在训练中没有任何正例的情况下是否仍能实现有用的排序。

实证研究产生三项主要发现：99个建模数据集中51个（52%）存在任意正向组合增益；5个数据集获得至少0.04绝对AUC点增益，4个获得至少0.05点增益。对Post等人（2016）公开运行结果的重分析发现，在394个数据集中，达到这些阈值的组合级增益分别仅为11个（2.8%）与8个（2.0%）。主要随机森林在任意增益下达到LOOCV AUROC 0.722，在τ=0.04时为0.708；替代学习器在τ=0.04时范围为0.654至0.768。最后，留出特征归因识别出邻域结构、样本量与特征重叠为突出的贡献因子。

三、关键技术方法

研究采用以下主要技术方法：其一，组合效用定义，将FS效用形式化为最佳FS流水线与最佳全特征流水线在AUC上的差值，并设定τ=0.04与τ=0.05两个增益阈值；其二，数据集表示，结合5个基本元特征（样本量N、维度P、对数变换及二分类指示符）与21个Problexity复杂度度量，涵盖特征重叠、线性度、邻域结构、网络拓扑、维度与类别不平衡；其三，预测模型，主要使用类别加权随机森林进行LOOCV评估，并辅以逻辑回归、线性与RBF支持向量机及XGBoost作为学习器敏感性分析；其四，一类PCA异常检测，仅以负例训练并利用重构误差作为排序分数；其五，弱监督分析，利用中间增益数据集训练以识别实质性增益数据集；其六，匹配随机子集搜索与外层折验证，使用17种计算高效的FS算法，通过25个随机子集组合比较验证实质性增益的可靠性；其七，TreeSHAP特征归因与消融分析，评估各描述符对预测排名的贡献。样本来源为99个基准数据集，涵盖多个应用领域与来源集合。

四、研究结果

4.1 正向增益常见但实质性增益罕见。 99个建模数据集中，51个（52.0%）具有严格正向增益，与Post等人报告的41%数据集—分类器组合正向增益率大致相当。5个数据集达到0.04绝对AUC点的主要阈值（占5.1%），4个达到0.05（占4.1%）。实质性增益即使在广泛FS搜索后仍仅识别出基准中的一小部分。

4.2 主要留一数据集预测。 类别加权随机森林为每个数据集分配一个留出分数。任意增益下LOOCV AUROC为0.722（95%分层自助区间0.617–0.822）；τ=0.04时为0.708（5个正例，区间0.568–0.841）；τ=0.05时为0.690（4个正例，区间0.444–0.926）。阈值路径在0.02处达到峰值，此时12个数据集为正例，AUROC为0.804。五种学习器在τ=0.04时AUROC范围为0.654至0.768，逻辑回归排名第一（0.768）；在τ=0.05时范围为0.439至0.854，XGBoost排名第一（0.854）。

4.3 匹配随机子集搜索与外层折验证。 匹配随机子集比较在原始折上对等宽度的采样特征集搜索进行测量。在匹配搜索协议下，缩减FS组合在CNS、ALLAML与Prostate-GE上超过随机增益中位数。PeriodChanger几乎持平：其37方法全组合增益为0.193，17方法增益为0.127，随机子集增益中位数为0.129。Madelon的外层FS增益为+0.050，随机为?0.265。外层折FS增益在PeriodChanger、ALLAML与Prostate-GE上小于匹配17-FS增益，而CNS保持+0.168。

4.4 一类效用预测。 PCA重构误差提供第二种排序途径。在τ=0.04时，5+5平衡测试产生中位AUROC 0.640（IQR 0.180）；在τ=0.05时，4+4评估产生中位AUROC 0.625（IQR 0.219）。这些结果提供了无需正例训练样本的排序信号。

4.5 中间增益监督。 中间增益数据集可为更强增益提供监督排序信息。在τ=0.04时，每个重复以11个中间增益与11个采样负例训练，测试中位AUROC为0.750（IQR 0.120）；在τ=0.05时，12+12训练与4+4测试产生中位AUROC 0.750（IQR 0.250）。

4.6 特征归因。 TreeSHAP分析中，最大的个体平均绝对贡献为留一最近邻误差（n₃，0.0229）、倒置Fisher分离度（f₁，0.0220）、样本量（N，0.0197；logN，0.0197）与类别交织度（n₁，0.0181）。较高的n₃与n₁值及较小的N值倾向于提高实质性FS增益的预测概率。消融测试显示，仅用N、logN、P与t₂四个描述符在τ=0.04时仅达到AUROC 0.590，而全部26个描述符为0.708。

4.7 应用领域控制分析。 在相同LOOCV协议下，描述符单独产生AUROC 0.708，描述符加领域与来源指示符产生0.712，配对增量仅0.004（95%区间?0.037至0.041）。指示符单独产生AUROC 0.099，表明主要排序信息位于描述符表示中。

五、讨论与结论

组合效用展现出可学习的数据集级信号：随机森林LOOCV AUROC在任意增益下为0.722，在0.04时为0.708，学习器面板在0.04时跨度为0.654–0.768。这些数值将结构预测器置于Post等人报告的0.704–0.773 AUROC范围附近。分析锚定于特定的37选择器组合、5种分类器与特征预算K∈{1,5,10,30,60}。五个实质性增益数据集决定了稀有增益估计的精度，更广泛的收集与额外的独立增益案例将锐化决策边界。归因结果指向具体的下一步：更完整地表示邻域混合、重叠、冗余与选择稳定性，然后在独立组装的数据集上前瞻性测试所得预测器。将预期AUC增益与搜索成本相结合，可将组合级排序转化为FS模型开发的资源分配规则。

研究结论： 在99个建模数据集中，51个展现出正向组合增益，5个获得至少0.04 AUC点增益，4个获得至少0.05点增益。任意增益与四点增益之间的差距对于决定是否开启广泛FS搜索的实践者具有重要意义。组合效用具有可学习的数据集级信号，当前估计支持优先化研究，并激励更大、更多样化的数据收集以实现精确的操作阈值。