《PLOS Computational Biology》：A benchmarking study of feature screening approaches across type 1 diabetes omics studies classification settings
编辑推荐：
近年来，高维组学分析在探究复杂生物系统中变得日益普遍。通常，这些研究试图识别与特定生物过程相关的关键生物分子。机器学习（ML）常被用于识别这些生物分子，通常通过学习哪些生物分子对治疗、生物结局或表型具有高度预测性。将ML应用于高通量组学的主要挑战是在样本量有限
近年来，高维组学分析在探究复杂生物系统中变得日益普遍。通常，这些研究试图识别与特定生物过程相关的关键生物分子。机器学习（ML）常被用于识别这些生物分子，通常通过学习哪些生物分子对治疗、生物结局或表型具有高度预测性。将ML应用于高通量组学的主要挑战是在样本量有限且相对于数万个测量的生物分子不平衡时克服噪声。因此，特征选择（减少预测变量数量的过程）在ML分析流程中既是关键也是常见步骤。尽管在组学领域，特征选择的嵌入和包装技术受到了广泛关注，但基于滤波器的无模型特征选择方法具有吸引人的理论特性。本手稿评估了确保筛选（Sure Screening）——一类提供真实特征集保留分析保证的滤波器特征选择方法。研究人员综述了基于确保筛选原理的现有特征筛选方法、可用软件、改进特征筛选的方法，并将特征筛选置于组学数据分析中特征选择的更广泛讨论中。此外，研究人员在ML分类背景下，对多种无模型确保筛选方法在几个组学生物医学应用中进行了应用和比较。研究人员识别出BcorSIS是跨多种组学数据集最有效且计算效率最高的筛选方法，在运行时间上始终优于CSIS和DCSIS等其他方法。
**论文解读：特征筛选方法在1型糖尿病组学研究分类中的基准测试**
**研究背景与问题**
高通量组学技术（如转录组学、蛋白质组学、代谢组学）能够同时测量数千至数万个生物分子，为复杂生物系统（如1型糖尿病（T1D））的研究提供了丰富数据。然而，这些研究通常面临样本量有限（常为几十至几百例）且与特征维度严重不成比例的问题，导致大量测量噪音。机器学习（ML）模型被广泛用于识别与疾病表型高度相关的关键生物标志物，但特征数量远大于样本量时，模型容易过拟合，且计算成本高昂。特征选择（Feature Selection）作为ML分析流程中的关键步骤，旨在减少非信息性特征，提升模型性能与可解释性。现有特征选择方法主要分为三类：滤波器（Filter）、包装器（Wrapper）和嵌入器（Embedder）。尽管包装器和嵌入器在组学领域受到较多关注，但滤波器方法（尤其是基于模型无关的关联度量）具有计算高效、理论保证等优势。然而，传统的滤波器方法（如t检验、信息增益）往往对数据生成机制做出严格假设，缺乏特征保留的解析保证。确保筛选（Sure Screening）是一类具有“确保筛选属性”（即所有重要变量以趋于1的概率被保留）的滤波器方法，其理论特性在超高维场景下尤为突出。但现有综述多聚焦于理论，缺乏从组学应用角度对不同确保筛选方法的系统性比较和软件可用性评估。因此，本研究旨在对多种确保筛选方法进行基准测试，评估其在T1D相关组学数据分类中的实际效能，为实践者提供实用指南。
**研究人员开展的研究与结论**
研究人员首先系统综述了基于确保筛选原理的现有方法，包括其假设、软件实现及改进策略。随后，在模拟数据和多个真实组学数据集（来源于T1D研究）上，对七种无模型确保筛选方法（BcorSIS、CAS、CSIS、DCSIS、PSIS、SIRS、WLS）进行了性能比较。研究采用线性支持向量机（SVM）、弹性网惩罚逻辑回归和随机森林三种分类模型，以ROC曲线下面积（AUC）和计算时间为评估指标，并引入了交叉验证（CV）筛选策略以减轻过拟合。结论表明：BcorSIS在跨数据集时表现最优，兼具高效性与计算效率；CSIS和DCSIS性能接近但运行时间最长；CAS则普遍表现不佳，甚至低于未筛选的全特征模型。该研究发表于《PLOS Computational Biology》。
**关键技术与方法**
研究人员采用的主要技术方法包括：（1）七种无模型确保筛选方法：BcorSIS（基于距离相关系数确保筛选）、CSIS（基于Cox模型的确保独立筛选）、DCSIS（基于距离相关性的确保独立筛选）、PSIS（基于投影的确保独立筛选）、SIRS（基于筛选重要性排序的筛选）、WLS（基于加权最小二乘的筛选）和CAS（基于相关性的自适应筛选）。所有方法均需满足开源且R语言实现的要求。（2）交叉验证（CV）筛选策略：在训练集内进行k折交叉验证，重复100次后选取在多数折中出现的特征，以提升泛化性。（3）机器学习模型：线性SVM、弹性网逻辑回归和随机森林。（4）性能评估：ROC AUC和计算时间（秒/1000特征）。样本队列来源：CNMC（尿液代谢组学，32对兄弟姐妹，91个代谢物及其比值扩展至4095个特征）、HIRN（人类胰岛研究网络，24例新发T1D与24例对照，A3SS和RI剪接事件分别含6618和4078个特征）、TEDDY（环境决定因素，221个病例对照对，142个血浆代谢物）。
**研究结果**
**模拟数据结果**
研究人员模拟了1000和2000个特征的数据，其中少量为重要特征（有相关性），其余为无关噪音。随着样本量增加（10、25、50、100），所有筛选方法对重要特征集的恢复能力（真阳性率）均提升，符合确保筛选的渐近性。CSIS和DCSIS运行时间显著长于其他方法，而BcorSIS在恢复准确性和效率间取得平衡。交叉验证与普通筛选在模拟数据中差异不大。
**CNMC尿液代谢组学结果**
基于CNMC原始91个代谢物及其比值扩展集（CNMC_R，4095个特征），线性SVM从特征筛选获益最大，测试集AUC随保留特征减少而提升。随机森林对筛选不敏感，弹性网逻辑回归在较大特征集（CNMC_R）中获益。交叉验证降低了训练集过拟合，但测试集性能与普通筛选相近。BcorSIS、CSIS、DCSIS在较小保留特征比例下仍保持较高AUC。
**HIRN选择性剪接数据结果**
在A3SS（6618特征）和RI（4078特征）数据集中，CAS方法表现最差，尤其当保留特征很少时AUC显著下降，表明其过早剔除了重要特征。其他方法（除WLS和PSIS在极端小特征集时稍差）性能相近，整体上筛选未显著提升AUC，这与A3SS信号弱而RI信号强的先验知识一致。
**TEDDY血浆代谢组学结果**
在142个特征的较大样本（441例）数据中，逻辑回归和SVM从筛选获益最多，AUC随保留特征减少而大幅提升。随机森林在多数筛选方法下亦保持性能，仅当特征减少至接近0时下降。交叉验证同样延迟了训练集AUC峰值，但测试集性能与普通筛选一致。
**整体性能比较**
通过高斯过程回归拟合各方法在全部真实数据集上的平均AUC轨迹，发现BcorSIS、CSIS、DCSIS在保留特征比例降至10%时仍优于全特征模型，且BcorSIS计算时间最短。CAS则普遍低于无筛选基线。变量重要性相关分析显示，高性能方法间相关性较高，而CAS与其他方法相关度低，进一步证实其筛选出的特征集预测性较差。
**讨论与结论**
研究讨论部分指出，当特征集庞大且高级特征选择方法计算不可行时，应优先考虑多阶段筛选策略（先筛选再采用更复杂方法）。交叉验证筛选可有效降低过拟合，适用于任何筛选指标。综合来看，BcorSIS、CSIS和DCSIS在各类组学数据中表现稳健，但CSIS和DCSIS运行时间更长，因此BcorSIS推荐作为通用选择。CAS则不建议使用，因其常导致预测性能下降。研究局限性包括：未提供多阶段迭代筛选的实证数据，未涉及FDR控制（该领域新概念），未深入探讨缺失数据影响（在蛋白质组学中常见），以及确保筛选的渐近性在有限样本下的适用性。随着技术发展，样本量增加将使筛选方法更具可行性。结论部分翻译如下：
**结论**
在选择特征选择策略时，通常需要考虑诸多因素。因此，本文的主要目标是向那些对筛选方法感兴趣、且希望其假设比组学领域常见滤波器更为宽松的实践者提供信息和工具。存在若干应考虑使用特征筛选的情景。主要用例是当特征集过于庞大，无法将完整特征集传递给更复杂的特征选择方法时。在这种情况下，实践者应考虑采用特征筛选文献中常见的多阶段策略，即在将缩减后的特征集传递给更复杂的方法之前，先进行一轮特征筛选。然而，如果分析时间线需要加快，特征筛选可用作一步式特征选择程序，它至少能减少特征集和建模任务的运行时间，同时保持与全特征集相当的性能。尽管某些包装器（如ROFI）和嵌入器（如LASSO）具有减少训练集过拟合的方法，但本文展示并研究了一种简单的交叉验证策略，该策略也可减少任何筛选指标的过拟合。这可以作为初始筛选策略，以显著降低第二阶段策略（如ROFI）的计算时间。虽然本文的结果显示性能因数据应用而异，但在组学数据的确保独立筛选方面，研究人员识别出三种方法在数据集上始终表现优异：BcorSIS、DCSIS和CSIS。然而，CSIS和DCSIS的运行时间远长于BcorSIS，这表明BcorSIS可能适合通用场景。此外，CAS在这些应用中始终表现不佳，通常产生的模型预测性能低于在完整特征集上训练的模型。总体而言，分析应针对具体情境量身定制。研究人员建议实践者将任何筛选方法（或更大范围的特征选择方法）与当前的分析问题相结合。为辅助这一工作，表1提供了每种无模型筛选方法的关键属性和可用软件，以及相关引用供有兴趣进一步研究的人参考。所有在R中可用的方法均可在综合R档案网络（CRAN）中找到，并提供了Python可用软件的链接。与任何方法的综述和广泛应用一样，本研究存在局限性。首先，未提供关于单个筛选方法通常提出的改进性多阶段迭代程序的数据驱动见解。这与FDR控制的思想紧密相关，FDR控制在该领域是一个相对较新的概念，在真实数据应用中也未涉及。然而，随着该领域的发展，预计将有更多用于FDR驱动筛选方法的软件出现，这为未来研究提供了有趣的方向。此外，缺失数据是某些组学应用（特别是蛋白质组学）中的常见问题。虽然真实数据应用中的缺失数据很少，但已有一些关于缺失数据及插补对确保筛选程序影响的研究。对于特别关注鸟枪法蛋白质组学的研究人员，需要进一步研究。最后，理论结果（在模拟中得到了证实）表明，确保筛选特性随样本量渐近。现代组学分析通常样本有限，但随着技术（如多重化）提高高通量组学的样本量，特征筛选将成为一个日益可行的选择。总体而言，本手稿旨在为实践者提供更复杂的特征筛选方法知识，使他们能够更好地处理组学数据分析中的特征选择问题。
