《Frontiers in Psychology》：Comparing the use of supervised machine learning variable selection methods in the context of two-group classification in the psychological and health sciences
编辑推荐：
摘要
引言：变量选择（Variable Selection, VS）对于构建准确且可泛化的分类模型至关重要。减少所需变量数目能够提升模型效率、可解释性和泛化能力，同时降低数据收集负担。尽管已有多种变量选择方法，但它们在机器学习分类框架内的比较性能仍不明确。
摘要
引言：变量选择（Variable Selection, VS）对于构建准确且可泛化的分类模型至关重要。减少所需变量数目能够提升模型效率、可解释性和泛化能力，同时降低数据收集负担。尽管已有多种变量选择方法，但它们在机器学习分类框架内的比较性能仍不明确。
方法：本研究开展了一项大规模蒙特卡洛模拟，以比较来自不同方法族的变量选择方法：正则化技术（LASSO、弹性网）、基于树的方法（基于随机森林的Boruta包装器）、惩罚支持向量机以及元启发式方法（遗传算法）。一项基于酒精使用障碍数据集的实证示例阐释了比较结果。补充模拟评估了另外四种过滤方法，在分层10折交叉验证下重新估计性能，并通过训练-测试性能差距量化过拟合程度。
结果：在主模拟中，遗传算法展现了最强的总体分类准确率，而LASSO在性能损失最小的情况下提供了最简约的解。三种表现最优的方法（GA、LASSO、弹性网）均显著减少了饱和模型中的变量数量。补充分析与主模拟结果一致。
讨论：这些发现突显了机器学习变量选择方法在心理学研究中的实用价值，展示了如何在准确性、可解释性和可扩展性之间取得平衡。研究结果为研究者根据其对模型性能与简约性的优先级，在相互竞争的变量选择方法中做出选择提供了指导。
论文解读
一、研究背景与问题
随着行为科学领域数据规模的快速增长，心理与健康科学研究中常面临高维预测变量与较大样本量并存的情形。将所有可能预测变量纳入模型不仅低效、非简约，且在某些情况下不可行。变量选择（Variable Selection, VS）因此在提升研究结果的可重复性和泛化性方面发挥着关键作用。传统的变量选择方法，如前向、后向及逐步回归，往往不能有效区分信号与噪声，低估p值，并阻碍结果复制，从而导致模型过拟合和结论可信度问题。二组分类在行为科学中十分常见，例如在临床情境中模型用于识别存在心理健康障碍风险的个体。尽管已有多种针对分类情境的变量选择方法，但以往研究多数局限于同一方法族内部的比较（如正则化方法之间或树方法之间），跨方法族的系统评估相对缺乏。鉴于心理与健康数据复杂性的日益增加，跨家族评估对于指导方法选择至关重要。本研究旨在为心理与健康科学领域的应用研究者提供来自不同方法族——正则化（嵌入式）、基于树（包装器）和元启发式——的监督式机器学习变量选择方法在二组分类中头对头的直接比较证据，并刻画其性能如何依赖于样本量、预测变量数、类别流行率和噪声等数据特征。
二、研究设计与主要方法
研究人员开展了一项大规模蒙特卡洛模拟研究，比较了五种变量选择方法：遗传算法（Genetic Algorithm, GA）、LASSO、弹性网（Elastic Net, EN）、弹性支持向量机（elastic SVM, eSVM）以及基于随机森林的Boruta包装器。模拟数据生成操纵了五个关键特征：预测变量类型（连续或二分）、流行率（0.20、0.25、0.30、0.40）、预测变量数（10、50、100）、样本量（50、200、500、1000）以及信噪比（无噪声、半数噪声、等量噪声）。主模拟共产生288个独特条件，每个条件重复1000次。模型在70%训练集上拟合，并在剩余30%测试集上评估，采用单一分层保留分割。补充模拟使用分层10折交叉验证重新评估，加入四种过滤方法（互信息、方差阈值、皮尔逊相关、卡方筛选），并计算训练-测试差距以量化过拟合。分类性能通过预测错误率（PER）、曲线下面积（AUC）、Cohen's kappa、灵敏度、特异性和F1分数六个指标衡量，同时记录所选变量比例和假阳性率（FPR）。实证示例使用一个包含919名本科生的既有酒精使用障碍（AUD）数据集，完整案例分析后样本量为815，包含86个AUD症状指标变量和1个DSM-5中度或以上AUD诊断二分变量，所有方法在分层10折交叉验证下评估。效应量通过方差分析（ANOVA）计算部分η2，仅报告≥0.06的中等及以上效应。
三、主要结果
**数据特征的影响：** 流行率是唯一有影响力的主效应。较高流行率（更平衡的类别）导致较高的预测错误率（η2=0.27）、较低的灵敏度（η2=0.11）和较低的F1分数（η2=0.33）。这表明许多机器学习模型隐式优化多数类性能，在类别分布偏斜时表现更好。
**方法选择对分类性能的影响：** 预测变量数影响Boruta、GA和eSVM的PER：Boruta的PER随预测变量增加而略升，GA和eSVM的PER则下降，其中GA降幅最大。样本量对所有方法的PER均有影响，但GA在所有预测变量数和样本量下的平均PER均低于其他方法。AUC仅受方法影响（η2=0.30），GA的平均AUC最高，Boruta次之，但Boruta变异性最大。F1分数上，当p < n时GA表现更佳，而其他方法在p < n时略差。Kappa方面，预测变量数对GA影响最大，样本量对所有方法有影响，但GA仍保持最高平均Kappa。灵敏度受样本量影响，GA的灵敏度随样本量增加而下降；特异性上GA平均最高，EN和LASSO最低。
**方法选择对变量选择性能的影响：** 预测变量数增加时，所有方法所选变量比例下降，LASSO和EN降幅最强。样本量增加时，除GA外各方法所选变量增多，Boruta受样本量影响最大。噪声变量比例增加时，所有方法所选变量减少，对GA影响最弱，对Boruta最强。当p < n时所有方法选择更少变量，Boruta受影响最大。假阳性率随噪声比例增加而上升，GA和eSVM增幅最强，Boruta最弱。
**分层10折交叉验证下的稳健性：** 交叉验证后，方法对AUC的影响从大效应（η2=0.30）降至小效应（η2=0.03），方法间差距缩小。样本量成为PER、AUC、Kappa和特异性的最强预测因子，流行率对灵敏度最重要，预测变量类型对F1最重要。连续预测变量下所有方法表现更好，LASSO在PER、AUC、Kappa、特异性和F1上最优，但eSVM、EN、GA和卡方过滤在灵敏度上略优于LASSO。
**过度拟合分析：** Boruta训练-测试差距最小（AUC差0.06），GA差距最大（AUC差0.15），表明GA更易过拟合训练数据。
**过滤方法：** 过滤方法在AUC上具有竞争力（均接近0.79），计算成本极低，但因固定保留一半预测变量而不够简约。它们适合作为廉价的第一阶段筛选工具。
**简约性-准确性权衡：** LASSO、EN和Boruta的AUC随简约性增加呈温和单调下降，eSVM在中等简约性时保持稳定，GA在简约性超过0.6时出现伪影上升（样条模型假象，GA最大简约性仅0.64）。
**实证示例（酒精使用障碍数据）：** 所有方法在分层10折交叉验证下均表现良好。LASSO选择变量最少（平均50个），测试PER=0.08、AUC=0.96、kappa=0.80、F1=0.86；Boruta（平均68.1个变量）和GA（平均56个变量）性能接近。过滤方法的测试AUC约0.96-0.97，与正则化和元启发式方法相当，但计算时间仅为极小部分。方差阈值过滤器在实证中AUC最高，与模拟结果略有不一致。变量选择方面，15个变量被所有方法选中，15个变量被除一个方法外的所有方法选中，5个变量仅被一种方法选中。基于共识方法构建的15项量表Cronbach's α=0.849，可接受；Boruta的71项量表α=0.952，接近全86项量表的α=0.955。共识量表的15项涵盖DSM-5 11个诊断标准中的7个。
**实证示例中的过拟合：** 过滤方法在AUC、Kappa和F1上的训练-测试差异最小，eSVM差异最大，表明其最易过拟合。
四、结论与讨论
本研究通过大规模蒙特卡洛模拟和酒精使用障碍实证数据，全面比较了心理科学中常用于二组分类的监督式机器学习变量选择方法。遗传算法在单一保留分割下表现出最强的分类性能（最低PER、最高F1和kappa），但在交叉验证下其优势缩小，且训练-测试差距最大，表明其优势部分源于对训练样本的紧密拟合。LASSO和弹性网提供了高度可解释且变量集最小的模型，LASSO选择变量最少、速度快、性能强，适合追求简约和可解释性的研究者。Boruta在分类性能和变量减少之间取得良好平衡，且过拟合最小。弹性SVM在所有指标上表现不佳且计算时间长，不推荐使用。过滤方法虽不够简约，但作为廉价的第一阶段筛选工具具有实用价值。
研究结论：变量选择方法，尤其是GA、LASSO和EN，能够匹配或超越全变量模型的性能，同时在可解释性和效率方面提供关键优势。补充分析表明，交叉验证下领先方法依然强劲，族间差异缩小，结果感知的过滤方法以最低成本具有竞争力，训练-测试差距阐明更简约的方法泛化时乐观偏差最小。采用这些方法有望提升心理学研究的可重复性和模型泛化能力。未来研究应继续探索元启发式方法与混合模型的整合、缺失数据处理以及贝叶斯变量选择框架的适用性。对于样本量有限且需要高分类准确率的研究者，可根据模型复杂度容忍度考虑LASSO或GA；面临计算约束时可选EN或Boruta，或以过滤方法作为初步筛选；当减少变量数量为首要目标时，LASSO是首选；若预测变量高度相关，EN凭借其双惩罚结构可能更优。研究建议基于交叉验证估计进行方法选择，并常规报告训练-测试差距以直接检查过拟合风险。
