基于高维数据的生态学与进化中的可解释与预测模型

《Molecular Ecology Resources》：Interpretable and Predictive Models Based on High-Dimensional Data in Ecology and Evolution

　　

生态学和进化生物学中高维数据的激增带来了高度可预测且可解释的统计和机器学习模型的前景。然而，高维数据通常固有权衡：随着模型中包含更多变量，结果变量的样本内预测会改善，但这可能以牺牲未来或未采样观测（样本外预测）的预测准确性和有限泛化能力为代价。为了应对过拟合问题，稀疏模型可以通过正确地将低权重赋予不重要变量来聚焦于关键变量。研究人员比较了九种方法，使用具有不同样本量、变量数量和效应强度的模拟数据，量化它们在变量选择和预测中的表现。对于许多方法和模拟情景，过拟合是典型的。尽管如此，对于具有更多观测、更大因果效应和更少变量的模拟，样本内和样本外预测收敛到了真实的预测目标。对于生态学和进化生物学中许多现实采样方案，支持基于过程理解的准确变量选择将无法实现。研究人员利用这些分析来刻画统计学习可能实现的数据属性，并说明一些稀疏方法如何在减轻和了解过拟合程度的同时实现预测准确性。

**基于高维数据的生态学与进化中的可解释与预测模型——论文解读**

生态学和进化生物学研究日益依赖高通量和自动化采样技术，如水或空气采样、卫星图像、DNA测序和GPS遥测，产生了大量高维数据（即观测数N和/或预测变量数P都很大）。这些数据有望提升模型对复杂系统的理解和预测能力，但同时也带来分析挑战。当协变量数P远大于观测数N时，模型容易过拟合（overfitting），即把观测数据中的特异变异误认为因果关联，导致模型对未采样或未来观测的预测能力下降，即泛化性差。传统做法常通过预先限制变量数量或使用模型平均来应对，但本文研究人员希望考察允许模型面对所有可用数据的稀疏建模（sparse modelling）方法。稀疏建模假设大多数变量与响应无因果关系，仅对少数变量产生非零估计，从而可能减轻过拟合并提高可解释性。然而，稀疏方法在高维数据下能否同时实现准确的变量选择和良好的预测性能，仍是未解问题。

为此，研究人员设计了完全交叉的模拟实验，比较九种统计学习方法在已知因果关系的模拟数据上的表现。模拟数据涵盖36个核心场景（每种100个重复），系统变化观测数（N=50、150、500）、变量数（P=100、1000、10000、100000）以及10个因果变量的效应量（β_causal=0.1、0.3、0.8），并额外测试了N=1000和10000的场景。九种方法包括：基于最大似然的惩罚回归（Ridge、Elastic Net、LASSO）、贝叶斯估计方法（Bayesian LASSO [BLASSO]、Horseshoe、Spike-and-slab、Sum of Single Effects [SuSiE]、Bayesian Sparse Linear Mixed Model [BSLMM]），以及机器学习方法随机森林（Random Forest）。所有分析使用R软件及相应程序包的默认参数，通过Nextflow工作流在计算集群上执行。研究评估了参数估计（root mean square error, RMSE）、变量选择（真阳性率、真阴性率、F1分数、后验包含概率）、样本内和样本外预测（R²）以及运行时间。

主要研究结果如下：

**模型性能差异巨大**：以N=150、P=10000、β_causal=0.8的示例数据为例，LASSO（monomvn实现）在区分因果与非因果变量上表现最好（真阳性率TPR=0.9，真阴性率TNR=0.997），其样本外预测R²=0.754，接近最大可降误差（0.832）。随机森林虽然识别出所有因果变量（TPR=1），但将大量非因果变量误判为相关（TNR=0.118），样本外R²仅0.332，出现欠拟合（underfitting）。BSLMM能较好排除非因果变量（TNR=0.965），但只识别出6个因果变量（TPR=0.6），样本内R²=0.970远超可降误差，而样本外R²=0.617，表明过拟合。

**过拟合普遍存在**：在所有模拟场景中，许多方法的样本内R²很高而样本外R²较低。样本内和样本外预测只有在β_causal大、N大、P小时才收敛于真实可降误差。样本外预测性能与变量选择准确性并不必然关联，某些场景中即使F1很低，样本外R²也能匹配可降误差。

**变量选择条件苛刻**：以F1衡量的变量选择性能总体较差，仅当β_causal和N高、P低时表现良好。当β_causal低时，真阳性率和真阴性率之间出现负相关，表明识别因果变量与排除非因果变量之间存在权衡。对于可输出后验包含概率（PIP）的贝叶斯方法，设定较小的PIP阈值（如PIP≥0.05）可改善BSLMM和SuSiE的变量选择，但对BLASSO和Horseshoe改进有限。

**参数估计主要受数据维度影响**：参数估计的RMSE在不同方法间相当一致，但随β_causal增大、N和P减小而变差。这是因为当因果变量比例较大（P小）或效应量偏离零较大时，方法对非零系数的估计误差更大。

**计算成本差异显著**：所有3600个数据集分析共消耗约2.49 CPU年，其中BLASSO和Horseshoe分别占46.6%和46.7%的运行时间。

讨论部分总结指出，最可靠的提高模型预测和解释能力的方法是最大化独立观测数N。当样本量增加到1000或10000时，样本内和样本外R²收敛至最大可降误差，变量选择也得到改善。稀疏方法无法弥补小样本问题，尤其当P大或效应量小时。研究强调，没有一种方法在所有建模目标上均最优，符合“没有免费午餐定理”（no free lunch theorem）。研究者应根据具体目标选择方法，并可采用多种互补方法，例如先用稀疏方法筛选候选变量，再用随机森林进行预测。研究结论认为：虽然稀疏方法不能解决生态学和进化生物学中数据收集的后勤挑战（如P远大于N或N本身很小），但采用这些方法是实现高质量推断、构建解释性模型和最小化预测误差的前进路径。该研究发表在《Molecular Ecology Resources》上。