逐步聚类集成 (SCE)：一个用于环境建模中可解释和稳健回归的 R 包

《Environmental Modelling & Software》：Stepwise Clustered Ensemble (SCE): An R Package for Interpretable and Robust Regression in Environmental Modeling

　　

摘要

我们提出了Stepwise Clustered Ensemble（SCE），一个用于回归和推断的开源R包，旨在解决传统随机森林模型的关键局限性。SCE用基于Wilks Λ统计量的似然准则替代了不纯度分裂方法，并添加了节点合并步骤以防止冗余划分。这种严格基于统计学的构建方式增强了模型的简约性和泛化能力。该包完全开源，旨在无缝集成到可重复的环境建模工作流中，促进透明度和协作。SCE选择的预测变量可以有效地转移到随机森林模型中，在评估的案例研究中提高了随机森林模型的性能，并为特征选择提供了一条实用途径。通过在流体力学和空气质量建模中的大规模环境应用，SCE展示了强大的预测性能和可解释性，同时有助于减少过拟合并提高对嘈杂环境条件的鲁棒性。通过将这些创新整合到一个R包中，SCE为研究人员提供了一个健壮、可解释且可迁移的框架，用于建模复杂的环境系统。

引言

回归模型长期以来一直是环境研究的基石，提供了一个强大的工具来理解和预测环境驱动因素与系统响应之间的关系，涵盖水文学（Li et al., 2022）、空气质量（Johansson et al., 2023）、植被动态（Chen et al., 2022）和生态系统服务（Vaughan and Ormerod, 2014）等领域。随着气候变化、人口增长和资源开发的压力加剧环境问题，越来越需要健壮的回归方法来捕捉自然系统中的复杂相互作用（Clark et al., 2017; Razavi et al., 2022）。这些过程通常具有高度非线性，涉及多个尺度的变异性——从局部陆地-大气交换到全球碳循环和水循环——挑战了传统回归模型在实现准确预测方面的能力（Reichstein et al., 2019）。除了预测性能之外，可解释性已成为环境建模中的核心关注点，因为决策者和相关利益方需要透明的模型，既能增进对自然过程的科学理解，又能增强对用于政策和管理中基于模型的评估的信任（Li and Razavi, 2024）。因此，越来越需要平衡预测技能和可解释性的回归框架，以便在环境领域中同时实现稳健预测和有意义的科学洞察。

为了应对这些需求，回归模型不断进化以更好地表征环境系统的非线性和可解释性，相关努力范围从深度学习到创新的回归方法不等。深度学习模型擅长捕捉高度非线性关系和复杂变异性，能够从大规模复杂数据集中提供优秀的预测准确性。然而，它们的"黑箱"特性降低了可解释性，这可能限制环境应用中的科学理解和利益相关方的信任（Razavi, 2021; Shen, 2018）。尽管近年来物理信息深度学习通过将物理定律嵌入数据驱动框架中改进了可解释性和科学可信度（Read et al., 2019; Shen and Lawson, 2021），但这些模型仍然高度依赖数据，并且无法通过显式数学公式完全表达，这限制了其透明度，并阻碍了在需要控制方程的机制研究中的应用。另一方面，具有显式控制方程的基于回归的模型也在不断进步以捕捉复杂系统非线性（Brunton et al., 2016）。这些模型已被用于揭示土壤水分动态（Song et al., 2022）和大气化学过程（Yang et al., 2024），提供了透明且基于过程的见解。然而，它们在多样化环境背景下的可迁移性仍然有限，因为在一个系统中识别的控制方程可能无法很好地推广到具有不同边界条件、驱动因素或变异性尺度的其他系统。

树结构集成模型，如随机森林（RF）（Breiman, 2001）及其变体（Chen and Guestrin, 2016; Li et al., 2021a），提供了准确性和可解释性之间的平衡解决方案。在中规模表格数据集（约10,000个样本）上，这些模型通常可以胜过深度学习方案（Grinsztajn et al., 2022），同时比传统线性回归方法更灵活地表征非线性关系（Hastie et al., 2009）。它们的层次划分结构还通过提供可追溯的决策路径促进了模型解释（Li et al., 2022）。在一项大规模基准测试研究中，Fernández-Delgado et al.（2014）评估了数百种机器学习算法在多样化数据集上的表现，得出结论认为随机森林在预测准确性方面总体上是最可靠的模型之一。随机森林随后被广泛应用于环境科学领域，展示了在各种应用中的强大性能，包括径流量模拟（Schoppa et al., 2020）、作物产量预测（Jeong et al., 2016）、空气质量预报（Madan et al., 2020）和水质建模（Wang et al., 2021）。这些优势促进了扩展随机森林功能的先进软件包的发展。

随机森林的原始实现是用Fortran 77编写的（Breiman and Cutler, 2004），每当数据或参数被修改时都需要重新编译。由Liaw和Wiener（2002）开发的R实现randomForest因其全面的功能集和广泛的使用而成为备受推崇的后继者。在R中可用的各种随机森林实现中，该版本仍然是最受欢迎和首选的选择之一。然而，randomForest包缺乏支持删失数据的能力，而这对于生存分析和竞争风险模型至关重要。

为了应对这一局限性，开发了R包randomForestSRC以支持生存、竞争风险和其他高级随机森林分析，包括存在删失结果的设定（Ishwaran et al., 2021）。此外，randomForestSRC提供了处理复杂数据结构的附加工具，这使其在生物医学和环境建模应用中变得有用（Ishwaran et al., 2021）。Hothorn et al.（2006）报告说，原始随机森林算法可能会倾向于过拟合，并表现出对具有许多可能分裂点的预测变量的选择偏差。为此，他们开发了party包，其中包括条件推断森林方法cforest，使用基于排列的假设检验来减少变量选择偏差。

Chen和Guestrin（2016）没有并行训练所有集成树，而是引入了一种称为极端梯度提升（XGB）的新方法，该方法通过R包xgboost逐步构建树。树的这种渐进开发使模型能够在添加树的过程中自适应优化，在每个步骤上优化预测准确性。在计算效率方面，Wright和Ziegler（2017）引入了R包ranger，以其快速计算能力而闻名，适合处理大规模复杂数据集。其优化的内存使用节省了计算资源，实现了跨多核的高效扩展，并显著加速了训练过程。尽管取得了这些进展，上述描述的现有随机森林模型算法在树分裂过程中都存在一个共同的局限性：它们基于贪婪搜索，其中决策树中的每个节点选择立即产生最高误差或不纯度降低的分裂。在回归问题中，这通常涉及选择最小化方差或均方误差（MSE）的分裂点。然而，这种策略并不总能导致在未见数据上的最佳整体模型性能，因为其对局部优化的关注可能忽略了训练数据中的更广泛背景（Li et al., 2021a）。因此，生成的树可能包含次优决策路径和过度分支，增加了通过捕捉噪声而非有意义系统动态而导致的过拟合风险。

这一局限性在识别环境系统中的关键变量时尤为棘手，其中候选输入往往是共线的、冗余的，并以不同的空间和时间尺度表达。保留所有输入变量可能掩盖过程解释，使模型更容易过拟合。我们之前的径流量模拟研究表明，选择模型输入的子集可以有效减少过拟合并提高预测性能（Li et al., 2021a）。同样，Galelli和Castelletti（2013）从高维水文学数据集中识别出显著且非冗余的输入，从而改进了模型简约性和物理解释。Galelli et al.（2014）随后证明输入变量选择算法根据数据集特征和建模目标表现不同，表明没有单一方法是普遍最优的。认识到预测变量和响应可能在不同时间尺度上运行，Jiang et al.（2020）使用了一种基于小波的方法，细化了输入变量的频谱表示，并根据它们解释的残差信息选择额外变量。因此，能够识别统计显著模式同时保持泛化能力和预测稳定性的方法对于现实世界的环境应用至关重要。

另一个挑战出现在多个环境响应相关时。在许多环境应用中，响应受到共享物理或化学过程的共同影响，而不是独立变化。考虑这种依赖性可以揭示影响多个结果的预测变量，并提供更连贯的系统级解释。尽管randomForestSRC等包支持多元响应，但默认的组合分裂规则聚合了响应特定的损失降低，并不明确考虑响应间协方差。因此，相关信息可能被视为冗余，可能掩盖共享或响应特定的信号。

鉴于上述挑战，我们实现了一个R软件包Stepwise Clustered Ensemble（SCE），可通过综合R归档网络（CRAN）获取（Li, 2025），网址为https://CRAN.R-project.org/package=SCE，也可通过开发版本获取，网址为https://github.com/loong2020/Stepwise-Clustered-Ensemble。该包实现了SCE模型，该模型通过引入三个关键创新来应对传统随机森林及其变体固有的贪婪搜索局限性。首先，SCE采用基于Wilks Λ统计量的树分裂机制来建立严格基于统计学的分裂准则，不依赖传统误差指标如MSE来识别分裂点，从而有助于减少过拟合并提高泛化能力。其次，它具有一个改进的特征重要性方法，称为Wilks特征重要性（WFI），增强了特征排序的鲁棒性，并有助于识别可能对其他机器学习模型有益的关键输入变量。最后，它支持多元响应设定，能够有效地捕捉响应间的协方差并揭示相关目标之间的共享模式。

SCE模型最初由Li et al.（2021a）引入，建立在单棵树模型Stepwise Clustered Analysis（SCA）之上，后者由Huang（1992）首次提出概念，后来由Wang et al.（2015）通过rSCA包在R中实现。SCE已成功应用于水文学和生态水文学（Li et al., 2022; Li et al., 2021b），并在大数据设定中展示了强大的性能（Li et al., 2021a; Li and Razavi, 2024）。通过开发SCE的R包，我们的目标是使该方法为水文学界之外的更广泛科学受众所接受，将其应用扩展到更一般的环境科学领域。本文的目标是：（1）描述SCE包的功能和使用；（2）展示WFI在识别关键预测变量、减少噪声以及相对于其他特征重要性方法提高模型性能方面的有效性；（3）比较SCE与其他树结构模型（包括随机森林和XGB）在预测准确性和可解释性方面的表现；（4）通过多响应建模示例说明SCE处理响应协方差的能力。

章节摘要

随机森林与SCE之间节点分裂过程的差异

关于回归问题，随机森林与SCE的关键差异在于其个体树的节点分裂过程。随机森林的个体树基于分类与回归树（CART）（Breiman et al., 1984），而SCE的个体树是使用Stepwise Clustered Analysis（SCA）（Huang, 1992）构建的。考虑一个预测变量空间和预测目标空间，随机森林中每棵树的构建从按升序排列变量的值开始，其中

SCE包中的关键函数

SCE中的树构建过程需要比随机森林显著更多的计算资源，因为涉及Wilks Λ统计量计算、F检验以及迭代分裂-合并过程（详细计算预算将在4.2节中说明）。为使计算可控，我们实现了并行库，允许多棵树同时构建。此外，我们采用了分辨率搜索策略来加速最优解的搜索过程。

时间序列预测和推断

我们通过时间序列预测和推断来展示SCE包的基本功能。在此，我们使用一个径流量模拟案例（作为包内置示例包含在内）来演示SCE及其集成成员SCA的预测和推断能力。

在水文学背景下，径流量模拟是指根据流域出口等特定横截面处的水流量（例如m3/s）来估算流经河流的水量，基于

何时应该使用SCE

在本研究中，我们将SCE与两种广泛使用的集成基准模型进行了比较：基于bagging的随机森林模型和基于梯度提升的XGB模型。

研究结果表明，SCE为环境建模提供了三大主要优势：更强的泛化性能、更具可迁移性的特征选择，以及对多个响应变量的联合建模能力。首先，SCE表现出比RF和XGB更强的泛化性。如图3所示，尽管RF和XGB获得了更高的验证Concluding RemarksWe presented the SCE package, a novel tree-structured machine learning model for regression and inference tasks, with key innovations in node-splitting rules, feature importance, and multi-response modeling. Unlike traditional RF and its variants that rely on greedy search-based splits, SCE employs a likelihood-based tree construction framework using Wilks for node splitting and merging, and variable-importance quantification. This enables SCE to promote model parsimony, help mitigateCRediT authorship contribution statementMichael Martin: Writing – review & editing, Writing – original draft, Validation, Investigation. Kailong Li: Writing – review & editing, Writing – original draft, Visualization, Validation, Supervision, Software, Resources, Project administration, Methodology, Investigation, Funding acquisition, Formal analysis, Data curation, Conceptualization. Farnaz Hosseinpour: Writing – review & editing, Writing – original draft. Xiuquan (Xander) Wang: Writing – review & editing, SoftwareCode and Data AvailabilityR software package, Stepwise Clustered Ensemble (SCE), available from the Comprehensive R Archive Network (CRAN) (Li, 2025) at https://CRAN.R-project.org/package=SCE, and also available through a development version via https://github.com/loong2020/Stepwise-Clustered-Ensemble. The reproducible code and data are available at the Zenodo repository (https://doi.org/10.5281/zenodo.17517775).Declaration of Competing Interest? The authors declare that they have no known competing financial interests or personal relationships that could have appeared to influence the work reported in this paper.Kailong Li|Michael R. Martin|Xiuquan Xander Wang|Farnaz HosseinpourDivision of Hydrologic Sciences, Desert Research Institute, NV, USA---

结论
我们提出了SCE包，这是一种用于回归和推断任务的新型树结构机器学习模型，在节点分裂规则、特征重要性和多响应建模方面具有关键创新。与传统RF及其变体依赖基于贪心搜索的分裂方式不同，SCE采用基于似然比的树构建框架，使用Wilks检验进行节点分裂与合并以及变量重要性量化。这使得SCE能够促进模型的简约性，并有助于缓解CRediT作者贡献声明Michael Martin：写作——审阅与编辑，写作——初稿撰写，验证，调查。Kailong Li：写作——审阅与编辑，写作——初稿撰写，可视化，验证，监督，软件，资源，项目管理，方法论，调查，资金获取，形式化分析，数据整理，概念构思。Farnaz Hosseinpour：写作——审阅与编辑，写作——初稿撰写。Xiuquan（Xander）Wang：写作——审阅与编辑，软件代码与数据可用性R软件包，逐步聚类集成（SCE），可从全面R档案网络（CRAN）（Li, 2025）获取，网址为https://CRAN.R-project.org/package=SCE，也可通过开发版本在https://github.com/loong2020/Stepwise-Clustered-Ensemble获取。可复现代码和数据可在Zenodo库中获取（https://doi.org/10.5281/zenodo.17517775）。利益冲突声明? 作者声明，他们没有已知的可能对本论文所述工作产生影响的竞争财务利益或个人关系。Kailong Li | Michael R. Martin | Xiuquan Xander Wang | Farnaz Hosseinpour美国内华达州沙漠研究所水文科学部