基于Optuna优化极端梯度提升的增强型土壤转换函数：在土壤水分保持建模中的应用

《Earth》：Enhanced Pedotransfer Functions Through Optuna-Optimized Extreme Gradient Boosting: Application to Soil Water Retention Modeling

　　

土壤水分保持曲线（SWRCs）是模拟包气带过程的基础输入，但其直接测定劳动密集，且在大空间尺度上通常难以实施。因此，土壤转换函数（PTFs）为利用易测土壤性质估算SWRCs提供了关键替代方案。本研究基于UNSODA 2.0数据库，开发了用于估算SWRCs的机器学习型PTFs。研究人员构建了极端梯度提升模型（XGB），并在包含土壤质地、结构与组成属性不同组合的11种输入情景下，采用两种贝叶斯超参数调优框架——Hyperopt与Optuna——对模型进行优化。模型性能采用均方根误差（RMSE）、决定系数（R²）和Kling–Gupta效率（KGE）进行评估。为避免UNSODA 2.0数据库层级结构导致的数据泄漏，研究采用嵌套分组交叉验证框架，对独立土壤样本上的模型泛化性能进行了无偏评估。结果表明，在完整特征集上训练的Optuna调优XGB模型取得最高精度，其测试集RMSE为0.0183，R²为0.9815，KGE为0.9825，优于基线模型和Hyperopt优化模型。特征重要性分析与SHAP（Shapley Additive Explanations）分析显示，土壤质地在估算中占主导地位，而孔隙度（n）、土壤容重（ρ_b）和有机质（OM）提供了补充性提升，颗粒密度（ρ_p）贡献较小。上述结果表明，先进的超参数优化能够提升基于XGB的PTFs的精度与可解释性，从而为水文学与土壤管理应用中更优的SWRCs估算提供稳健框架。

该文发表于《Earth》，聚焦于包气带水文学中一个基础而关键的问题，即如何高效、可靠地估算土壤水分保持曲线（SWRCs）。SWRC描述体积含水量θ与土壤水势或压力水头h之间的关系，是模拟入渗、蒸发、地下水补给、植物吸水及溶质运移等过程的核心水力学基础。由于非饱和导水率通常由SWRC通过非线性本构关系推导而来，θ(h)估算中的微小偏差会被放大并传递至导水率、排水行为及通量模拟之中，因此SWRC不确定性被普遍视为地块、流域乃至区域尺度水文建模的重要误差来源。传统直接测量方法依赖原状土柱和专门设备，费时、费力且成本较高，也难以适应大范围空间调查与复杂土体结构变化。正因如此，土壤转换函数（PTFs）成为以土壤易测属性替代直接水力测定的重要技术路径。

现有问题主要体现在两个层面。其一，经典参数型PTFs通常依赖预设函数形式，如van Genuchten或Brooks–Corey模型，对非线性关系和复杂结构土壤的表达能力有限，且对容重、孔隙度与孔隙连通性变化敏感性不足，难以刻画耕作、压实、放牧及胀缩循环导致的动态结构变化。其二，近年来机器学习虽已显著提升SWRC预测能力，但仍面临超参数配置敏感、模型物理可解释性不足等瓶颈。特别是在土壤数据库具有层级结构时，若采用普通随机划分，来自同一土样的多组θ–h观测可能同时进入训练集和测试集，从而造成信息泄漏并高估模型性能。因此，开展兼顾高精度、泛化性与可解释性的研究具有明确的方法学意义和应用价值。

为解决上述问题，研究人员基于UNSODA 2.0全球土壤水力数据库开展研究，构建了以极端梯度提升（XGB）为核心的机器学习型PTFs框架，直接在离散基质势点上预测θ值，而非先验假定连续参数方程，从而形成对SWRC的高密度逐点估计。研究比较了3类模型配置：默认参数的基线XGB模型、基于Hyperopt的贝叶斯优化XGB模型，以及基于Optuna的贝叶斯优化XGB模型。为识别不同土壤属性组合对预测能力的影响，研究设置了11种输入情景，逐步组合质地变量、结构变量和组成变量，包括砂粒含量（F_sand）、粉粒含量（F_silt）、黏粒含量（F_clay）、容重（ρ_b）、孔隙度（n）、有机质（OM）和颗粒密度（ρ_p）。结果表明，采用完整特征集的Optuna-XGB模型获得最优表现，显著优于基线与Hyperopt模型，说明先进贝叶斯超参数优化能够有效提升XGB在SWRC估算中的准确性与稳定性。研究还进一步证明，质地是控制SWRC的首要因子，而n和ρ_b等结构指标对于提升模型对湿端和整体水分保持行为的刻画尤为关键。

研究所采用的关键技术方法主要包括以下几方面。首先，数据来源于UNSODA 2.0数据库，包含全球790个土样的实测水力学与土壤学信息，研究提取其中具有多点干燥支SWRC测量的样本进行建模。其次，以每组θ–h观测及其对应土壤属性作为独立训练样本，利用XGBoost库实现回归建模，并在11种输入情景下分别训练基线、Hyperopt优化和Optuna优化模型。再次，采用RMSE、MAE、R²、Willmott一致性指数（WI）和KGE综合评估模型精度。为防止同一土样多观测导致的信息泄漏，研究进一步使用以土样编码为分组变量的嵌套分组交叉验证（GCV），外层5折、内层3折，对模型泛化能力进行无偏评估。最后，借助置换重要性和SHAP方法分析各变量对θ预测的贡献及其物理一致性。

在结果部分，论文首先通过相关性分析揭示了输入变量与θ之间的基本统计关系。研究显示，θ与F_clay、n和OM呈正相关，表明细颗粒、高孔隙体积和较高有机质含量通常有助于增强保水能力；与之相对，θ与ρ_b、F_sand和ρ_p呈负相关，反映粗质地或较致密土壤储水能力较弱。与此同时，质地分量之间及n与ρ_b之间存在显著共线性，说明多变量建模中正则化和特征解释需要谨慎处理。

在“模型性能比较”相关结果中，研究表明基线XGB在全部情景下已具备合理精度，但贝叶斯超参数优化显著改善了性能。所有情景平均来看，Hyperopt与Optuna均显著降低测试RMSE并提高R²，其中Optuna整体略优。尤其在最完整的Scenario 11中，Optuna-XGB取得测试RMSE = 0.0183、R² = 0.9815、WI = 0.9953和KGE = 0.9825，为全研究最佳结果。与相同情景下的基线模型相比，其RMSE降低近一半；与最简单质地情景相比，误差降幅更达70.1%。这一结果说明，XGB性能对超参数配置高度敏感，而Optuna在搜索效率和参数选择质量方面具有优势。

在“不同输入情景影响”结果中，研究通过11种变量组合比较发现，仅使用质地变量时模型已可提供基本可接受估算，但误差较高；加入ρ_b后性能有所改善，而加入n所带来的提升更为显著。包含n的情景通常获得最高精度，说明孔隙空间信息对SWRC预测至关重要。仅增加OM或ρ_p的效果则较为有限，特别是ρ_p由于变异性低，在矿质土样本中提供的信息增量较小。该结果清楚地区分了不同类型变量对模型的边际贡献，表明在实际应用中，质地+n是较优的精简组合，而进一步加入ρ_b可增强对受扰动或压实土壤的适用性。

在“SWRC重建与质地特异性表现”结果中，论文通过代表性土样的θ–h关系比较显示，Optuna-XGB-11模型总体上能够较好重现实测观测，并保留随吸力增加而含水量下降的合理物理趋势。该模型不仅能刻画砂土和壤砂土的快速排水行为，也能反映粉壤土、砂壤土的中等保持特征以及黏壤土、黏土更平缓的释水过程。进一步的质地分类回归结果表明，不同USDA质地类别下估测值与实测值均紧密分布于1:1线附近，R²大致介于0.9656至0.9860之间，说明优化模型在不同质地土壤上均保持稳定表现，仅存在轻微类别依赖性偏差。

在“残差诊断与Taylor图分析”结果中，研究显示基线模型存在系统偏差，尤其在较高θ区间出现低估倾向，而Hyperopt和Optuna优化后，残差分布更接近高斯型，对称性更好，偏差和方差均有所降低。Taylor图进一步综合表明，Optuna-XGB-11最接近参考点，意味着其在标准差匹配、相关性和中心化RMSE方面均最优，从图形诊断角度再次验证了其综合性能优势。

在“嵌套分组交叉验证（GCV）”结果中，研究特别强调常规随机划分会因同一土样观测跨训练集与测试集而产生过于乐观的评价。采用以土样编码分组的GCV后，所有模型的RMSE均升高、R²均下降，表明此前随机划分确有高估泛化能力的现象。基线XGB的RMSE由0.0356升至0.0557，Hyperopt和Optuna模型也出现类似幅度的性能下降。但即便在更严格的验证框架下，优化模型的R²仍高于0.82，说明模型确实学习到了可泛化的土壤属性—含水量关系。其中Hyperopt-XGB在GCV框架下表现最佳。该发现的重要意义在于，它提示基于层级数据库的土壤机器学习研究必须采用严格分组验证，以获得更真实可信的泛化评估。

在“模型可解释性分析”结果中，SHAP瀑布图和置换重要性分析共同表明，h是最重要变量，其次为F_sand；在调优模型中，n等结构变量的重要性高于基线模型，OM具有中等影响，而ρ_p始终最低。高F_sand对应负向SHAP贡献，反映粗大孔隙导致快速排水；F_clay、n和OM则体现为正向贡献，说明细孔隙和较大总孔隙体积促进保水。由于n与ρ_b高度负相关，研究将二者视作共同表征结构控制效应，而非相互独立的单一物理因子。该部分结果说明，超参数优化不仅提高精度，也增强了模型对结构性土壤属性的敏感性，使预测机制更符合土壤物理认知。

讨论部分系统总结了研究的理论与应用意义。研究认为，Optuna优化XGB型PTFs在不同质地和吸力范围内实现了准确、稳健且具有物理可解释性的SWRC估算，回应了数据驱动SWRC建模中“超参数敏感”和“透明性不足”两大长期问题。从水文学角度看，SWRC误差的降低不仅是统计学提升，更意味着非饱和导水率、入渗、排水和土壤蓄水模拟可靠性的实质增强，尤其对于近饱和区间的过程模拟价值突出。研究还强调，质地是主导控制因素，但n与ρ_b等结构指标为模型补充了纹理之外的孔隙体积、堆积状态和扰动信息，有助于响应压实、耕作和土地利用变化。OM的增益有限但方向一致，ρ_p则因变异较小而贡献不足。与此同时，作者也明确指出若将每个h–属性组合视为独立样本，会忽略单条SWRC内部潜在自相关；完整案例分析还会导致扩展情景样本量减少，并可能低估高有机质或强结构性土壤的代表性；此外，模型虽具物理一致性，但仍未显式施加θ随h单调递减等物理约束。这些内容均为文中明确提出的局限性与后续发展方向。

研究结论可概括并翻译如下：基于UNSODA 2.0数据集实施优化后的XGB算法表明，数据驱动算法基础上的PTFs能够有效突破经典参数方法在刻画复杂、非线性土壤水分保持函数方面的严格限制。研究不仅借助贝叶斯优化获得了最准确的预测结果，也建立了关键预测因子的层级结构。粒径分布被确定为首要影响因素，而孔隙度（n）和容重（ρ_b）等附加描述因子对于在整个势能范围内预测土壤水分保持行为至关重要。因此，研究建议在大尺度水文建模中采用由质地分量、n和ρ_b组成的精简而有效的最佳输入配置。嵌套分组交叉验证（GCV）为模型性能提供了客观评价。尽管该框架相较常规随机划分表现出一定性能下降，这一现象反映了土样层级结构被纳入考虑后的真实难度，但模型的预测精度并未因此失去可用性。这进一步凸显了对基于机器学习的PTFs开展稳健验证流程的重要性。