《AgriEngineering》：Enhancing Sustainable Agriculture: Machine Learning-Based Soil Health Prediction in Permaculture
编辑推荐：
土壤健康对可持续农业至关重要，但在评估多样化的农业生态系统（如永续农业）时仍具有挑战性。土壤状况反映物理、化学和生物学性质的相互作用，但实际评估通常依赖于有限的一组信息性指标。在本研究中，构建了一个基于PCA加权的土壤健康指数（SHI），由五个表层土壤指标组成
土壤健康对可持续农业至关重要，但在评估多样化的农业生态系统（如永续农业）时仍具有挑战性。土壤状况反映物理、化学和生物学性质的相互作用，但实际评估通常依赖于有限的一组信息性指标。在本研究中，构建了一个基于PCA加权的土壤健康指数（SHI），由五个表层土壤指标组成：有机碳、全氮、微生物生物量（PLFA）、容重和重量含水量。第一主成分解释了总方差的75.30%。该分析使用了2019年至2021年间从德国和卢森堡九个地点的永续农业和常规农业系统中收集的84个观测值，涵盖不同的土地利用类型和两个土壤深度。总体而言，永续农业地块的SHI值高于常规地块，且在全部九个地点均观察到相同趋势，尽管土地利用不平衡限制了完全匹配的比较。为避免对PCA衍生目标进行循环预测，用于直接构建SHI的五个表层变量被排除在预测特征集之外。机器学习模型采用分组验证进行评估，其中整个地点被排除在模型训练之外。性能最佳的全剖面Ridge模型实现了折外R2为0.710，MAE为0.159，RMSE为0.214。折外SHAP分析表明，镁、锌、土壤pH、底土容重和铜对SHI估计的模型特定贡献最大。这些发现表明，基于PCA的土壤健康评估可以区分所研究农业系统之间的系统性差异，并且一种具有泄漏意识的可解释建模框架可以在留出地点提供中等的预测性能。结果应被解释为来自小型多地点的数据集的内部证据，而非外部验证或管理效果的因果估计。
论文解读文章
一、研究背景与问题
现代农业面临气候变化、土壤退化和全球粮食需求增长等多重挑战。联合国预计，到2050年世界人口将达到97亿，粮食产量需在2009年基础上增加70%才能满足需求。与此同时，全球约33%的土壤因侵蚀、养分耗竭、酸化和污染而处于中度至重度退化状态。在此背景下，以永续农业为代表的生态农业系统受到关注。永续农业强调生物多样性、减少耕作和生态稳定性，被视为投入密集型农业的潜在替代方案。然而，土壤健康是一个涉及物理、化学和生物学性质相互作用的复杂概念，传统评估方法多依赖单一或少数指标，难以全面反映低投入农业生态系统中的实际状况。现有土壤健康指数（SHI）构建方法常存在主观加权、指标选择依赖专家经验等问题，且机器学习预测研究多集中于单一土壤属性，对复合土壤健康指数的可解释预测研究不足。此外，模型评估常忽视地点间差异导致的过拟合风险，缺乏严格的留出地点验证。因此，本研究旨在构建一个兼具生态意义和统计透明度的PCA加权土壤健康指数，并开发一种避免数据泄漏、可解释的机器学习框架，用于比较永续农业与常规农业系统的土壤健康差异，并评估从其他土壤属性估计SHI的可行性。
二、研究内容与主要结论
研究人员使用公开数据集，该数据集包含德国和卢森堡九个地点2019—2021年间采集的84个观测值，涉及永续农业（57个）和常规农业（27个）两类系统，涵盖耕地、草地、放牧地和蔬菜生产四种土地利用类型，以及0–10厘米和10–30厘米两个土壤深度。研究首先从五个表层土壤指标（有机碳、容重、微生物生物量PLFA、全氮、重量含水量）构建PCA加权SHI，第一主成分（PC1）解释75.30%总方差，加载结构经生态方向调整后稳定。通过Mann–Whitney U检验、Wilcoxon符号秩检验和共同支持分析比较两种农业系统的SHI差异。预测建模中，排除用于构建SHI的五个表层变量以避免循环预测，采用两种特征集（0–10厘米表层特征集和0–30厘米全剖面特征集），在嵌套留一地点交叉验证下评估十种回归算法。性能最佳的Ridge模型进一步通过折外SHAP进行全局和局部可解释性分析，并开展PCA目标构建的敏感性分析。
主要结论包括：永续农业地块的SHI值整体高于常规农业地块，均值差为0.412，九个地点均呈现相同趋势；但受土地利用分布不平衡限制，共同支持分析中仅四个直接可比层位，差异未达统计显著（p=0.125），结果应视为关联而非因果效应。全剖面Ridge模型在折外预测中取得R2=0.710，MAE=0.159，RMSE=0.214，优于表层特征集（R2=0.557）及两个参考基线。折外SHAP分析显示，镁（0–10厘米）、锌（0–10厘米）、土壤pH（0–10厘米）、底土容重（10–30厘米）和铜（0–10厘米）是预测SHI的主要贡献变量。敏感性分析中，折内独立构建目标得到的R2为0.705，接近全局目标的0.710，表明目标构建方式对整体性能影响较小。但各留出地点的R2范围从?1.189到0.940，说明模型泛化能力存在明显的地点异质性。
该研究的意义在于：提出了一个从数据中自动确定指标权重的PCA加权SHI构建方法，避免了专家主观赋权；通过严格的留一地点验证和训练/预测特征分离，降低了数据泄漏风险；利用折外SHAP增强了模型的可解释性，并明确区分模型贡献与因果效应。研究强调结果仅作为内部证据，需在更大规模、更平衡且地理独立的样本中进一步验证。
三、主要技术方法
研究使用Python 3.14.0及pandas、NumPy、SciPy、statsmodels、scikit-learn、XGBoost、LightGBM和SHAP等工具。核心技术流程包括：（1）对五个表层指标进行min–max归一化后执行主成分分析（PCA），以PC1构建加权SHI，并用10,000次地点级自助重采样评估载荷稳定性；（2）采用Mann–Whitney U检验、Wilcoxon符号秩检验、Holm校正及符号检验进行统计比较；（3）排除构建SHI的变量后，建立两个预测特征集，在嵌套留一地点交叉验证下训练并比较十种回归算法，超参数通过内部GroupKFold优化；（4）使用折外SHAP计算全局特征重要性和局部解释，并通过Spearman相关评估排序稳定性；（5）进行PCA目标构建敏感性分析，在每折训练集内重新估计归一化参数和PCA载荷。样本队列来源于公开数据集中德国和卢森堡九个地点的84个观测值。
四、研究结果
4.1 PCA加权土壤健康指数构建：PC1解释了75.30%的总方差，第二主成分解释12.53%，累计87.83%。生态方向调整后，有机碳（0.463）、微生物生物量PLFA（0.296）、全氮（0.416）和重量含水量（0.498）为正向载荷，容重为负向载荷（?0.527）。KMO值为0.762，Bartlett球形检验显著（p<0.001）。10,000次自助重采样中，所有载荷方向保持100%一致，PC1平均解释方差为75.74%，与原始载荷向量的中位相关系数为0.995，表明PCA结构高度稳定。
4.2 农业系统SHI比较：永续农业平均SHI为0.274，常规农业为?0.138，差异显著（Mann–Whitney U检验p<0.01，Cliff's delta=0.648）。地点水平上，全部九个地点的永续农业均值更高，位置级差异显著（Wilcoxon检验p<0.01）。共同支持分析（四个可直接比较的层位）均显示永续农业较高，但符号检验不显著（p=0.125）。
4.3 SHI分量指标差异：经Holm校正后，样本水平上所有五个指标在两种系统间均显著差异。永续农业的有机碳、PLFA、全氮和含水量更高，容重更低。地点水平上，有机碳、容重、全氮和含水量仍显著，PLFA未达显著。共同支持分析中，各指标趋势不完全一致，但均未达校正后的统计显著。
4.4 模型预测性能：全剖面模型中Ridge回归表现最佳（R2=0.710），Elastic Net（R2=0.688）和Huber回归（R2=0.679）次之。树集成方法如XGBoost（R2=0.601）、Extra Trees（R2=0.545）和Random Forest（R2=0.535）低于正则化线性模型。0–10厘米表层特征集的最佳R2为0.557。管理类对照基线R2=0.197，训练折均值基线R2=?0.112。
4.5 最佳模型评估：全剖面Ridge模型在折内重构建目标时R2=0.705，与全局目标（0.710）接近。PC1在训练折中解释方差范围69.51–77.99%，载荷相似度≥0.992。地点特定R2从?1.189（l2）到0.940（l6），七个地点为正，中位数0.611。l2的负值源于系统性低估（平均残差0.283）；l7的负值出现在极低RMSE（0.074）条件下，因该地点SHI变异有限。
4.6 SHAP可解释性：全局SHAP重要性排序中，镁（0–10厘米）贡献最大（平均|SHAP|=0.126），其次为锌（0–10厘米，0.089）、pH（0–10厘米，0.053）、容重（10–30厘米，0.051）和铜（0–10厘米，0.045）。蜜蜂图显示镁、锌的高值通常正向预测SHI，pH和底土容重的高值倾向负向贡献。局部SHAP示例表明，常规观测（观测SHI=?0.568，预测?0.603）中镁和锌为主要负贡献者；永续农业观测（观测SHI=0.207，预测0.190）中底土容重、pH、含水量等提供正贡献。全局排名与地点特定排名的中位Spearman相关为0.804，最小0.663，表明排序稳定性较好。
4.7 讨论：研究构建的PCA加权SHI能有效综合五个互补指标，且载荷结构符合土壤健康概念。观察到的永续农业与更高SHI的关联需谨慎解释，因土地利用分布不平衡，且共同支持分析统计效力不足。留一地点验证提供了比随机划分更强的内部证据，但仍非外部验证。SHAP贡献应视为模型特定解释而非因果证据。主要局限包括样本量小、九地点设计、土地利用不均衡、横断面数据结构和缺乏独立外部验证。
五、结论
本研究提出了一个结合PCA加权土壤健康指数、泄漏感知机器学习和可解释人工智能的透明框架，用于多地点土壤健康评估。分析显示，在所研究数据集中，永续农业与较高SHI值存在一致性关联。同时，分组预测框架表明，该指数可从其表面构建中未直接使用的土壤属性进行估计。重要的是，研究也强调需谨慎解释结果：观察性设计、小样本量、土地利用不平衡以及缺乏独立外部验证限制了因果推断和广泛泛化。该框架应被视为可解释土壤健康评估的方法论基础，需在更大、更平衡且地理独立的数据集上进一步评估。
