可解释机器学习揭示商业生产条件下开心果产量的结构性驱动因子

《Smart Agricultural Technology》：Explainable machine learning identifies the structural drivers of pistachio yield under commercial production

　　

本研究旨在开发一个可解释的机器学习（ML）框架，用于预测商业生产条件下开心果（*Pistacia vera* L.）的产量并识别其主导驱动因子。研究人员构建了一个纵向数据集，包含伊朗阿尔达斯坦县31个商业果园连续十个生长季（2016—2025年）的310个果园-年份观测值，涵盖八个农业生态领域的121个候选预测变量。采用结合最小绝对收缩和选择算子（LASSO）回归与基于赤池信息准则（AIC）选择的多准则特征筛选策略，保留33个预测变量。比较了八种机器学习算法及一个堆叠（stacking）集成模型的预测性能，并使用贝叶斯超参数优化。基于分位数回归（quantile regression）构建预测区间以量化预测不确定性，并采用基于SHapley可加解释（SHAP）的可解释人工智能（XAI）解析产量的主导驱动因子。结果表明，CatBoost在所观测测试集上取得最高预测性能（决定系数R² = 0.916），XGBoost（R² = 0.910）和LightGBM（R² = 0.909）性能相近，而堆叠集成未带来预测精度提升。SHAP分析确定果园结构（平均结果雌树数，Avg_Fm_Tree）为产量的主导预测因子，太阳辐射（SRAD）和Kermania虫害发生率亦为主要贡献因子。分位数回归预测区间的经验覆盖率仅为30.6%，显著低于名义95%水平，表明当前不确定性估计尚未充分校准。研究结论表明，将先进机器学习算法与可解释人工智能相结合，可同时提升商业果园作物生产力的预测与解释能力；该框架为多年生园艺中的数据驱动决策支持提供了实践基础。未来研究应发展时间自适应不确定性框架（如滚动窗口共形校准）或混合物理信息机器学习（PIML）方法，并在更多产区、品种和生长季开展独立验证；在未来气候条件下的可靠性，在通过严格时间序列预测、独立验证及明确的时间分布漂移评估之前，仍属开放研究问题。

**研究背景**

开心果（*Pistacia vera* L.）是全球经济价值最高的多年生坚果作物之一，伊朗长期位居世界主要生产国之列。然而，气候变化与加剧的非生物胁迫正日益威胁其可持续性与盈利能力，干旱和半干旱地区尤为突出。研究区位于伊朗中部高原伊斯法罕省阿尔达斯坦县，属热沙漠气候（K?ppen BWh），夏季气温常超50°C，年降水量仅约110 mm，蒸发需求高，且多热风；灌溉主要依赖半深井和深井地下水，土壤以砂质和石质为主，易发生盐化与碱化，严重制约土壤水分有效性、养分动态和根区功能。

在此条件下，开心果生产力受气候因子、果园特征、土壤理化性质、灌溉水质、植株营养状况和管理实践之间复杂交互作用的共同调控，形成高度非线性的关系，难以用传统统计方法表达。多元线性回归（MLR）和方差分析（ANOVA）虽广泛应用于农业研究，但通常依赖指定的函数形式及残差独立性假设，缺乏适当模型扩展时难以捕捉复杂非线性响应和高维交互作用。此外，施肥灌溉和叶面喷施等管理变量常呈显著零膨胀（即大量零值），因仅部分种植者采用相应实践，进一步降低了传统参数方法的适用性。

机器学习（ML）因能有效捕捉大量预测变量间的非线性关系和交互作用，已成为复杂农业系统建模的有力手段。基于树的集成算法，包括随机森林、XGBoost、LightGBM和CatBoost，已展现出优异预测性能，且对多重共线性和稀疏预测变量具有稳健性。近期研究日益将这些算法应用于作物产量预测，其中CatBoost和XGBoost在捕捉多年生种植系统复杂非线性关系方面持续优于传统集成方法。然而，已发表的开心果生产ML研究多依赖相对较小的试验数据集或遥感信息，未能充分反映商业果园的长期复杂性与管理异质性；此外，尽管堆叠等集成方法应用渐多，但系统比较其与个体最先进算法预测性能以判断模型复杂度增加是否带来显著精度提升的研究仍较少。

除预测性能外，ML在农业中的实际应用还取决于解释模型预测并将其转化为可操作农艺知识的能力。可解释人工智能（XAI）因此成为现代预测建模的必要组成部分。其中，SHapley可加解释（SHAP）提供了量化全局特征重要性和个体预测变量对特定模型输出贡献的理论框架。近期SHAP在农业中的应用已证明其在识别产量影响因子和指导管理干预优先级方面的效用。与此同时，不确定性量化对支持农业决策日益重要，因确定性预测本身对预测可靠性提供的信息有限；分位数回归为估计条件预测区间和评估异质农业数据集中的不确定性提供了灵活方法。

已有研究显示了可解释机器学习在作物产量分析中的增长应用，例如SHAP结合LightGBM用于识别遥感植被和热指标对小麦产量的贡献并表征非线性特征交互。但整合长期多果园商业生产数据、系统模型基准比较和明确不确定性量化的应用仍相对有限。对于多年生园艺作物，同时整合长期商业果园数据、严格模型基准比较、不确定性量化和可解释人工智能的综合ML框架仍属稀缺。据研究人员所知，此前尚无研究在单一预测框架内同时结合这四个要素，利用十年期多果园商业数据集开展开心果产量预测。为弥补这一空白，研究人员利用31个商业果园连续十个生长季监测获得的310个果园-年份观测值的综合数据集，整合了贝叶斯优化机器学习、基于分位数回归的预测区间和基于SHAP的可解释性分析。

本研究的目包括：（i）汇编来自31个商业开心果果园连续十个生长季（2016—2025年）监测的纵向数据集，整合环境、土壤、灌溉水、营养、管理和果园结构变量；（ii）通过结合最小绝对收缩和选择算子（LASSO）回归与基于赤池信息准则（AIC）选择的多准则特征筛选策略，识别信息量最大的预测变量；（iii）使用贝叶斯超参数优化比较八种机器学习算法和一个堆叠集成的预测性能，识别观测预测性能最高的模型；（iv）使用基于分位数回归的预测区间评估所选模型的预测不确定性；（v）基于SHapley可加解释（SHAP）的可解释人工智能解析开心果产量的主导驱动因子。

**主要关键技术方法**

研究于伊朗伊斯法罕省阿尔达斯坦县（33°22′N，52°24′E，海拔1,255 m）开展，监测31个商业开心果果园连续十个生长季（2016—2025年），构建310个果园-年份观测值的平衡纵向数据集；主栽品种为Kaleh-Ghouchi和Fandoghi；为考虑大小年（隔年结果）习性，将上一年产量（Y_t?1）作为衍生候选预测变量（2016年因缺2015年记录无法计算）；共汇编121个候选预测变量，分属八个农业生态领域。采用80:20逐行留出法（固定随机种子62）划分训练与测试集，预处理（方差膨胀因子VIF计算、特征筛选）仅在训练集进行；采用LASSO回归（10折交叉验证，一倍标准误规则λ_1se）与基于AIC的双向逐步选择、前向选择和后向剔除，按预设共识加权方案（双向逐步30%、前向20%、后向20%、LASSO 30%）整合，保留33个预测变量，并以等权方案进行敏感性分析（结果完全相同，Jaccard相似度1.00）。比较CatBoost、XGBoost、LightGBM、随机森林、极端随机树、决策树、AdaBoost和径向基核支持向量回归（SVR）八种算法及两层堆叠集成（岭回归元学习器），使用Optuna框架进行贝叶斯超参数优化（每算法50次试验，5折交叉验证最大化R²）；采用基于分位数回归（两个XGBoost分位数模型，α=0.025和0.975）构建95%预测区间；采用SHAP和局部可解释模型无关解释（LIME）进行可解释性分析，并以偏依赖图（PDP）和诊断分析辅助；以Moran's I评估残差空间自相关。全部计算在Google Colab平台（NVIDIA Tesla T4 GPU）以Python 3.13.15完成。

**研究结果**

**3.1 机器学习算法的比较性能**：在留出测试集上，CatBoost取得最高观测预测性能（R²=0.916），其次为XGBoost（R²=0.910）和LightGBM（R²=0.909），三者性能大致相当；随机森林（R²=0.864）和SVR较低。CatBoost同时具有最低均方根误差（RMSE=0.656 kg tree^?1）和较低平均绝对误差（MAE=0.4588 kg tree^?1）。堆叠集成平均绝对百分比误差（MAPE）略低（21.05%），但R²较低（0.8842）且绝对预测误差更高，未显示出整体优势。经错误发现率（FDR）校正后，三种领先梯度提升决策树（GBDT）算法在共同测试集上的绝对预测误差两两差异均无统计学显著性（校正后P≥0.776），因属观测水平比较，视为探索性。CatBoost推理时间极短（约0.001 s/次预测），适合实时决策支持。

**3.2 预测性能与残差分析**：优化后CatBoost模型的观测值与预测值紧密沿1:1参考线分布，全产量范围内无系统性高估或低估；残差在零附近随机分布，多数介于约?1.5至+2.5 kg tree^?1，仅最高产果园有少量较大正残差。残差直方图显示误差多集中于零附近并略正偏；不同产量等级残差箱线图显示大部分产量范围内误差相对一致，最高产观测变异性较大。测试集残差Moran's I为?0.0364（期望值?0.0164），无显著空间自相关（p>0.05）。作为对未见果园泛化的补充评估，五折果园分组交叉验证中CatBoost保持最高性能（R²=0.852，RMSE=0.886 kg tree^?1，MAE=0.566 kg tree^?1），优于LightGBM（R²=0.768）和XGBoost（R²=0.751）。在未见年份验证中（2020和2025年完全排除），XGBoost性能最高（R²=0.7303），其次为CatBoost（R²=0.6397）和LightGBM（R²=0.6247），三者均在未参与建模年份保持可观预测性能。

**3.3 预测不确定性与模型校准**：CatBoost校准曲线在大部分预测产量范围内紧随1:1参考线，仅在最高预测值处出现小偏差。基于分位数回归的95%预测区间在测试集上的经验覆盖率仅为30.6%，远低于名义95%水平，表明存在显著欠覆盖；中低产观测多被相对较窄的区间包络，而若干高产观测超出预测上限，说明估计的条件误差结构未被充分捕捉。

**3.4 可解释人工智能识别开心果产量主导驱动因子**：SHAP全局特征重要性显示，Avg_Fm_Tree为开心果产量最具影响力的预测因子（可能反映果园结构与生产能力相关方面），其次为太阳辐射（SRAD）、Kermania虫害发生率及若干环境和管理变量；叶片微量元素（含Fe）对模型预测贡献相对较小。以每公顷产量或总产量为替代响应定义时，Avg_Fm_Tree仍为第二高排名预测因子，对应测试集R²分别为0.838和0.773，表明该结构关联在不同生产尺度下保持稳健。SHAP蜂群图显示，较高Avg_Fm_Tree值持续对应正SHAP值（对预测产量的正贡献），较高Kermania发生率主要呈负贡献，SRAD等环境变量SHAP值分布较宽，提示非线性关系和情境依赖效应。SHAP决策图和瀑布图分别展示了个体预测变量的累积贡献以及代表性低产果园预测的变量分解，提供了模型预测的全局与局部解释。

**讨论部分总结**

讨论指出，CatBoost观测预测性能最高（R²=0.9158），但三种领先GBDT算法差异很小，应理解为预测性能相近而非CatBoost具统计学显著优越性；因观测非独立，观测水平配对比较视为探索性，并以果园分组交叉验证补充评估，CatBoost在果园水平分离下仍保持最高数值排名。堆叠集成未提升性能，可能因三种GBDT基学习器预测高度相关，提供的信息冗余而非互补，限制了集成多样化收益（相似现象也见于其他农业产量预测研究）。从农艺角度看，现有预测变量所含信息足以让单一优化GBDT模型解释大部分可预测的开心果产量变异（R<sup>2>=0.916），约8%未解释变异可能源于未显式测量的因素，如短期微气候波动、树体生物学变异、授粉效率和测量不确定性。

XAI部分指出，Avg_Fm_Tree主导贡献凸显果园结构的重要性，但其可能部分作为果园规模或生产能力（含大小年遗留效应）的结构性代理，而非完全独立的解释因子，其高SHAP重要性应理解为观测生产系统内的强预测关联而非独立因果效应。太阳辐射高重要性反映可用辐射对光合碳同化和生物量生产的核心作用；Kermania虫害的持续负SHAP值强调有效虫害管理的重要性。叶片微量元素贡献小不应解读为生理上不重要，而可能因其变异性不足以解释产量差异，或在树模型高维特征空间中被更强的相关宏观变量掩盖。非线性关系方面，树冠发育增强光截获和结果潜力，但冠层密度增加亦加剧资源竞争，导致生产力增益递减；但模型响应不应在无独立田间验证时解读为农艺承载容量或干预阈值。不确定性方面，30.6%的低经验覆盖率表明分位数模型未充分捕捉条件不确定性结构，可能因分位数模型仅以CatBoost点预测为唯一输入、高产区观测代表性有限；因此这些区间不应被视为已校准的95%个体果园预测不确定性边界，仅宜作探索性诊断，而点预测在观测商业生产域内仍具实用性。实践意义上，果园结构、太阳辐射和虫害压力应作为预测性指标优先关注，但数值阈值须经独立多区域多年度数据和田间证据验证。未来方向包括整合多时相遥感、近端传感和时间序列物候数据的多模态数据集，以及嵌入光利用效率和蒸腾限制等生态生理约束的物理信息机器学习（PIML）；研究强调未进行定量时间分布漂移或概念漂移检验，关于未来气候变化下模型行为的陈述仅属未来研究方向。

**局限性**：全部观测来自单一地理产区，310个果园-年份观测仅源于31个独立果园，限制群体水平泛化；主训练-测试划分在果园-年份水平进行，同一果园观测可能同时出现于两个子集，主留出性能不代表完全未见果园或严格未来生长季的验证；果园分组交叉验证和未见年份验证提供了补充泛化证据，但后者因未采用严格序贯时点截断而非严格时序预测验证；特征筛选未嵌套在交叉验证折内；30.6%的低区间覆盖率表明不确定性估计尚不足以用于操作层面风险敏感应用。报告结果支持以下表述：（i）CatBoost在观测商业生产域内具有高点预测精度；（ii）整园留出时预测性能基本保持；（iii）留出年份预测性能保持但非严格时序预测；（iv）模型识别出可解释、生物学合理的预测因子；（v）分位数回归区间未达名义校准水平。

**研究结论翻译**：本研究证明了可解释机器学习在商业生产条件下预测开心果产量的潜力。在评估的九种算法中，CatBoost表现出最高的观测预测性能（R2=0.916），XGBoost和LightGBM性能相近。通过SHapley可加解释（SHAP）和局部可解释模型无关解释（LIME）实现的可解释人工智能，确定了果园结构、太阳辐射和虫害发生率为与产量变异相关的主要因素，其中果园结构指标可能反映潜在生产能力，同时为模型预测提供了透明的全局和局部解释。所提出的框架将高预测精度、模型可解释性和不确定性量化整合于面向多年生种植系统的统一决策支持方法之中。尽管模型在观测商业生产域内表现出强点预测性能，但基于分位数回归的预测区间低经验覆盖率凸显了在不确定性边界可用于操作之前，需改进不确定性估计并开展独立验证。总体而言，本研究证明将先进机器学习算法与可解释人工智能相结合，可改善商业果园作物生产力的预测与解释。该框架为多年生园艺中的数据驱动决策支持提供了实践基础，并可能有助于更明智的果园管理。未来研究应超越纯数据驱动范式，发展时间自适应不确定性框架（如滚动窗口共形校准）或纳入生态生理边界以约束预测的混合物理信息机器学习（PIML）方法，并研究能够在新可获得的环境和管理数据下连续更新的自适应学习方法。此外，未来研究应在更多产区、品种和生长季验证该框架，同时整合遥感和时间序列物候信息等动态数据源，以进一步提高预测性能和模型泛化能力。这些发展可增强基于机器学习的产量预测的长期适用性和可迁移性。然而，在未来气候条件下的可靠性，在通过严格时序预测、独立验证和时间分布漂移的明确评估之前，应视为一个开放研究问题。</sup>