《Frontiers in Plant Science》:Inversion of nitrogen content in apple leaves using an explainable PSO-CNN model
编辑推荐:
摘要
引言:高光谱技术与机器学习及深度学习算法的结合,为准确、无损地估测苹果叶片氮含量百分比以及进行快速营养诊断提供了一种有效方法。
方法:本研究在中国山东省栖霞市的苹果园进行,分别于新梢停止生长期(NSS)和秋梢停止生长期(ASS)采集了红富士苹果树的高光谱
摘要
引言:高光谱技术与机器学习及深度学习算法的结合,为准确、无损地估测苹果叶片氮含量百分比以及进行快速营养诊断提供了一种有效方法。
方法:本研究在中国山东省栖霞市的苹果园进行,分别于新梢停止生长期(NSS)和秋梢停止生长期(ASS)采集了红富士苹果树的高光谱数据。在高光谱预处理和特征波长选择后,研究人员开发并比较了包括随机森林、支持向量机、卷积神经网络以及粒子群优化卷积神经网络在内的回归模型。
结果:结果表明,CNN在预测性能上显著优于RF和SVM,而PSO-CNN进一步提升了预测性能。PSO-CNN模型在训练集上获得的R2为0.886,在测试集上R2为0.774,RMSE(%)为0.095,RPD为2.086。利用来自不同物候期的样本进行验证,显示出可接受的预测精度,其R2= 0.625,RMSE = 0.173,RPD = 1.529,误差分布均匀且无系统性偏差,表明该模型具有良好的泛化能力和稳定性。SHAP(Shapley Additive Explanations)分析表明,PSO-CNN模型主要依赖于近红外和短波红外波段,这些波段的反射率与氮含量呈负相关。
讨论:这些光谱区域与叶片生化结构密切相关,表明模型通过捕获与叶片生化特征相关的光谱信息来预测氮含量。总体而言,PSO-CNN模型在保留CNN架构的同时扩展了超参数搜索空间,从而提升了苹果叶片氮含量的预测性能,实现了快速、准确的营养诊断。
一、研究背景、问题与意义
氮是调控植物生长发育的基本营养元素,在苹果生产中对于产量和果实品质具有关键作用。苹果是中国最重要的经济水果作物之一,其种植面积和产量均占全球一半以上。准确估计叶片氮含量对于评估苹果树营养状况、指导施肥策略至关重要。传统的化学分析方法具有破坏性、劳动密集且耗时,限制了其实时监测的应用。相比之下,高光谱技术提供了一种快速、无损的替代方案,已被广泛用于作物营养评估。
先前的研究在线性和非线性模型应用、机器学习方法引入以及深度学习模型探索方面取得了进展。然而,个体机器学习模型在复杂环境条件下的适应能力有限,泛化能力和预测精度受到约束。集成学习方法通过集成多个基学习器来增强模型鲁棒性,但其依赖于基学习器且缺乏统一的特征学习框架,限制了其高效捕获复杂非线性关系的能力。卷积神经网络在农业应用中显示出潜力,但传统CNN容易陷入局部最优,其超参数调优通常依赖于经验试错或网格搜索,计算成本高昂。粒子群优化算法提供了一种高效的全局优化策略。同时,模型可解释性变得越来越重要。尽管有这些进展,但将PSO-CNN模型用于苹果叶片氮含量的高光谱反演研究仍探索不足,且光谱特征与氮预测之间的关系尚未得到深入解释。
因此,本研究评估了PSO-CNN模型在估算苹果叶片氮含量方面的性能,并将其与常规CNN方法进行比较。此外,还利用SHAP分析来阐明不同物候期特征光谱波段的贡献,为氮估算的潜在机制提供见解,以支持更高效的果园营养管理。本研究成果发表在《Frontiers in Plant Science》期刊。
二、关键技术方法概述
本研究在中国山东省栖霞市的苹果园进行,分别于2023年6月(NSS期)和2024年9月(ASS期)采集了红富士苹果树叶片样本,共计NSS期125个有效样本用于模型开发,ASS期118个样本作为独立验证集。研究采用ASD FieldSpec 4光谱仪采集叶片高光谱反射率数据(350–2500 nm)。对原始光谱数据进行了SG平滑、二阶导数、乘性散射校正和标准正态变量变换等预处理。特征波长筛选采用竞争性自适应重加权采样和连续投影算法相结合的混合方法,最终筛选出15个特征波长。研究构建并比较了随机森林、支持向量机、一维卷积神经网络以及粒子群优化-CNN回归模型。模型性能通过决定系数、均方根误差和相对百分差异进行评估。此外,利用SHAP方法对最优PSO-CNN模型进行可解释性分析,以量化输入波长特征对叶片氮含量预测的贡献。
三、研究结果
3.1 不同氮含量苹果叶片的高光谱特征
对125个不同氮含量叶片样本的高光谱反射率数据进行分析显示,尽管样本间反射率幅值存在差异,但整体光谱模式一致。在可见光区域反射率较低且变异性有限,在700 nm附近出现急剧增加,对应于红边区域。在近红外区域反射率相对较高且样本间变异性更大。在短波红外区域,在1400 nm和1900 nm附近出现明显的吸收特征。SG平滑有效降低了光谱噪声,SD变换增强了光谱变化。MSC和SNV变换表现出与平滑光谱相似的趋势,并减少了样本间变异性。
3.1.1 光谱反射率与不同氮含量之间的相关性分析
皮尔逊相关性分析评估了光谱反射率与叶片氮含量之间的关系。SG预处理后相关性较弱。SD变换增强了相关性,而MSC和SNV变换降低了绝对相关系数。总体而言,SG与SD预处理相结合产生了更强的相关性。
3.2 CARS-SPA特征波长筛选
经过SG平滑和SD变换后,利用CARS-SPA方法筛选特征波长。CARS首先基于SG-SD光谱筛选出102个特征波长,随后SPA进一步筛选出15个波长的最优子集,对应最小RMSE为0.1540。选定的波长包括411, 450, 522, 539, 917, 975, 1359, 1425, 2045, 2181, 2215, 2324, 2382, 2387, 和 2394 nm。
3.3 基于机器学习和深度学习模型的苹果叶片氮预测
3.3.1 基于RF和SVM的苹果叶片氮含量预测
RF模型展示了优于SVM模型的预测性能。RF模型在训练集上R2超过0.6,训练集和测试集的RPD值均大于1.5。SVM模型性能较低。两种模型的拟合回归线均偏离理想的1:1线,显示出在低值处高估、高值处低估的系统性偏差。
3.3.2 基于CNN的苹果叶片氮含量预测
CNN模型的训练RMSE在初始阶段迅速下降后逐渐稳定,显示出典型的收敛模式。与RF和SVM模型相比,CNN模型展示了改进的预测性能。训练集R2> 0.7,RPD > 1.7;测试集R2> 0.6,RMSE为0.119,RPD为1.677。预测值主要集中在2.4%–2.8%范围内,表明系统性偏差有所减少。
3.3.3 基于PSO-CNN的苹果叶片氮含量预测
PSO-CNN模型在训练过程中表现出快速且稳定的收敛,RMSE达到约0.05的低值且波动极小。PSO过程的平均适应度值在初始迭代中迅速下降,并在大约第10次迭代后趋于稳定。PSO-CNN模型在训练集和测试集上分别获得R2为0.886和0.774,相应的RPD值超过2.0,表现出优异的预测性能。散点分布更接近1:1线,表明与RF、SVM和CNN模型相比,系统性偏差进一步减小。
3.3.4 预测模型精度比较与模型优化分析
总体而言,深度学习模型优于传统机器学习方法,CNN的预测精度高于RF和SVM。PSO优化后性能得到进一步改善,PSO-CNN模型在所有模型中表现出最佳的整体性能。与CNN模型相比,PSO-CNN将训练集和测试集的R2值提高了约0.1。此外,训练集的RPD提高了0.765,测试集提高了0.409,而RMSE分别降低了0.033和0.024。这些性能提升归因于PSO的全局优化能力,使其能够更有效地进行超参数调优,并提高了模型捕获光谱特征与叶片氮含量之间复杂非线性关系的能力。
3.3.5 PSO-CNN反演模型验证
利用来自不同年份、物候期和果园位置的独立数据集评估模型的泛化能力和稳定性。在独立数据集上的预测性能显示,决定系数R2= 0.625,表明模型解释了62.5%的方差,反映了中等的预测能力。回归斜率偏离理想的1:1线,表明有低估较高值的趋势。RMSE为0.173,显示了可接受的预测精度,RPD值大于1.5表明该模型在不同物候期叶片氮估算中具有良好的适用性。残差诊断进一步证实了模型的稳健性。残差序列没有明显的聚类或系统趋势,残差直方图大致围绕零对称,Q-Q图显示大多数残差与理论正态分布线紧密对齐。这些结果表明,PSO-CNN模型在应用于不同物候期的独立数据集时,保持了稳定可靠的预测性能。
3.3.6 基于SHAP的PSO-CNN输入特征可解释性分析
对最优PSO-CNN模型应用SHAP分析,以量化光谱特征对叶片氮预测的贡献。对于NSS期训练的模型,最有影响力的光谱波段位于1425 nm、975 nm、917 nm和2045 nm。这些波段主要位于近红外和短波红外区域,表明模型的预测主要依赖于与叶片水分状况、叶肉结构和蛋白质吸收相关的光谱信息。SHAP值分布显示,较高的反射率值通常与负SHAP值相关,而较低的反射率值与正SHAP值相关。这种模式表明,这些波段反射率的降低与较高的预测氮含量相关。
对于ASS数据集,主导特征转移到917 nm、1359 nm、2324 nm和2387 nm的波长,均集中在近红外和短波红外区域。观察到一致的SHAP模式,即较低的反射率值对氮预测有正向贡献,而较高的反射率值有负面影响。这表明ASS阶段的氮估算主要受叶片含水量和蛋白质状态相关光谱响应的驱动。不同物候期的比较分析显示,尽管特征排序存在差异,但模型始终优先考虑近红外和短波红外波段。具体而言,917 nm、1359–1425 nm和2045–2394 nm附近的光谱区域在两个数据集中都非常重要。这种一致性表明跨生长阶段的光谱敏感性是稳定的,氮估算主要由与叶片水分和含氮化合物相关的光谱特征驱动。
四、讨论与结论
4.1 特征波长与叶片氮含量之间的相关性
CARS-SPA混合算法筛选出的15个特征波长具有较低的RMSE值,并且与叶片氮状况具有生理学和光学相关性。可见光区域的反射率与光合色素密切相关。411 nm和450 nm波段位于叶绿素和类胡萝卜素的强光吸收区域。绿色区域的波段捕获了与叶绿素浓度相关的反射率峰值的变化。近红外波段主要受叶片内部结构和含水量的影响,间接反映了与氮相关的生理状态。在短波红外区域,光谱信号主要由分子振动吸收主导。由于蛋白质是叶片中主要的氮库,与蛋白质相关的吸收特征可能是氮含量的替代指标。选定的特征波长捕获了关于色素组成、叶片结构、水分状况和生化成分的互补信息。这种光谱敏感性使深度学习模型能够有效地学习反射率与叶片氮含量之间的关系,从而提高模型的预测性能。
4.2 从传统机器学习到PSO-CNN的模型复杂性演进
用于作物氮估算的建模方法在结构复杂性和表示能力上有所不同。RF和SVM等常规方法依赖于浅层架构和手动提取的光谱特征,限制了其捕获复杂非线性关系的能力。CNN模型通过采用分层特征提取,克服了这一限制,能够自动学习非线性光谱表示。然而,CNN性能对超参数选择高度敏感,在高维、小样本数据集下,次优设置可能导致过早收敛于局部最优或收敛不稳定。为了提高训练鲁棒性,PSO取代了经验调优来进行全局超参数优化。网络架构保持不变,确保没有增加结构复杂性。使用平衡验证误差和模型复杂度的适应度函数优化了关键参数。这一策略提高了参数搜索效率,减少了过早收敛。优化后的模型实现了更低的学习率、更大的批处理大小和更强的正则化,从而在不增加计算成本的情况下提高了稳定性并减少了过拟合。与基线CNN相比,PSO-CNN模型获得了更优的性能。总体而言,性能提升源于改进的超参数优化而非增加模型复杂度,使得PSO-CNN模型在苹果叶片氮估算中实现了精度与效率之间的良好平衡。
4.3 基于不同物候期的PSO-CNN模型验证与可解释性
该模型使用NSS期采集的叶片样本进行训练,并在独立的ASS数据集上进行评估,从而对跨物候期的可转移性进行了严格测试。苹果叶片在生长阶段经历了氮分配、水分状况和生化组成的显著变化,导致光谱反射率发生系统性变异。在NSS期,叶片具有较高的叶绿素含量、活跃的氮同化和高含水量,以及相对疏松的叶肉结构。在ASS期,氮逐渐重新分配到果实和多年生器官,伴随着叶绿素和水分含量的下降以及结构化合物积累的增加。这些变化改变了光谱吸收和光散射特性,可能削弱了模型训练期间学习到的光谱-生化关系。这种偏移部分解释了跨物候期验证中较低的RPD。尽管如此,该模型仍显示出可接受的预测性能,表明跨生长阶段具有合理的鲁棒性。SHAP分析为物候期变化提供了额外的见解。对于NSS期训练的模型,与水分状况和蛋白质吸收相关的波段是主要贡献者。相比之下,ASS样本显示出与叶绿素含量、叶片解剖结构和含氮化合物积累变化相关的波段重要性增加。尽管特征排序发生了变化,但模型始终优先考虑与水分状况和蛋白质含量相关的近红外和短波红外区域。这些结果表明,PSO-CNN模型捕获了潜在的生理机制,而非阶段特异性的光谱模式,从而能够跨物候期稳定地估算氮状况。
4.4 局限性与展望
尽管PSO-CNN模型性能前景良好,但仍存在一些局限性。受田间采样条件限制,相对较小的样本量可能限制模型的泛化能力和预测稳定性。此外,PSO算法的实现使用了有限的粒子种群和迭代次数,以平衡计算成本和数据可用性。尽管此配置提高了模型效率并降低了小样本量下过拟合的风险,但可能限制了对超参数空间的探索,并增加了次优收敛的可能性。未来的工作应通过纳入更多的果园、生长季节和环境来扩展时空采样。更大、更多样化的数据集将支持更广泛的PSO优化,从而改进模型配置的探索并增强稳健性。当前的分析仅限于单一苹果品种,这可能限制了模型的可转移性。纳入具有不同生长特性和氮利用效率的多个品种对于模型更广泛的应用至关重要。尽管PSO-CNN模型有效地表示了高光谱特征与苹果叶片氮含量跨物候期的关系,但其实际应用仍需进一步研究。例如,将氮估算与农艺决策相结合,以支持精准施肥,并促进高光谱和机器学习方法在果园管理中的可操作性应用。
5 结论
利用在山东省栖霞市NSS和ASS生长期采集的红富士苹果叶片,开发了基于光谱反射率数据估算氮含量的模型。经过SD预处理和CARS-SPA方法筛选光谱特征后,利用125个样本构建了RF、SVM、CNN和PSO-CNN模型。利用不同果园、年份和物候期的独立数据集评估了模型的泛化能力。此外,还进行了基于SHAP的可解释性分析,以阐明氮估算的光谱-生理机制。
PSO-CNN模型取得了最佳性能,而CNN模型优于RF和SVM模型。PSO-CNN模型在训练数据集上的R2值为0.886,测试数据集上的R2值为0.774,测试数据集的RMSE为0.095,RPD为2.086。跨阶段验证表明PSO-CNN模型具有可接受的预测性能,其R2= 0.625,RMSE = 0.173,RPD = 1.529,同时残差分布均匀且无明显系统偏差,表明其具有令人满意的泛化能力和稳定性。
PSO-CNN模型的优越性能主要归因于基于PSO的超参数优化,而非模型复杂度的增加。结合SG-SD预处理和CARS-SPA介导的特征选择,PSO-CNN模型有效地捕获了光谱反射率与叶片氮含量之间的非线性关系。该模型始终优先考虑与叶片水分状况和含氮化合物相关的近红外和短波红外波段,从而确保了在两个物候期稳定的光谱敏感性。所提出的方法为估算苹果叶片氮含量提供了一个稳健且准确的框架,同时提高了深度学习模型在果树营养诊断中的可解释性。