《Artificial Intelligence in Agriculture》:Explainable AI opens the black-box model of spectral technique to trace agro-products origin: The case of kiwifruit
编辑推荐:
目前,识别农产品产地的方法通常聚焦于单一算法,并过度强调预测性能而牺牲可解释性,这极大地阻碍了准确有效的溯源方法的发展以及对模型内在机理的深入理解。因此,本研究以中国六个产区的猕猴桃为对象,将高光谱成像(HSI)技术与集成学习方法相结合,构建猕猴桃产地溯源模型
目前,识别农产品产地的方法通常聚焦于单一算法,并过度强调预测性能而牺牲可解释性,这极大地阻碍了准确有效的溯源方法的发展以及对模型内在机理的深入理解。因此,本研究以中国六个产区的猕猴桃为对象,将高光谱成像(HSI)技术与集成学习方法相结合,构建猕猴桃产地溯源模型,并利用可解释人工智能(AI)对最优堆叠集成模型进行分层及整体性解释,旨在提高溯源精度的同时,深入理解利用光谱特征进行产地预测背后的逻辑。结果表明,以支持向量机(SVM)、K近邻(KNN)和随机森林(RF)为基学习器、以逻辑回归(LR)为元学习器的堆叠集成模型表现出最佳的判别性能,其准确率为95.24%、精确率为95.79%、召回率为95.24%、F1分数为95.19%,分类准确率较最优单一模型提升了2.38%。此外,SHapley可加性解释(SHAP)分析通过量化光谱特征的贡献阐明了最优溯源模型的决策机制,其中730 nm(SHAP 0.59)和893 nm(SHAP 0.56)波长对猕猴桃产地预测起主导作用。该研究为进一步优化光谱技术在猕猴桃溯源系统中的应用奠定了重要的科学基础,并为将该技术应用于区分其他农产品地理产地提供了视角。
该研究旨在解决农产品产地溯源领域中存在的核心问题。当前,产地识别方法多采用单一算法,过度追求预测性能而忽视模型可解释性,这不仅限制了溯源方法的精准性与有效性,也阻碍了对模型内在机制的深入认知。现有溯源技术多依赖有损检测手段,虽能有效区分产地,但面临实验流程复杂、耗时费力及成本高昂等局限。高光谱成像(HSI)技术作为一种高效分析手段,能够同步获取空间与光谱数据,已在多种农产品产地识别中得到应用,但其在猕猴桃产地溯源中的可行性尚未探索。此外,现有研究普遍缺乏对模型的透明化解释,难以理解模型内部的决策机制。同时,虽有研究证实了检测技术在猕猴桃产地溯源中的可行性,但尚未有研究利用HSI数据结合可解释方法构建并阐释猕猴桃产地溯源模型。基于此,研究人员以中国六个产区的猕猴桃为研究对象,开发了基于HSI数据与可解释集成学习方法的产地认证途径,以期在提升判别能力的同时,揭示光谱特征波长与产地之间的关联,增强结果的可靠性。该研究发表于《Artificial Intelligence in Agriculture》期刊,其意义在于将光谱技术从"可预测"推向"可解释",为同类研究提供了重要范式。
研究人员所用的关键技术方法如下。样本来源于中国农业科学院郑州果树研究所提供的2023年商业成熟期"中华猕猴桃2号",涵盖四川成都、云南楚雄、安徽铜陵、湖北十堰、河南开封及河南新乡六个产区,经筛选后共576个样本。采用Rikola便携式高光谱成像仪采集500–900 nm范围共195个波段的光谱数据,经白板校正后提取感兴趣区域(ROI)获取原始光谱反射率数据。数据预处理采用标准正态变量变换(SNV)、Savitzky-Golay(SG)平滑及其组合方法,经KNN模型验证后确定SNV为最优预处理方法。特征选择采用连续投影算法(SPA)筛选特征波长。模型构建采用堆叠集成策略,以SVM、KNN、RF、XGBoost等为候选基学习器,以LR为元学习器,结合5折交叉验证构建两层架构的集成模型。模型解释采用基于博弈论的SHAP方法,对基学习器和元学习器分别进行分层解释,并对整体模型进行全局解释,包括特征重要性排序、蜂群图、热力图、三维贡献图及特征依赖图等可视化呈现。
**光谱预处理与波长选择**
**光谱分析与预处理。** 不同产区猕猴桃的平均光谱曲线呈现相似变化趋势,即反射率随波长从500 nm至900 nm呈现先增后降的趋势。500–700 nm区域反射率较低,与叶绿素吸收相关;700–820 nm区域反射率急剧上升,于820 nm处达到峰值,该波段范围变异性较大,可能蕴含更多产地判别信息;820–900 nm区域反射率逐渐下降,与水分OH基团吸收率增加有关。经SNV预处理后,光谱反射率曲线更为紧凑,有效校正了光散射和基线漂移干扰;SG平滑处理使曲线更为平滑且峰值更突出;SG+SNV组合处理后曲线更为平滑紧凑,但部分关键光谱信息有所损失。经KNN模型验证,SNV预处理效果最优,准确率较原始光谱提升11.91%,故后续分析采用SNV预处理数据。
**光谱特征波长选择。** 采用分层随机抽样按4:1比例将预处理数据集划分为训练集(n=460)和测试集(n=116)。通过SPA算法计算不同波长数量下的均方根误差(RMSE),当RMSE=0.57达到最小值时,筛选出12个特征波长,占全光谱波段的6.15%。所选特征波长主要集中在770–800 nm区域,与猕猴桃内部结构组分相关;893 nm与糖分吸收相关;其余波长主要与色素相关。这些波长能够有效捕捉猕猴桃的生理变化。
**基于堆叠策略的产地溯源建模**
**不同分类器方法的比较。** 以SPA筛选的12个特征波长为输入变量,六种机器学习算法为候选分类器,经网格搜索进行超参数优化。结果显示,KNN、SVM、RF和XGBoost四种算法的各项评价指标均超90%,其中XGBoost表现最优(准确率92.86%),RF次之(92.26%),GNB最差(77.38%),MLP作为深度学习模型亦表现良好(86.9%)。集成学习方法(RF和XGBoost)的预测效果优于单一模型,这归因于其优化策略的差异:RF通过装袋(bagging)降低方差,XGBoost通过提升(boosting)减少偏差。混淆矩阵分析表明,SVM和MLP对部分产地达到100%识别率,但成都产区识别率最高仅82.14%(KNN、MLP、XGBoost),主要误分类为楚雄;铜陵产区常被误判为十堰和新乡。这种分类器在不同类别上的性能差异为后续集成策略提供了依据。
**不同堆叠集成策略的比较。** 从六种候选分类器中选取准确率最优的四種,构建五种堆叠组合策略。Stacking1(SVM+KNN+RF)、Stacking2(SVM+KNN+XGBoost)和Stacking5(SVM+KNN+RF+XGBoost)的性能均有不同程度提升。其中Stacking1以SVM、KNN、RF为基学习器、LR为元学习器的组合达到最高准确率95.24%(精确率95.79%、召回率95.24%、F1分数95.19%),且运行时间最短(0.54 s),较最优单一模型(XGBoost)准确率提升2.38%。Stacking5虽达到94.64%准确率,但计算时间为1.24 s。最优模型的混淆矩阵显示,其对楚雄、十堰、铜陵、新乡四产区识别率达100%,对开封和成都识别率超80%。存在两类误分类:一是铜陵样本被误判为新乡或开封,可能源于品种一致性和农艺措施导致的生理特征趋同;二是成都样本17.86%被误判为楚雄,可能因关键特征波段未有效纳入训练或分类边界模糊所致。该现象在单一分类器中同样存在,表明堆叠策略虽能提升整体性能,但特定产地的区分仍面临挑战。
**基于SHAP的堆叠模型解释**
**堆叠模型的分层解释。** 分析各基学习器的SHAP值发现,特征重要性排序存在差异:SVM中贡献超0.2的波长为730 nm(SHAP 0.59)、893 nm(SHAP 0.59)、546 nm(SHAP 0.33)、787 nm(SHAP 0.27)、686 nm(SHAP 0.23)、796 nm(SHAP 0.23);KNN中为730 nm(SHAP 0.57)和893 nm(SHAP 0.48);RF中为893 nm(SHAP 0.39)、730 nm(SHAP 0.32)、546 nm(SHAP 0.28)、787 nm(SHAP 0.20)、686 nm(SHAP 0.20)。蜂群图进一步揭示了各波长特征值高低与预测结果的关系。对未入选的MLP、GNB、XGBoost进行SHAP分析发现,730 nm、893 nm、546 nm、787 nm在所有框架中均排名靠前,表明其为影响结果的核心因素。元学习器层面,SVM对最终模型输出贡献最大,其次是KNN和RF,验证了该集成策略的合理性。
**堆叠模型的整体解释。** 以168个独立测试样本的特征波长贡献热力图显示,730 nm和893 nm对模型输出具有重要贡献。通过分别计算各产地的SHAP值,揭示了不同特征波长在不同产地类别中的贡献差异:如对楚雄产区,893 nm和795 nm相对更重要。全局特征重要性排序为:730 nm(SHAP 0.59)> 893 nm(SHAP 0.56)> 546 nm(SHAP 0.26)> 787 nm(SHAP 0.22)> 686 nm(SHAP 0.19)> 796 nm(SHAP 0.18)> 781 nm(SHAP 0.14)> 772 nm(SHAP 0.14)> 757 nm(SHAP 0.13)> 795 nm(SHAP 0.10)> 779 nm(SHAP 0.05)> 790 nm(SHAP 0.04)。730 nm和893 nm为模型预测的主导波长,SHAP值超0.5。730 nm位于红边区域,主要反映猕猴桃色素含量和内部组织结构;893、787、796、781、795、790 nm位于近红外短波区域(780–900 nm),主要响应水分和碳水化合物的分子振动(OH键三倍频和CH伸缩振动的合频吸收);546 nm位于540–550 nm吸收区域,与猕猴桃花青素和叶绿素含量相关。蜂群图显示,730、893、546、787、686、796、781、772 nm的低值对预测结果有强正向贡献,而757 nm和795 nm则相反。特征依赖图揭示了关键阈值:546、730、781、787、790、795、893 nm的反射率值增加时,SHAP值由负转正,具有正向影响;796、779、686、757 nm则相反。以730 nm为例,当反射率值大于0.38时对模型输出有显著正向效应。
**优势、局限与展望。** 该研究利用可解释AI深入理解机器学习模型准确识别产地的完整预测逻辑,有效提升了溯源模型的透明度和可信度,推动光谱技术从"可预测"迈向"可解释"。基于具有物理化学意义的特征波长,成功构建了地理产地分类的堆叠模型,通过元学习器整合多基学习器的互补信息,建立了稳健一致的共识决策机制。尽管整体分类准确率显著提升,但六个产区中仍存在两个产区的误分类问题,主要原因可能是个体差异及现有特征波长的代表性不足。此外,SHAP方法的应用解决了传统解释方法(如权重分析和决策路径)在堆叠集成模型中的局限性,不仅量化了各特征波长对整体预测的贡献,还解析了各波长在预测特定产地结果中的作用,同时评估了基学习器的贡献,深化了对堆叠集成模型运作机制的理解。然而,该研究的模型解释性分析聚焦于同一猕猴桃品种,虽消除了遗传特性导致的光谱差异以确保解释可靠性,但限制了其对其他猕猴桃品种的直接通用性。未来研究应优化光谱特征波长选择策略,评估这些特征波长在不同品种间的稳定性,以期在保持溯源模型可解释性的同时增强其泛化能力。
**研究结论**
在认证农产品地理来源的过程中,理解溯源模型最终预测结果的逻辑与其判别准确性同等重要。该研究引入可解释的集成学习方法结合高光谱成像(HSI)技术,构建了更精确可信的猕猴桃地理产地识别模型。结果表明,集成学习策略有助于提升猕猴桃产地识别的效果。其中,整合SVM、KNN和RF基分类器与LR元学习器的堆叠集成方法.stride方法表现最优,准确率达到95.24%,较最优单一模型提升2.38%,表明该堆叠集成策略能够充分放大各基分类器的优势、弥补其不足,提升溯源模型的分类与泛化能力。此外,基于SHAP的特征重要性显示,730 nm和893 nm是区分猕猴桃产地的两个最重要特征波长,这在基分类器和堆叠分类器中均保持一致。其余特征在SVM和最优模型中的重要性排序相同,与KNN和RF模型略有差异。这些信息有助于深入理解各特征波长对溯源模型预测输出的贡献。总之,所提出的可解释集成方法在提升产地溯源准确性的同时,揭示了光谱特征如何贡献于产地决策,为应对光谱技术预测农产品产地的"黑箱"问题提供了有效工具。