可解释机器学习与高光谱成像结合在小麦产量早期预测中的比较分析

《Talanta》:Comparative Analysis of Explainable Machine Learning Integrated with Hyperspectral Imaging for Early Prediction of Wheat Yield

【字体: 大 中 小 】 时间:2026年05月08日 来源:Talanta 6.1

编辑推荐:

  Md. Zohurul Islam | Most. Mira Khatun | Md Sadiul Alam Chyon | Rashid Anzoom | Md. Niaz Imtiaz | S.M. Hasan Sazzad Iqbal | Md. Shafiul Azam

  
Md. Zohurul Islam | Most. Mira Khatun | Md Sadiul Alam Chyon | Rashid Anzoom | Md. Niaz Imtiaz | S.M. Hasan Sazzad Iqbal | Md. Shafiul Azam | Md. Abdur Rahim | Md Wadud Ahmed | Md. Toukir Ahmed
计算机科学与工程系,帕布纳科学技术大学,帕布纳-6600,孟加拉国

摘要

小麦是全球种植最广泛的作物之一,为数百万人提供了必要的营养。准确及时的小麦产量预测对于战略规划和决策至关重要,特别是通过在田间尺度上的早期预测来支持精准农业。最近,结合了机器学习(ML)技术的高光谱成像(HSI)已成为评估作物特性和预测产量的一种可靠且有效的方法。本研究将可见光近红外(VNIR)HSI数据(400-1000 nm)与可解释的ML模型相结合,以提高早期和准确的小麦产量预测,并实现基于图像的全面农业分析。比较了偏最小二乘回归(PLSR)、随机森林(RF)和卷积神经网络(CNN)的性能。使用贝叶斯优化方法优化了CNN模型的超参数,其性能优于优化后的PLSR和RF模型,R2为0.76,RMSE为1022.24 gm/plot,RPD为2.03。进一步采用了三种不同的人工智能(XAI)方法(Kernel-SHAP、Tree-SHAP和DeepExplainer)来分析PLSR、RF和CNN模型的预测结果,并确定关键波长的相对重要性。利用这些关键波长开发的CNN模型还被用来可视化对产量预测最有影响力的叶片区域的空间分布。这些发现证明了将HSI与可解释的ML相结合在高级农业分析和可靠的早期产量预测中的有效性。

引言

小麦是全球最重要的粮食作物之一,约35-40%的全球人口依赖它作为主要食物来源。它提供了全球总食物能量的近21%和大约20%的蛋白质摄入量[1]。随着世界人口的持续增长,预计对食物的需求将大幅增加,到2050年作物产量需要几乎翻倍[2]。这些预测突显了提高农业生产力和加强全球粮食安全的紧迫性。在这种情况下,准确评估小麦的生长和产量对于满足未来的食物需求至关重要。作为广泛种植的作物,小麦在全球粮食系统中发挥着核心作用。可靠且及时的产量估计使政策制定者和农业管理者能够做出明智的决策,制定有效的粮食政策,并稳定市场价格。“早期预测”指在收获前——理想情况下是在生长季节期间——预测谷物产量,以便为农民和农学家提供足够的时间来实施纠正性管理措施,如补充灌溉、调整养分或疾病控制[3]、[4]。
传统上,小麦产量是通过地面实地调查和人工测量来估算的[5]。尽管这些方法在小规模上可以提供准确的结果,但它们劳动密集、耗时,不适合大规模或实时监测。因此,传统的做法往往无法满足现代农业的需求。这就迫切需要快速、可扩展且可靠的小麦产量估算技术。
高光谱成像(HSI)已成为农业研究中的强大且非破坏性的技术[6]、[7]、[8]。与传统仅捕获少数宽光谱带的成像系统不同,HSI记录了每个空间像素在数百个狭窄连续波长下的详细光谱特征[9]。这些丰富的光谱信息使得能够精确描述作物状况,并已广泛应用于农业中的疾病检测、养分评估和产量预测等任务[10]、[11]。然而,HSI收集的大量光谱信息会导致非常大的数据立方体,需要大量的存储空间和传输带宽[9]。此外,通常只有相对较小的一部分光谱带包含特定应用中最相关的信息[12]。高维度和波段之间的强相关性给模型开发带来了额外的挑战,增加了计算复杂性,并可能降低预测性能[13]。因此,在利用高光谱数据进行作物监测和产量估算时,有效的基于机器学习的化学计量策略至关重要。
为应对高维高光谱数据的挑战,广泛采用了线性和非线性机器学习方法,包括偏最小二乘回归(PLSR)和随机森林(RF)。PLSR通过结合回归和降维原理有效地管理多相关性,非常适合相关光谱数据集[14]。相比之下,RF通过聚合基于随机选择的数据子集构建的多个决策树的预测来捕捉复杂的非线性关系,尽管其集成结构可能会降低可解释性[15]。最近,诸如卷积神经网络(CNN)之类的深度学习模型在自动学习分层光谱特征方面表现出强大的性能。值得注意的是,具有一个或两个卷积层的浅层CNN架构在某些应用中已被证明优于传统方法[16]、[17]。因此,本研究应用了一维CNN(1D-CNN)模型进行基于高光谱图像的产量预测。尽管基于深度学习的化学计量模型通常能实现高预测准确性,但它们经常因透明性有限而受到批评,并常被视为“黑箱”系统[18]、[19]。缺乏对预测机制的清晰了解可能会阻碍用户的信心和实际应用[20]、[21]。因此,提高模型的可解释性对于建立信任和促进深度学习方法在农业和光谱分析中的可靠应用至关重要。
最近,可解释人工智能(XAI)作为一个重要的研究领域出现,旨在提高机器学习模型的透明性和可解释性[22]。简单来说,XAI旨在通过识别最强烈影响模型输出的 feature 来阐明模型如何生成预测结果。在可用的XAI技术中,Shapley Additive exPlanations(SHAP)因其揭示多变量输入与模型预测之间复杂关系的能力而受到广泛关注。SHAP是一种基于博弈论的独立于模型的方法,为每个特定预测为各个 feature 分配贡献分数。在化学计量和光谱分析中,SHAP值特别有用,因为它们量化了化学性质或光谱波长等因素对模型结果的影响。这使研究人员能够识别驱动预测的最重要因素,并理解每个 feature 在决策过程中的作用。通过提高透明性和可解释性,SHAP增强了预测模型的可靠性,并为未来的研究和实际应用提供了有价值的见解。此外,不同的基于SHAP的方法,包括用于通用模型的Kernel-SHAP、用于基于树的算法的Tree-SHAP以及用于深度神经网络的DeepExplainer,促进了跨各种机器学习框架的模型特定解释[23]。然而,尽管SHAP具有巨大潜力,但在光谱研究中的应用仍然相对有限。
将可解释的机器学习与HSI结合提供了一个实用且数据驱动的早期小麦产量预测框架。这种方法不仅提高了预测准确性,还通过阐明农艺特征与光谱变量之间的关系,增强了结果的可靠性和可解释性。尽管已有几项研究调查了用于小麦产量估算的光学传感和化学计量技术,但全面的可解释分析仍然有限[24]。例如,先前的研究使用无人机获取RGB图像并结合CNN模型来预测冬小麦的谷物产量[25],而其他研究则结合了光谱指数、地面测量的植物高度以及从基于无人机的HSI数据中得出的植物高度,使用PLSR、人工神经网络(ANN)和RF等回归方法[26]。然而,针对HSI数据的应用可解释机器学习技术的比较研究仍然很少。因此,本研究旨在使用叶片级别HSI和可解释的机器学习模型提供早期、准确且可解释的小麦产量预测。具体目标是通过对高光谱图像进行分割来提取光谱信息,开发和优化PLSR、RF和1D-CNN模型进行产量预测,使用Kernel-SHAP、Tree-SHAP和DeepExplainer解释模型输出以识别关键波长,并可视化与产量预测相关的叶片区域的空间分布。方法框架的概述见图1。

章节摘录

样本收集和高光谱图像参数

本研究使用了来自HyperLeaf2024数据集的小麦叶片样本[27],这些样本是在2023年丹麦Taastrup的一个冬小麦田间试验中收集的,坐标为北纬55.671060度、东经12.303205度。高光谱图像是在生长季节(即从开花到早期灌浆阶段)采集的,大约在收获前几周。这种时间选择使得早期产量预测成为可能,为农艺干预提供了足够的准备时间。

光谱特性

图3展示了400至1000纳米范围内小麦叶片的原始反射光谱,其中显示了70个代表性样本,并用颜色条表示相应的产量值。光谱在400至450纳米范围内显示出急剧下降,随后在420至560纳米范围内逐渐增加,在700至730纳米范围内显著上升。400至750纳米可见光范围内的光谱变化主要与叶片颜色有关

结论

本研究证明了将高光谱成像与经过良好优化和可解释的机器学习模型结合用于小麦产量预测的有效性。通过结合PLSR、RF和贝叶斯优化的CNN以及多种可解释的AI技术(包括Kernel SHAP、Tree SHAP和DeepExplainer),该方法实现了可靠的预测性能,同时提高了模型决策的透明度。在评估的模型中,贝叶斯优化的CNN表现最佳

CRediT作者贡献声明

Md. Zohurul Islam:撰写——审稿与编辑、初稿撰写、可视化、方法论、数据分析、概念化。Most. Mira Khatun:撰写——审稿与编辑、初稿撰写、验证、监督、资源提供、调查、概念化。Md Sadiul Alam Chyon:撰写——审稿与编辑、初稿撰写。Rashid Anzoom:撰写——审稿与编辑、初稿撰写。Md. Niaz Imtiaz:撰写——审稿与编辑、撰写——

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

利益冲突声明

作者声明他们没有利益冲突。

致谢

本工作由帕布纳科学技术大学的研究与技术转移部门资助。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号