利用多任务机器学习和深度学习技术，通过高光谱成像同时预测多种小麦叶片表型

《Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy》：Simultaneously prediction of multiple wheat leaf phenotypes using hyperspectral imaging with multi-task machine and deep learning

　　傅晓宇|姚莉莉|张新成|肖雨欣|高凯|刘文杰|张勤锋|齐恒年|张楚|赵怡颖中国浙江省湖州市313000，湖州师范学院信息工程学院摘要叶绿素含量（以土壤与植物分析仪发展值SPAD表示）和叶片含水量是小麦生长过程中的两个关键生理表型特征，不同小麦品种间的这些特征差异反映了作物的生长状况、胁迫反应以及育种评估情况。因此，同时实现小麦品种识别以及SPAD和叶片含水量预测，对于精准作物监测具有重要意义。本研究采用高光谱成像技术获取四种小麦品种的叶片光谱信息，经过光谱预处理和异常值筛选后，保留了684个有效样本用于模型构建与评估。研究者分别运用支持向量机、偏最小二乘法、卷积神经网络以及多任务卷积神经网络算法，构建了用于小麦品种分类、SPAD预测和叶片含水量预测的单任务模型与多任务模型。在多任务卷积神经网络模型中，设计了共享的一维光谱特征提取模块以及三个针对不同任务的分支，并比较了等权重策略、可调节正则化加权策略以及基于不确定性的加权策略。最优的单任务模型在测试集上的分类准确率为0.75，其中SPAD的相关系数为0.83，叶片含水量的相关系数为0.84。采用等权重策略的多任务卷积神经网络模型在三类任务上均表现出较好的性能，分类准确率为0.69，SPAD的相关系数为0.84，叶片含水量的相关系数为0.81。此外，研究还通过基于Shapley加性解释方法的可视化技术，分析了单任务卷积神经网络模型及多任务卷积神经网络模型中各任务分支的重要波长，进而解读了共享特征与特定任务相关的光谱贡献。这些结果表明，结合多任务学习的高光谱成像技术为小麦叶片表型的综合分析提供了一种可行且具有可解释性的光谱分析方法。引言小麦是全球最重要的粮食作物之一，在保障全球粮食安全方面起着核心作用。它被广泛种植并消费于不同地区，是人们获取能量和植物蛋白的重要来源。在中国，小麦、水稻和玉米被视为三大主要粮食作物。在作物生长监测与管理中，叶片是传递植物健康状况的重要载体。小麦叶片的形态特征能够直观反映其生长环境，而生理特征则能体现其内部代谢活动情况。在这些特征中，与叶绿素相关的SPAD值以及叶片含水量与作物的营养状况、光合作用能力、水分平衡以及胁迫响应密切相关。不同生长阶段中，与叶绿素相关的特征变化是衡量养分水平和光合能力的敏感指标，也被广泛用于评估氮素状况和光合潜力。土壤与植物分析仪发展值SPAD与叶绿素含量呈正相关，因此常被用作快速、无损的替代指标，用于反映叶片中与叶绿素相关的变化情况。叶片含水量则与水分平衡、抗旱能力以及生理活性密切相关，是评估作物耐逆性和活力的重要参数。在精准农业中，SPAD和叶片含水量被广泛用于诊断作物的营养状况、监测胁迫反应以及辅助产量预测。不同小麦品种可能具有因品种差异而产生的生理和生化特性，包括色素积累、水分调节、光合效率以及光谱反射响应等方面的差异。因此，从品种特异性的角度对SPAD和叶片含水量进行建模，有助于了解不同小麦品种之间的表型差异，从而为更精准的作物生长监测和育种评估提供依据。传统的叶片生理特征检测方法往往依赖于破坏性采样和实验室化学分析，不仅耗时较长，也不适合大规模的快速监测。高光谱成像技术则通过将成像技术与光谱分析相结合，提供了一种无损的替代方案，能够同时获取植物样本的空间信息和光谱信息。在可见光、近红外以及短波红外波段，叶片的光谱响应与色素吸收、水分吸收、组织结构以及生物化学成分密切相关。尤其是短波红外光谱，会受到与水分状况、叶片内部结构、有机化合物以及OH、CH、NH键振动相关的吸收和散射过程的影响。因此，需要通过波长级别的分析来明确不同光谱区域对品种分类和生理特征预测的贡献程度。通过连续采集并叠加多个波长的光谱图像，高光谱成像技术可以生成包含二维空间信息和一维光谱信息的三维数据立方体。近年来，该技术已被广泛应用于植物表型分析领域，包括盐分胁迫预测、叶绿素相关特征估算以及物种分类等。在小麦研究中，高光谱成像也被用于检测氮素状况和与水分相关的特征。近期研究表明，结合机器学习和深度学习的高光谱成像技术在作物监测和植物表型分析方面具有广泛的适用性。有一篇综述总结了高光谱成像技术和人工智能算法在多种作物、不同光谱范围以及不同建模策略下的应用，涵盖了作物病害检测、作物分类、养分估算、品种识别以及植物表型分析等多个方面。在小麦研究中，HyperLeaf2024数据集提供了小麦旗叶的高光谱图像，以及与之对应的分类和回归目标数据，包括品种、施肥量、产量、气孔导度以及叶绿素荧光等信息，充分体现了叶片级高光谱成像技术在处理分类型和连续型表型任务方面的潜力。此外，基于无人机的高光谱成像技术也被用于估算小麦的叶面积指数和叶绿素特征，以预测产量，进一步证明了高光谱数据在评估小麦生理特征方面的价值。除了小麦之外，高光谱或多光谱成像技术还被应用于玉米叶绿素含量估算、玉米缺氮检测及作物特征量化，以及牛油果、橄榄和葡萄叶片的化学特征与水分状况评估，表明光谱成像技术已在多种作物和不同研究区域得到广泛应用。然而，目前大多数研究主要集中在单一目标分类、单一特征回归，或是多个连续特征的联合预测上。例如，有研究采用深度多任务回归技术同时预测水稻叶片的SPAD值和含水量，但并未将品种分类纳入同一建模框架中。近期研究显示，像Shapley加性解释这样的可解释人工智能方法，可用于识别具有信息价值的光谱波段，并解释高光谱图像分类过程中各波长的贡献程度。此外，许多现有的高光谱研究主要侧重于预测精度，而对于不同表型任务背后波长级别的贡献模式往往缺乏足够的解析。尤其需要明确的是，哪些波长区域对品种分类、SPAD预测和叶片含水量预测有贡献，以及这些任务是基于共享的光谱信息还是特定任务的波长响应。近期也有类似基于Shapley方法的解析研究，用于将高光谱波长贡献与植物生理响应联系起来，进一步体现了可解释光谱建模的价值。因此，目前仍在统一叶片级高光谱多任务框架下，同时整合品种分类、SPAD预测、叶片含水量预测以及波长级别光谱解析的研究相对较少。这一不足促使人们致力于开发一种集成化且具有可解释性的多任务光谱建模策略，用于小麦叶片表型分析。传统方法通常侧重于单任务建模，即分别构建和优化分类模型或回归模型。尽管这类模型能够为单个目标实现可靠的预测性能，但未能充分利用不同表型特征之间的潜在关联。传统的机器学习方法，如支持向量机和偏最小二乘法，通常通过统计建模和特征空间投影来实现可靠性能，尤其适用于规模较小的光谱数据集。相比之下，深度学习方法能够自动学习非线性的光谱表示形式，在高维光谱建模方面展现出巨大潜力。不过，其性能取决于数据规模、模型架构、任务复杂度以及训练策略。多任务学习近年来逐渐受到重视，因为它能够在统一的框架内对多个相关任务进行建模，并允许在不同任务之间学习共享的特征表示。在小麦叶片表型分析中，品种身份、SPAD值和叶片含水量虽然在生理上存在关联，但对应的建模目标却有所不同，包括分类和回归两类。一片叶片的光谱实际上反映了由品种特性决定的结构、与色素相关的生理状态、水分状况以及生物化学成分等多种因素的混合响应。因此，将小麦品种分类、SPAD预测和叶片含水量预测整合到同一个框架中，不仅可以减少单独构建模型的需求，还有助于更全面地解析与品种相关的生理变异。这种集成的多任务光谱建模策略正是本研究的主要贡献之一。在多任务学习框架中，损失函数的设计至关重要，因为分类任务和回归任务在优化目标、梯度传播方式、损失尺度以及收敛行为等方面存在显著差异。为探究任务权重对多任务光谱建模的影响，本研究比较了三种损失加权策略：等权重策略、可调节正则化加权策略以及基于不确定性的加权策略。这些策略用于评估训练过程中不同任务贡献的协调方式，帮助找到小麦品种分类、SPAD预测和叶片含水量预测之间的合适平衡点。除了预测性能之外，模型的可解释性也很重要，它能够帮助我们明确多任务模型是依赖共享的光谱区域、特定任务的光谱特征，还是两者兼有。因此，本研究引入了基于Shapley方法的波长贡献分析，用于量化每个输入波长对基于卷积神经网络模型输出的贡献程度，从而为共享的特征提取模块以及特定任务的分支提供光谱层面的解释。本研究选择了四种小麦品种作为研究对象，分别是农林麦1号、浙杭麦9号、嘉麦2211号和浙香麦1号。研究结合高光谱成像技术以及机器学习和深度学习模型，旨在识别小麦品种类型，并根据叶片光谱预测SPAD值和叶片含水量。具体的研究目标包括：(1)构建用于小麦品种分类的单任务模型，包括支持向量分类模型、偏最小二乘判别分析模型以及卷积神经网络模型；同时构建用于预测SPAD值和叶片含水量的单任务模型，包括支持向量回归模型、偏最小二乘回归模型以及卷积神经网络模型；(2)建立并比较用于同时实现小麦品种分类、SPAD值预测和叶片含水量预测的多任务模型，包括多任务支持向量机模型、多任务偏最小二乘模型以及多任务卷积神经网络模型；(3)比较多任务卷积神经网络框架中不同的损失加权策略，评估它们对任务平衡以及整体多任务性能的影响；(4)通过基于Shapley方法的波长贡献分析，识别与不同任务相关的光谱区域，解析基于卷积神经网络模型所使用的共享光谱信息以及特定任务相关的光谱信息。样本采集研究从湖州农业科学院的试验田中采集了新鲜的小麦叶片样本。共选择了四种小麦品种，分别为农林麦1号、浙杭麦9号、嘉麦2211号和浙香麦1号。为提高模型的稳健性并覆盖更广泛的生理变异范围，从每个品种中选取了绿色程度不同的叶片，包括深绿色、黄绿色和淡黄色叶片。采样工作在连续两天的上午7点进行。不同品种小麦叶片的光谱不同品种小麦叶片的光谱特性受色素、水分状况、组织结构以及生物化学成分的影响，因此叶片的光谱反射率能够为了解植物的生长状况和生理变异提供有用信息。图3展示了这四种小麦品种在970–1670纳米近红外/短波红外波段的平均反射光谱，其中x轴表示波长，y轴表示光谱反射率。总体来看，这些光谱……讨论本研究的意义在于探讨将高光谱成像技术与多任务学习相结合，用于无损评估小麦叶片表型特征的可行性。SPAD值和叶片含水量是与叶绿素状况、光合潜力、水分状况以及胁迫响应相关的关键生理指标，而这些因素都与作物的生长和产量形成密切相关。快速、准确地获取这些指标，能够为作物生产提供重要支持。结论本研究基于高光谱成像技术构建了一个多任务学习框架，将小麦品种分类、SPAD值预测和叶片含水量预测整合到了统一的光谱建模流程中。研究同时构建了单任务模型和多任务模型并进行了比较。在单任务模型中，支持向量分类模型在分类任务上表现最佳，测试集上的分类准确率为0.75；而在回归任务中，偏最小二乘回归模型的表现最好，SPAD值的相关系数为0.83，叶片含水量的相关系数为0.84。CRediT作者贡献声明傅晓宇：方法学、可视化、软件工具、验证、正式分析、研究调查、数据整理、论文初稿撰写、论文审阅与修改。姚莉莉：验证、正式分析、论文审阅与修改。张新成：资源保障、论文审阅与修改。肖雨欣：软件工具、研究调查、论文审阅与修改。高凯：研究调查、论文审阅与修改。刘文杰：调研、写作——审阅与编辑。张勤峰：调研、写作——资金支持。本项工作得到了中肯小麦联合体试验的资金支持。利益冲突声明：作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。