《Computers and Electronics in Agriculture》：Non-destructive monitoring method for protected-lettuce yield using deep learning
编辑推荐：
精准获取设施作物表型特征是智能控制与数字育种的关键前提。本研究提出基于多模态特征融合与注意力机制的MFAMNet模型，通过RGB-D同步数据回归测试，实现株高、冠宽、叶面积、鲜重、干重等参数的R2值达0.92-0.96，较传统方法检测效率提升60%。模型创新性地整合深度感知与视觉纹理特征，采用动态稀疏空间注意力机制实现跨模态关联建模，有效解决人工特征提取的主观干扰与噪声敏感问题，为无人化温室精准调控环境参数提供技术支撑。
张晓东|于婷婷|穆罕默德·法拉格·塔哈|周胜汉|周金|张一雪|赵一秋|蔡宗尧|孙静静|潘玉香|平建峰
中国江苏大学农业工程学院，镇江212013
摘要
在温室中，准确获取保护作物的表型特征是实现智能控制和数字育种的关键前提。为了准确评估保护栽培生菜的表型特征，我们开发了一种专门的原位表型检测方法。针对保护栽培生菜，我们设计了“多模态特征与注意力机制表型检测模型”（MFAMNet），并使用分割后的多源图像数据集进行同步回归测试。结果表明，MFAMNet生成的预测值与实测值之间存在强相关性，植物高度、冠幅、叶面积、鲜重和干重的决定系数分别为0.96、0.92、0.95、0.94和0.95。消融实验表明，基于多模态特征融合的深度学习检测框架显著优于单一特征检测模型，这突显了整合多种数据模态的优势。此外，多模态特征注意力机制（MMF）通过捕捉模态间的全局关联并运用动态稀疏空间注意力，促进了模态间和模态内的交互作用。通过对比实验验证了MMF的有效性，证明其适用于人工栽培生菜的表型检测。总之，本研究提出的方法有助于实时监测设施作物，实现保护农业中环境参数的精确控制，并优化资源分配，为智能农业系统的开发奠定了基础。
引言
植物表型分析是农业生产中的关键工具，能够促进生长并提高产量，这对维持全球人口至关重要（Cardellicchio等人，2023年；Gao等人，2024年）。在分析植物表型时，测量和评估与生长、产量及其他重要农业特征相关的复杂性状至关重要（Zhu等人，2023年；Zhu等人，2023年）。近年来，植物表型分析技术的进步解决了许多相关问题，图像分析系统在表型研究中得到广泛应用（Vit等人，2020年）。这对于像生菜这样的高生长率和高经济价值的作物尤为重要，因为准确的表型分析对于优化产量和质量至关重要。
传统的生菜表型分析方法，如人工观察和基本图像分析，由于主观性强、效率低且准确性不足而存在显著局限性（Mohamed等人，2022年；Zhu等人，2023年；Zhu等人，2023年）。实验室化学分析虽然详细，但具有侵入性，不适合原位测试（Gao等人，2022年；Shi等人，2021年）。相比之下，计算机视觉技术通过非侵入式图像采集减少了作物干扰，提高了效率并实现了原位检测（Kumar等人，2015年）。该技术利用RGB相机、深度相机和LiDAR等传感器，结合传统的机器学习算法，有效将作物图像与背景分离（Tsaftaris & Noutsos，2009年）。此外，基于分割后的图像，通过分析像素数量（Jung等人，2015年）、叶面积指数（Sandmann等人，2013年）和几何特征（Reyes-Yanes等人，2020年；Zhu等人，2023年；Zhu等人，2023年）等预测因子，手动提取特征以预测作物生物量。然而，这些特征提取过程主要依赖于人工设计的图像特征，对于低级图像特征提取的泛化能力有限，且通常较为复杂（Mortensen等人，2018年）。
深度神经网络的最新发展为图像分析算法开辟了新途径（Vit等人，2020年）。经过充分数据训练后，这些网络在应对光照变化、视角变化和尺度变化方面优于以往提出的视觉特征（LeCun等人，2015年；Rui等人，2024年）。深度卷积神经网络（DCNN）作为卷积神经网络（CNN）的扩展，具有更深的架构和更复杂的层次连接，能够提取高级特征并解决更复杂的视觉任务（Ma等人，2019年；Ojo等人，2024年）。
多项研究表明，多模态图像融合通过从多种类型的多模态数据中提取有价值的信息来改善决策（Zhao等人，2024年）。相关多模态融合工作在表S1中进行了分类和简要分析。在农业领域，RGB-D图像尤为重要，因为它们包含颜色信息并为每个像素提供深度数据。其结构特性与中阶段融合的特征提取机制高度契合，有助于准确测量目标植物的表型特征（Ojo等人，2024年）。Xu等人开发了一种通过RGB和深度图像的多模态融合来估算生菜鲜重的方法，与传统CNN模型相比，决定系数（R2）提高了0.028（Xu等人，2023年）。Lin等人构建了一个多分支回归模型，融合了颜色、深度和几何特征来估算作物鲜重，得到的均方根误差（RMSE）为25.3克（Lin等人，2022年）。然而，多模态数据的融合目前主要是显式的，仅提供基本指导，难以满足有效检测所需的互补和冗余信息（Zhao等人，2024年）。特征提取器在处理多模态信息时严重依赖特定任务的先验知识和相应数据。由于每个提取器通常独立运行，识别数据中的互补性和冗余性变得具有挑战性，可能导致信息丢失和模型性能下降（Zhao等人，2024年）。因此，在机器学习（ML）领域，探索一种能够自主学习互补和冗余信息并最小化主观干扰的特征融合方法仍是一个关键挑战。
在本研究中，我们提出了一种深度学习模型，该模型利用多模态融合和自适应注意力机制直接从RGB-D数据中提取生菜的关键表型参数。这些参数包括植物高度、冠幅、叶面积、鲜重和干重。通过采用中期特征融合策略和跨模态注意力模块，我们实现了空间特征和纹理特征的联合建模。为了解决传统图像处理技术中特征选择弱和噪声敏感度高的问题，引入了一种创新的深度学习注意力机制以及自适应权重分配策略，显著增强了模型对关键表型区域的关注能力。与现有方法相比，本研究开发的端到端表型分析模型在多个技术方面取得了显著进步：（1）建立了原始RGB-D数据与多维表型参数之间的直接映射关系，消除了传统手动特征提取和图像预处理的需要，从而将检测效率提高了60%；（2）通过将深度传感器的三维信息与RGB图像的纹理特征相结合，构建了一个具有空间感知能力的多模态网络架构，关键表型参数的检测准确率达到96%。
数据集
本研究使用的数据来自Wageningen大学、研究中心和腾讯实验室组织的“Homemade Greenhouse International Challenge III”生菜数据集（Hemming等人，2021年）[数据集]。该数据集包含四种生菜品种：Lugano、Aphylion、Solanova和Satine，前两种为绿叶品种，后两种为红叶品种，均由Rijk Zwaan公司培育。实验在96平方米的温室中进行。
2D图像分割结果
针对不同生长阶段的保护栽培生菜，开发了相应的U-Net模型。将代表不同生长阶段的生菜图像输入U-Net模型进行训练，并记录了每次迭代的平均损失和MIoU值。如图3所示，U-Net模型在不同生长阶段的分割生菜方面表现出色，有效捕捉了不同生菜之间的颜色和叶形态变化。
结论
在本研究中，我们开发了一种基于多模态特征融合和注意力机制的非破坏性原位监测框架，用于追踪在受控条件下生长的生菜的关键表型参数。利用成本效益高的结构光相机捕获的多模态数据，MFAMNet模型实现了显著的预测准确性，NMSE值低于0.077，表型参数的决定系数（R2）超过0.92。
资金来源
本工作得到了中国国家重点研发计划（编号2022YFD2000900）和江苏大学农业设备部门项目（编号NZXB20210106）的支持。
CRediT作者贡献声明
张晓东：撰写 – 审稿与编辑、方法论、资金获取、概念化。于婷婷：撰写 – 初稿撰写、可视化、验证、方法论、调查、正式分析、数据管理。穆罕默德·法拉格·塔哈：撰写 – 审稿与编辑、方法论、正式分析、数据管理。周胜汉：撰写 – 审稿与编辑、方法论。周金：撰写 – 审稿与编辑、数据管理。张一雪：资金获取、正式分析。赵一秋：撰写 –
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。
致谢
作者感谢瓦赫宁根大学与研究中心举办的“Autonomous Greenhouses International Challenge 3rd”活动提供了不同品种的RGB-D图像和相应的手动测量数据。此外，作者还感谢江苏大学提供的技术支持。
