利用深度神经网络实现藏红花适时采收的检测技术

《Biosystems Engineering》：Saffron harvestability detection with deep neural networks for just-in-time harvesting

　　摘要：藏红花花蕊的质量取决于采摘时机，在花朵即将开放之前达到最佳状态。本文探讨了即时采摘藏红花的问题，即在藏红花品质最佳时进行采摘。即时采摘需要能够区分可采摘的藏红花花蕾和花朵与未成熟的花蕾。目前关于藏红花检测的研究仅聚焦于已开放的花朵，无法识别可采摘的花蕾。本文提出了一种解决方案，利用深度神经网络来识别可采摘的藏红花花朵和花蕾，并将其与未成熟的花蕾区分开来。该检测模型是在2023年10月收集的35,472张藏红花图像上训练而成的。这一数据集的规模是迄今为止所有其他藏红花图像数据库的10倍，也是唯一一个涵盖藏红花从萌发、生长到开花全阶段的数据库。藏红花花朵和花蕾被标记为“可采摘”“不可采摘”或“不确定”。该检测模型在识别和区分可采摘的藏红花与未成熟的藏红花方面达到了93.1%的平均精确度，成为首个能够识别可采摘藏红花花蕾的检测模型。该模型可用于自主采摘机器人上，以便在花朵品质最佳时进行采摘。本文还深入讨论了数据收集方法、数据集结构以及在模型训练中使用人工标注数据等方面的局限性，这些都是农业自动化中的关键问题。

引言：藏红花是番红花花蕊的红色部分，堪称世界上最昂贵的香料（Benoit, 2024; Cardone等, 2020）。其高昂的价格源于繁重的种植过程，尤其是从田间采摘藏红花花朵以及将花蕊与花瓣分离的工作。伊朗是全球最大的藏红花供应国，产量占全球总量的90%，印度、西班牙和摩洛哥等国也有产量（Cardone等, 2020）。由于劳动力成本高昂，美国难以实现大规模的藏红花生产。采摘藏红花花朵是整个种植过程中最为费力的环节，几乎完全依赖手工操作，工人需要弯腰或蹲伏数小时来采摘花朵。为实现机械化采摘，人们提出了多种方案，比如在拖拉机侧面安装可让工人平躺采摘的滚动座椅和床铺，还有各种背负式系统，通过末端执行器切断藏红花茎干并利用真空装置吸取花朵，从而提高采摘效率（A. Denarda等, 2021; M. H. Saeidirad, 2020）。藏红花采摘的另一个挑战在于时机选择。藏红花的品质取决于藏红花花蕊中存在的挥发化合物——藏红花醛、藏红花素和番红花素的浓度，这些化合物赋予了藏红花独特的香气和颜色（Gandomzadeh等, 2024）。研究表明，与已开放和半开放的花朵相比，花蕾中的这些化合物浓度最高（M. H. Saeidirad等, 2014）。在花朵开放后一两天采摘的，其化合物浓度也会低于开花当天采摘的，这可能是由于暴露在紫外线环境下导致的生物降解和氧化作用（Erden & ?zel, 2016; Ordoudi & Tsimidou, 2007）。为了保持藏红花的质量和价值，通常在清晨花朵尚未完全开放时进行采摘（Thakur & Dutt, 2021）。但由于花朵在一天中的不同时间会依次开放，那些在清晨采摘之后才开放的花朵会在次日清晨被采摘前暴露在阳光下数小时，这会降低藏红花整体的品质（Erden, K., & ?zel, A., 2016; Esmaeilian等, 2012）。图1展示了两朵藏红花，一朵尚未完全开放，尚不宜采摘；另一朵则已部分开放，可以采摘。在采摘过程中使用自主农业机器人有望大幅降低劳动力成本和工人疲劳度，同时提高采摘质量。配备摄像头和夹持器的自主移动机器人可以持续监测田地，在花朵完全成熟、准备采摘时立即将其摘下。这种即时采摘方式可以最大程度避免因长时间暴露在阳光下而导致的品质下降。Antonelli等（Antonelli等, 2011）、Asimpolous等（Asimopoulos等, 2013）以及Priyadharshini等（Priyadharshini等, 2023, 第1745–1750页）都提出了自主采藏红花机器人的方案。只有Antonelli设计了相应的机器，但其测试仅在实验室环境中进行。这些研究都采用了基于视觉的藏红花检测技术，但都没有解决为即时采摘而区分可采摘花蕾与未成熟花蕾的问题。要实现即时采摘，机器人必须具备强大的现场识别能力，能够准确判断花朵何时可以采摘，即区分仍在发育中的花蕾与即将开放的花蕾。这种对花蕾不同生长阶段的区分比单纯区分花蕾与已开放花朵更为复杂，也是提升藏红花品质的关键。此外，该系统还需具备物体检测功能，能够确定图像中每朵花朵的位置，为夹持器提供采摘位置。图2展示了即时采藏红花流程的示意图，包括模型训练和部署环节。此前，藏红花花朵识别模型的发展主要依赖于传统的图像处理技术。一些研究通过颜色通道（如灰度或色调）对图像进行二值化处理，利用直方图确定阈值边界，再通过形态学运算清理得到的掩膜（Gracia等, 2009; Jafari等, 2014）。图3展示了这一过程的示意图。这些方法在将藏红花花朵与背景分离方面取得了成功，分类准确率可高达99%。不过它们也存在局限性。Gracia等在光线均匀、背景一致的受控环境中进行了检测（Gracia等, 2009），由于颜色阈值容易受光线变化的影响，该模型可能不适用于实际田间环境。Jafari等则使用了阈值分割技术以及基于田间数据训练的简单四层人工神经网络（Jafari等, 2014），但这些模型仅使用了20张完全开放的花朵图像进行训练，因此很可能无法适应现实田间环境中各种条件的花朵。近年来，深度神经网络已成为物体检测领域的标准技术（Zou等, 2023）。深度神经网络能够捕捉超出颜色范围的细节和模式，非常适合用于环境复杂且不规则的农业任务。大多数深度神经网络，如R-CNN和YOLO系列模型（包括Faster-RCNN（Ren等, 2016）、YOLOv8（Jocher等, 2023）、YOLOv9（C.-Y. Wang, Yeh, & Liao, 2024）、Yolov10（A. Wang, Chen等, 2024）、YOLO11（Jocher & Qiu, 2024）以及YOLOv12（Tian, Ye, & Doermann, 2025年2月18日）），都以卷积神经网络作为提取和分类图像特征的主要机制。最新的创新技术是视觉Transformer，它通过自注意力机制来提取特征。虽然从YOLOv8开始，YOLO系列模型就引入了一定程度的自注意力机制，但像DINOv3（Siméoni等, 2025）这样的新型架构则完全采用视觉Transformer，取得了良好效果。还有RT-DETRv2（Lv等, 2024）和YOLOv12这类模型则采用结合了卷积神经网络和视觉Transformer的混合架构。深度神经网络在藏红花花朵检测领域才刚刚开始得到应用。Makarian等使用在291张图像上训练的Xception深度神经网络框架，对图像进行分类，判断其中是藏红花叶片（非花朵）还是杂草（Makarian & Saedi, 2024）。Nazeer等则利用在无人机拍摄的3600张图像上训练的YOLOv8模型，首先识别出单个花朵，再据此判断田地的覆盖情况（Nazeer等, 2024）。Priyadharshini等则使用在200张图像上训练的定制深度神经网络，对图像进行分类，判断其中是否含有藏红花（Priyadharshini等, 2023, 第1745–1750页）。Denarda等则在1024张图像上训练了YOLOv8和Faster R-CNN模型，用于从花蕾中检测藏红花花朵（A. R. Denarda等, 2025）。这些研究大多使用的数据集规模都非常小。只有Nazeer等使用的数据集（Nazeer等, 2024）包含了不同高度、角度和光照条件下的多种图像，但这些图像似乎主要都是完全开放的花朵。无论是颜色过滤方法，还是基于深度神经网络的藏红花检测方法，都不适合解决即时采摘藏红花的问题。因为未成熟的藏红花花蕾与完全开放的花朵颜色相同，所以颜色过滤方法始终难以区分可采摘的花朵和花蕾与未成熟的花蕾。在深度神经网络相关方法中，也没有任何模型被训练用于识别藏红花花蕾，因此无法在花朵绽放前进行采摘。所使用的所有数据集在规模和多样性上都不足以有效区分可采摘的花蕾与正在发育的花蕾。本文旨在弥补这些不足，开发出一个能够识别可采摘藏红花花蕾的检测模型。本文的目标是通过开发一种强大的深度神经网络物体检测模型，为即时采摘藏红花问题提供解决方案，该模型能够：（a）识别藏红花花朵和花蕾；（b）准确判断哪些是可以采摘的。目前，文献中尚无任何研究具备这种区分可采摘性的能力。为开发该模型，我们收集并标注了一个包含35,472张藏红花花朵图像的数据集，这些图像涵盖了从花朵从地面萌发到开花、凋谢的整个生长周期。我们用这个数据集训练了八种不同的深度神经网络物体检测模型。本文介绍的检测模型是首例能够准确识别藏红花花蕾的可采摘性，从而实现即时采摘的模型。此外，本文还探讨了人工标注对模型不确定性和性能的影响，为相关研究提供了参考。

材料与方法：本研究旨在训练一种深度神经网络物体检测模型，用于即时采摘藏红花。本节介绍了数据集的收集、处理以及模型训练所采用的方法和决策。

在经过序列随机化处理的数据集上训练的YOLOv10b模型：首先展示YOLOv10b模型的检测结果。该模型在包含“可采摘”“不可采摘”和“不确定”三类标签的序列随机化数据集上进行了训练，共经历了258个训练周期。在第238个训练周期时，模型的性能达到最佳，此时得到的权重被用作最终模型。图9展示了该模型对一些样本图像的预测结果。对于已开放的花朵，即使它们在图像中看起来很小，模型也能给出非常准确的预测，而对于未开放的花朵，模型的预测准确性则低得多。

模型评估：本节通过对上述结果进行评估，来确定各模型在识别和区分藏红花花朵以用于采摘方面的有效性。同时分析了这些模型的优点和缺点，指出了它们的局限以及改进的可能方向。

结论：本文介绍了即时采摘藏红花的问题，即在藏红花花朵即将开放之前进行采摘，以此提升藏红花花蕊的品质。以往的藏红花检测研究仅关注花朵本身，无法识别藏红花花蕾或判断其是否可采摘。本文提出了一种解决方案，即使用在包含35,472张标注有可采摘性标签的藏红花花朵和花蕾图像的定制数据集上训练的深度神经网络物体检测模型来解决即时采摘问题。

数据集获取情况：根据使用其藏红花田地的协议，本研究收集的图像数据集归Nebo Saffron所有，不能公开发布。如需获取这些数据，可提出申请。

关于写作过程中生成式人工智能及人工智能辅助技术的声明：在撰写本文的过程中，没有使用任何生成式人工智能或人工智能辅助技术。

利益冲突声明：作者声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：Nebo Saffron为本研究提供了藏红花田地访问权限以及藏红花种植方面的专业知识。本研究产生的图像和数据归Nebo Saffron所有，是在获得许可后使用的。Nebo Saffron由作家兼杨百翰大学教员道格拉斯·库克的配偶塔拉莉·库克拥有。致谢：本项研究得到了杨百翰大学指导性研究基金的支持。我们感谢Nebo Saffron允许我们使用他们的藏红花田并协助我们收集数据。同时，我们也对库克家族的盛情款待和慷慨相助表示衷心的感激。卡特·T·诺 | 内森·琼斯 | 道格拉斯·D·库克，美国犹他州普罗沃市杨百翰大学机械工程系