《Smart Agricultural Technology》:A Systematic Review On Deep Learning Techniques For Maturity Classification of Tomato Fruit On Plants
1. 引言
番茄(Solanum lycopersiconL.)是一种营养丰富的食物,富含番茄红素、类黄酮和维生素,其消费与降低心血管疾病和某些癌症风险相关。全球番茄种植面积和产量巨大,然而,每年约有20%至30%的水果和蔬菜因成熟度分类不准确和采收时机不当而造成采后损失,番茄是受影响最严重的商品之一。因此,实现对番茄果实的准确识别和成熟度分级对于农艺管理至关重要,它决定了最佳采收时间、提高果实品质并优化劳动力分配。此外,分析成熟度分布模式为表型检测和品种改良提供了重要见解。理解番茄成熟度对于番茄产业中各种下游应用尤为重要,因为果实成熟度直接影响加工质量和生产效率。
虽然现有文献广泛涵盖了可控实验室环境下的采后分选,但机器人采收的实际实施需要准确的“植株上”成熟度分类。本综述中,“植株上”严格指果实仍然物理连接在其母株上、处于自然环境(如温室或露天田地)中的状态。与具有均匀光照和同质背景的采后场景不同,植株上检测面临着显著的现实世界挑战,包括动态自然光、复杂背景和严重遮挡。正如Espinoza等人所证明的,这些不可控的环境因素显著影响计算机视觉模型的泛化能力。因此,本综述专门关注现代深度学习架构如何克服收获前操作特有的噪声和遮挡挑战,排除了仅专注于采后质量控制的研究。
鉴于准确识别番茄果实成熟度的极端重要性,众多研究者已探索了这一主题。然而,尽管该研究领域取得了进展,但据我们所知,此前尚无研究采用系统文献综述(SLR)方法,对使用深度学习进行植株番茄果实成熟度分类的各种方法和技术进行系统、全面的识别、分类或比较。因此,本研究旨在通过对截至目前的学术文献进行全面系统的分析,为感兴趣的研究者提供关于植株果实成熟度分类最新研究的全面综述。
2. 相关研究
近年来,计算机视觉(CV)技术在农业中的应用引起了全球的广泛关注。CV技术在农业中用途广泛,包括物体识别与定位、计数、收获和监测。此外,CV的操作范围已从固定的地面传感器扩展到无人机(UAV),后者为大规模果园监测和作物健康评估提供了多角度、高通量的视角。利用CV来辨别番茄成熟度是现代作物管理的基石。当代文献揭示了从启发式图像处理技术到最先进的深度学习(DL)模型,特别是卷积神经网络(CNN)的广泛诊断策略。这些技术创新提供了支撑智慧农业计划所需的计算保真度,显著提高了自动分选生态系统的功效和吞吐量。
从根本上说,CV充当了生物感知的合成替代品,将视觉机制委托给光学仪器,将认知解释委托给计算算法。CV的架构是二元的,基于高保真图像采集硬件和基于软件的复杂处理流程。除了本地处理,当代农业CV架构越来越多地集成了物联网(IoT)传感器和基于云的计算平台。这些云集成系统促进了海量数据集的存储和处理,实现了远程实时决策和协同农场管理。为了管理这些平台产生的大量数据流,开发了基于云的应用程序(例如Agroview和专用的收获管理信息系统),为实时数据分析、可视化和特种作物的精准管理提供集成环境。由于原始数据的质量设定了分析精度的上限,因此由相机和传感器介导的采集阶段至关重要。后续处理涉及一系列操作,包括噪声过滤、自适应分割和特征提取,旨在从视觉数据中提取语义信息。在农业领域,这项技术已发展成为自动化的关键,实现了精确、非侵入性的作物管理。在高通量计算和大量标注数据集的协同推动下,深度学习模型在果实识别领域引发了范式转变。
在深度学习出现之前,经典的计算机视觉范式主要通过手工特征工程进行操作。诸如定向梯度直方图(HOG)、聚类协议和霍夫变换等算法基于显式提取颜色、形态和纹理描述符。然而,这些确定性模型在非结构化的农业环境中部署时表现出显著的脆弱性。其预测性能经常受到环境随机性的影响,最明显的是可变的环境光照、背景杂乱和叶子的严重遮挡。这些环境限制并非番茄独有。类似的环境复杂性,包括可变照明和叶片干扰,已在其他水果作物中得到广泛解决。例如,近期用于苹果自动采摘和品种分类的集成系统展示了DL克服田间噪声并实现鲁棒分选性能的潜力。相比之下,基于DL的数字图像处理技术相对于传统方法具有众多优势。DL模型可以自动学习图像中的复杂特征,实现高分类精度和鲁棒性能。它们能有效适应变化的照明条件、复杂背景和视角变化。
DL模型强大的学习能力源于其高维参数空间,这使得它们能够从复杂数据集中自主提取潜在特征。这种架构的可塑性使DL能够处理多方面的农业目标,从生物胁迫量化到产量预测,而无需依赖手动特征工程。迁移学习的有效性在跨平台应用中尤为明显,其中在通用数据集上预训练的模型被成功微调用于专门任务,例如空中作物分类和基于云的疾病诊断。然而,这些模型的有效性取决于超参数(如网络深度、学习率和激活函数)的精确校准。鉴于设计定制架构需要高昂的计算资源和专业知识,一个实用的共识已经出现:利用在大规模数据集上验证的预训练架构,并通过迁移学习进行适配。其中,CNN是视觉分析的范式框架。通过分层堆叠卷积和池化操作,CNN有效地编码空间依赖性,使其成为处理现代农业中产生的大量图像流的实际标准。
本文并非对孤立案例研究进行细致复述,而是对用于番茄成熟度评估的当代技术进行了整体综合和批判性评价。分析优先考虑方法架构和操作挑战,而非仅仅是实验枚举,旨在为设计有效的识别系统建立一个稳健的框架。为了确保方法论的严谨性并减轻叙述性综述中固有的主观性,我们遵循了SLR协议。因此,本研究从五个战略维度剖析了DL的应用:算法模式、数据集构成、评估指标、实际实施以及未来研究前沿的轨迹。
3. 研究方法论
为确保方法论的透明度和可重复性,本系统综述严格按照PRISMA 2020指南进行。采用此标准化协议为研究提供了稳健的框架,服务于三个关键功能:(i) 系统研究问题(RQ)的精确表述;(ii) 严格界定纳入和排除标准以减轻选择偏倚;(iii) 在定义的时间范围内系统检索广泛的文献数据库;(iv) 对综合数据进行标准化提取和质量评估。
3.1. 研究问题
根据PRISMA协议,我们定义了一系列RQ来系统评估深度学习在番茄成熟度分类中的应用现状。基于此,本研究制定了四个关键的RQ。这些问题构成了文献综述、数据提取和后续结果综合的基础框架。它们也指导了对番茄成熟度分类领域的方法、数据集、性能指标和未来挑战的调查研究。
3.2. 检索策略
系统文献检索查询了七个主要电子数据库:Web of Science、IEEE Xplore、ScienceDirect、Scopus、Springer、Wiley 和 ACM Digital Library。选择这些平台是因为它们全面覆盖了高影响力的期刊文章和会议论文集。检索窗口截至2025年9月10日,收录了此日期之前发表的所有相关英文研究。
为确保全面检索相关文献,我们基于布尔逻辑构建了多层检索算法。关键词被分为三个主要主题组(深度学习、番茄、成熟阶段),并使用“OR”和“AND”运算符组合。这种结构化方法使我们能够在保持高检索率和精确度的同时,系统检索七个电子数据库。为适应ScienceDirect的语法限制(限制布尔连接符的数量),我们采用了分段检索策略,执行了八个不同的迭代子查询以确保全面覆盖。这个严格的过程最终产生了一个包含683篇文章的初始语料库。
3.3. 选择标准与过程
在七个电子数据库中的初步检索共获得683份文档。这些初步检索记录的数值分布如图所示,其中突出了Scopus(n=438)和ScienceDirect(n=107)等数据库对初始语料库的主要贡献。
这683份文档被导入EndNote进行去重和后续严格按照PRISMA 2020指南进行的筛选。为确保聚焦和高质量的分析,我们实施了基于中严格界定的纳入和排除标准(IC/EC)的多阶段筛选过程,该标准定义了过滤掉采后研究和实验室实验的具体约束。
值得注意的是,为优先考虑“植株上”识别领域,被排除记录中的很大一部分是在采后分选设施或完全受控的实验室环境中进行的研究(EC 9)。这些研究被移除是因为它们未能遇到实时、田间果园监测中固有的复杂环境挑战——如动态照明、可变背景和叶片遮挡。经过这种严格的过滤,最终筛选出42篇高质量文章,详见PRISMA流程图。
3.4. 质量验证
为确保综述的可靠性,筛选和选择过程采用了交叉验证协议。虽然主要筛选由主要作者使用EndNote和Excel进行,但另一名研究人员对随机抽取的排除论文样本(20%)进行了二次审核,以验证其与既定IC/EC标准的一致性。任何分歧均通过共识会议解决。
在最终选择之后,使用标准化的数据提取表来综合来自42篇论文的信息。提取的参数包括:(1) 背景数据(目标番茄品种、栽培环境);(2) 技术数据(DL架构、骨干网络、优化算法);(3) 数据集详情(大小、标注方法、公开与私有状态);(4) 评估数据(准确率、精确率、召回率、F1分数和mAP)。这种结构化方法确保后续的分析和讨论基于稳健且统一的数据基础。
4. 结果与讨论
遵循基于PRISMA的筛选过程,我们系统综述了42篇符合条件的文章。本节提供严格的发现分析和综合,以解决第3.1节中定义的四个研究问题。
4.1. RQ 1:目前有哪些基于深度学习的植株番茄果实成熟度分类方法?
作为一种全球性重要作物,番茄的成熟度直接决定其食品安全、市场价值和最佳采收时间。因此,准确快速地对植株上的番茄进行成熟度分类对于提高产量质量和确保现代农业的盈利能力至关重要。
4.1.1. 原始方法
最初的番茄成熟度分类主要依靠工人的感官感知和手动评估。虽然这些传统方法成本低、操作简单,但它们具有很强的主观性、效率低和一致性差的缺点。这些局限性使得难以满足现代大规模农业对精度和连续性的严格要求。
此外,同一串番茄内的果实不会同时成熟。如果成熟的果实没有及时采收,它们会腐烂并对周围未成熟的果实产生不利影响。相反,简单的机械采收缺乏必要的选择性和智能性,通常在采摘过程中无意中混入约20%的未成熟番茄。这对采后管理和食品消费构成重大挑战。
随着劳动力成本的上升和对高效率生产需求的增长,自动化的优势日益明显。因此,开发精确和自动化的分类技术已成为确保选择性采收和优化农业产量的必然趋势。
4.1.2. 传统方法
传统的CV范式历来是番茄成熟度评估的基础框架。与端到端的深度学习不同,这些系统利用基于显式“手工制作”描述符的分叉工作流程。此方法需要顺序执行:特征抽象阶段——使用基于颜色的分割、通过主成分分析(PCA)进行降维或空间变量计算——然后是使用确定性算法(如决策树(DT)、支持向量机(SVM)和浅层人工神经网络(ANN))的分类阶段。
早期研究优先考虑颜色指标来量化物候阶段。Choi等人开创了番茄成熟度指数(TMI)来关联色调与成熟度,而Darrigues等人则使用番茄分析仪-颜色测试(TACT)来评估均匀性。然而,这些简化论方法通常未能考虑体积形态、光泽或环境光照波动。为了提高鲁棒性,研究人员转向复杂的色彩空间转换和逻辑。Yin等人和Huang等人利用Lab*域结合K-means或模糊逻辑来将果实与温室背景解耦。同样,Goel和Sehgal建立了六级RGB(红、绿、蓝)分级系统,Qing等人则通过HSI转换优化了机器人定位。
随着该领域的发展,空间和形态策略被整合以解决结构复杂性。Zhang应用Canny算子进行边缘检测,Lin等人使用概率霍夫变换来推广自然设置中的果实检测。尽管实验室准确率高——例如Arefi等人达到96.36%,Khoshroo和Khodaei达到82.38%——但这些系统在遮挡和动态光照下仍存在困难。
近期的混合方法尝试融合多种特征以增强性能。Zhao等人使用AdaBoost和多特征融合(93%准确率),而Indriani等人和Sari等人则整合了HSV/YCbCr颜色数据与GLCM纹理描述符和Otsu阈值法。此外,Liu等人和Wu等人引入了照明增强和自动分类算法,精度接近95%。
尽管有这些进步,传统方法仍然受限于对手工特征工程的依赖。正如Yamamoto等人、El-Bendary等人和Malik等人所指出的,缺乏自学习能力使这些模型容易受到环境噪声的影响,并限制了它们在“原位”农业环境中的适应性。高计算开销、缺乏深度感知以及在非结构化环境中泛化能力差,凸显了非深度学习方法的局限性。最终,虽然自动成熟度评估对于机器人采收中最大化产量和降低劳动力成本至关重要,但传统范式越来越难以满足复杂、现实世界动态的需求。
4.1.3. 深度学习方法
近年来,随着CV技术的兴起,研究人员尝试了各种方法来检测果实并分类其成熟度。传统方法通常需要手动特征提取,而传统的图像处理对环境变化敏感。此外,在复杂背景条件下,依赖边缘检测和轮廓提取的传统方法鲁棒性差,难以准确提取目标。而且,依赖手动设计滤波器进行纹理特征提取的方法不仅计算效率低,而且在处理大规模纹理样本时也面临困难。
由局部感受野和参数共享的架构优势驱动,CNN已成为计算语言学和CV的事实标准。这种范式的起源可追溯到Fukushima提出的Neocognitron,它为一系列渐进式改进奠定了基础。这条进化路径从基础的LeNet和AlexNet延伸到更深、更复杂的拓扑结构,如GoogleNet和ResNet。随后区域CNN(R-CNN)的引入巩固了这些架构在数字图像分析中的主导地位。
尽管出现了深度学习浪潮,启发式和混合方法在农业应用中仍保持了显著的实用性。例如,Goel等人设计了一个模糊规则分类系统(FRBCS),将决策树与Mamdani逻辑结合,在六个成熟度级别上实现了94.29%的分类精度。同时,Pacheco等人利用统计颜色描述符(在RGB、HSI和Lab*空间中)来训练K-NN和MLP等经典算法进行品种区分。Kaur等人对这些浅层学习方法进行了全面的基准测试,确定随机森林(92.49%准确率)为最优分类器。特定用例由Sherafati等人针对单个果实评估以及Goyal等人进行了进一步优化,后者将颜色强度建模集成到机器人采收机中以进行实时货架期预测。
回到深度学习前沿,Alam等人展示了先进DL模型在复杂温室环境中导航的能力。在此基础上,Zhang等人引入了一个包含几何数据增强和基于t-SNE的离群值剔除的复杂框架。该系统在保持高准确率(91.9%)的同时实现了低于0.01秒的推理延迟,突显了其在可扩展精准农业中的潜力。
传统的图像处理技术在可扩展性方面面临限制,难以适应不同的水果和变化的农业环境。每个新的应用或环境变化都需要重新设计和修改算法。这些缺点促使研究人员越来越多地采用深度学习技术。
DL从传统机器学习演变而来,可以自动从数据中提取特征。它在许多任务中通常优于传统机器学习。通过集成多层抽象,它实现了分层数据表示,增强了对众多大规模数据处理任务的分析能力。深度学习模型通过由代表各种功能的神经元组成的多层神经网络来细化数据表示。各层之间的神经元通过权重连接,这些权重在训练过程中自动调整。通过集成多个层,深度模型有效地解决了复杂的现实世界问题。逐渐地,DL已成为当今应用最广泛的方法之一,成为农业领域的一种新颖解决方案。其成功源于其高水平的抽象以及自动学习图像中复杂特征的能力。
4.1.3.1. R-CNN系列方法
检测番茄果实成熟度的主要架构是CNN,它至少在某一层使用了卷积操作。由于权重共享和使用更复杂的模型实现大规模并行化,CNN能更快地学习和解释复杂的大规模问题。研究人员使用基于CNN的模型来感知每个像素,从而实现目标分类和定位等任务。这些模型通常用于目标检测、识别和分类任务。类似地,基于CNN的深度学习方法在果实成熟度识别中表现出色,有效缓解甚至解决了实际应用场景中遇到的不利因素。
R-CNN是CNN中的一个重要分支和研究方向。由Girshick等人提出,它在PASCAL VOC 2007数据集上达到了58.5%的平均精度(mAP),标志着DL在该领域的首次成功应用。作为将深度学习应用于目标检测的开创性算法,它集成了CNN、SVM和边界框回归等技术来识别图像中的目标类别和位置。算法流程包括四个阶段:候选区域提取、特征提取、分类和边界框细化。通过选择性搜索生成大约2000个候选区域。每个区域在送入CNN进行特征向量提取之前被调整大小。多类SVM分类器确定目标类别,而边界框回归模型则细化候选框位置。核心创新在于用CNN取代了传统的手工特征提取。这标志着深度学习在目标检测中的首次成功应用,与传统方法相比实现了显著更高的检测精度。
Hsieh等人创新性地将R-CNN深度检测模型与双目成像技术相结合,以识别成熟番茄的位置并估计其大小。然而,该模型计算需求大,加上系统实时性能和硬件适应性的限制,阻碍了其在复杂条件下获得满意的精度。此外,它缺乏对不同番茄品种和生长阶段的泛化验证。尽管R-CNN代表了