利用序列模型与多层感知器的耦合深度学习模型,在自然环境中实现番茄成熟度的自动检测
《Applied Soft Computing》:Automated detection of tomato ripeness in natural environment using a coupled deep learning model of Sequencer and MLP
【字体:
大
中
小
】
时间:2026年07月22日
来源:Applied Soft Computing 7.8
编辑推荐:
摘要在自动化采收过程中,准确检测番茄的成熟度至关重要,但在光照不均、果实遮挡以及背景杂乱等复杂的田间条件下,这一任务仍面临诸多挑战。本文提出了一种轻量级的耦合框架——Sequencer+MLP,该框架用基于2D BiLSTM的Sequencer模块替代注意力机制,从而有效捕捉空间
摘要
在自动化采收过程中,准确检测番茄的成熟度至关重要,但在光照不均、果实遮挡以及背景杂乱等复杂的田间条件下,这一任务仍面临诸多挑战。本文提出了一种轻量级的耦合框架——Sequencer+MLP,该框架用基于2D BiLSTM的Sequencer模块替代注意力机制,从而有效捕捉空间依赖关系,再通过简洁的MLP头部进行最终分类。实验是在不同光照和遮挡条件下的温室数据集上进行的,所提方法达到了96.8%的精确度、94.8%的召回率以及98.9%的分类mAP值,同时推理延迟仅为0.6135秒,模型大小为2.4MB,这表明在经过进一步边缘设备验证后,该方法具备实际应用潜力。在光照和遮蔽子集上的额外测试也证明了其稳定性,mAP值均高于95%。这些结果表明,Sequencer+MLP设计为在自然农业环境中检测番茄成熟度提供了一种高效且有效的解决方案。在所有测试的分类器中,MLP分类器的性能最为出色,显示出在多次试验中的稳定表现。
引言
番茄因其丰富的营养价值以及在农业领域的多种用途而备受重视。随着全球对健康食品需求的增加,提升番茄的产量和质量变得愈发重要。然而,在自然生产环境中,传统采收方式面临着劳动力短缺、果实受损以及成熟度判断不准确等诸多问题[1]、[2]。这些问题不仅会增加生产成本,还会降低产品市场价值及消费者满意度。因此,为了确保获得高质量的产品,并为育种和栽培提供可靠的数据,迫切需要能够在现实世界中的各种变化条件下依然保持高准确度的自动检测方法[3]。
许多研究都探索了利用计算机视觉技术来检测番茄的成熟度。早期的方法主要依靠数字图像处理,通过颜色、形状和纹理特征来识别果实,但这些方法很容易受到背景干扰、光照变化以及果实遮挡的影响[4]。传统的机器学习方法,如SVM、K-means和AdaBoost[5]、[6]、[7],虽然有所改进,但仍然难以适应复杂的自然环境。随着深度学习的出现,卷积神经网络(CNN)以及基于区域的检测器如Mask-RCNN取得了显著进展[8]、[9],但在果实重叠或光照条件多变的情况下,它们的性能会下降,这凸显出实验室环境与实际应用之间的差距。
近年来,YOLO模型在物体检测领域受到了广泛关注。多项研究[10]、[11]、[12]、[13]表明,与传统的两阶段检测方法相比,YOLO模型在作物检测任务的准确性和速度方面都具有更优的表现。随后有人提出了YOLOv3-tiny模型[14],用于识别被病害遮挡的番茄叶片,其平均精度均值达到了93.1%。此外,还有一种单阶段的DCNN检测器被开发出来,它显著提升了检测的准确性。YOLO-Tomato模型则实现了96.4%的平均精度,且检测速度可达54毫秒。另一种基于YOLOv4的柑橘检测器通过结合注意力机制与剪枝技术,将检测精度从92.89%提升到了96.15%[17]。还有经过改进的YOLOv5模型被用于检测柿子,其平均准确率为95.53%[18]。尽管有了这些进展,但由于依赖局部感受野,基于CNN的模型在捕捉长距离依赖关系方面仍存在局限,因此在光照不均、果实遮挡以及分辨率变化的情况下,它们的性能往往会下降。而像Vision Transformer(ViT)[19]、[20]这样的基于Transformer的模型则通过全局自注意力机制来捕捉长距离依赖关系,使得果实识别精度可超过98%。不过,ViT的计算复杂度呈二次方增长,且严重依赖于大规模的标注数据集。Swin Transformer(Swin-T)[21]则通过分层注意力机制和滑动窗口技术提高了效率,但在存在遮挡和光照变化等复杂农业环境下的有效性尚未得到系统性的验证。这些限制因素影响了它们在资源有限的农业场景中的应用前景。
为了解决这些难题,本研究提出了一种基于Sequencer的框架,该框架用二维LSTM替代自注意力机制,从而能够捕捉水平和垂直方向上的空间依赖关系。与基于CNN和YOLO的模型相比,我们的模型对分辨率变化以及复杂的照明/遮挡条件更具鲁棒性。与基于Transformer的模型相比,我们的模型在保持较高准确率的同时,大幅降低了计算量和内存消耗。通过将Sequencer与轻量级的MLP分类器相结合,我们旨在打造出一个既准确又具有高计算效率的模型,这为其在农业领域的实际应用奠定了基础。
虽然Sequencer结构已被研究作为一种无需自注意力的视觉架构,但其在温室采收条件下用于番茄成熟度检测方面的应用仍不够深入。本研究的创新之处在于,将基于2D BiLSTM的Sequencer结构与轻量级的MLP分类器相结合,用于实现番茄成熟度的四类识别。与依赖二次方级自注意力的基于Transformer的模型不同,所提出的框架通过水平和垂直方向的循环空间混合机制来捕捉长距离依赖关系,且内存消耗更低。与主要依赖局部感受野的基于CNN的检测器相比,Sequencer模块能够在果实遮挡、光照不均以及背景杂乱的情况下,为区分视觉上相似的成熟度阶段提供更广阔的空间视角。因此,本研究的贡献并非在于创造一种全新的通用架构,而在于针对实际的温室番茄采收场景,对一种无需自注意力的空间建模框架进行适配、整合并验证其有效性。
与通常假设固定输入token结构的token混合式MLP架构相比,2D-BiLSTM空间混合器能够更灵活地处理水平和垂直序列。与频域滤波方法相比,这种循环空间建模方式在图像分辨率发生变化时,无需进行显式的频域插值操作。这使得Sequencer+MLP非常适合处理物体尺寸和采集距离各不相同的温室图像。
本研究的主要贡献如下:
- •
我们提出了一种Sequencer+MLP架构,其中双向2D LSTM取代了自注意力机制,从而能够高效地捕捉长距离依赖关系。该框架结合了轻量级的MLP头部,具备对分辨率变化的容忍能力,且对光照变化、果实遮挡以及背景杂乱具有较强的鲁棒性。
- •
在具有不同光照和遮挡条件的温室数据集上进行的测试表明,该框架的性能始终优于九种其他分类器以及五种基准模型。统计分析(方差分析、带Bonferroni校正的成对t检验)也证实了其在分辨率变化以及复杂田间条件下的稳定性。
- •
通过采用考虑硬件特性的GPU优化策略,如内核融合、并行扫描以及重新计算,不仅可以加快训练和推理速度,还能降低内存消耗。由于该框架无需自注意力机制,且基于MLP结构,因此在经过进一步的硬件针对性验证后,有望部署在资源有限的农业机器人及嵌入式系统中。
总而言之,由于光照不均、背景杂乱以及果实重叠等因素,复杂田间环境中的番茄成熟度检测依然是一项具有挑战性的任务。现有的基于CNN的检测器虽然效率较高,但可能无法捕捉到长距离的空间依赖关系;而基于Transformer的模型虽然具备更好的全局推理能力,但其较高的计算量和内存需求限制了其在边缘设备上的应用。为了解决这一矛盾,我们提出了Sequencer+MLP这种无需自注意力的耦合框架,其中基于2D BiLSTM的Sequencer模块能够实现对全球空间交互关系的稳健可视化建模,而轻量级的MLP头部则负责进行成熟度分类,经过进一步的应用验证后,该框架有望被用于温室自动化采收以及采后分拣作业中。
章节节选
图像采集
本研究的原始数据是于2023年12月在中国北京市昌平区的一个温室中使用的iPhone 12拍摄的番茄图像。为了模拟条件多变的自然农业环境,我们在不同的场景下特意拍摄了2000多张原始图像,这些场景包括阳光直射的晴天、有部分遮挡的阴天、多云天气,以及存在果实重叠的复杂背景环境。根据
结果与讨论
图7展示了在使用固定Sequencer特征的情况下,不同分类器头部的准确率与训练时间对比情况。QDA和GNB的准确率明显较低,而SVM、XGB和MLP的性能则保持稳定或有所提升,其中MLP的分类器头部准确率最高。
所有“特征提取+分类器”组合的训练时间都远远低于完整的Sequencer基准模型(551.24秒)。在性能较好的分类器头部中,SVM、XGB和MLP的训练时间分别为78.02秒、83.85秒和78.77秒。
组件级证据总结
除了对分类器头部的性能分析之外,还有其他证据也支持各个核心组件的作用。通过比较使用固定Sequencer特征时的不同分类器,可以对MLP头部进行评估(见表5以及图7、图8)。通过分辨率敏感性实验可以考察patch/token输入表示的效果(见图13),该实验用于判断当输入规模和token序列长度发生变化时,模型的稳定性如何。2D-BiLSTM空间混合器则负责
数据集泛化能力分析
我们曾考虑使用外部番茄数据集来进行跨数据集评估,但大多数公开的番茄图像数据集在品种、成像设备、标注规范、成熟度定义、相机视角以及场景构成等方面都与本数据集存在较大差异。直接将这些数据集进行合并或比较可能会导致严重的领域不匹配,从而使得对所提模型的评估结果失去公正性。由于本研究的目标应用场景是
结论
本研究提出了一种用于在复杂农业场景中检测番茄成熟度的Sequencer+MLP框架。该框架通过基于二维BiLSTM的Sequencer模块实现全局空间建模,再结合轻量级的MLP分类器,其性能优于常见的基于CNN和Transformer的基准模型,尤其是在光照强烈、存在果实遮挡以及分辨率变化较大的情况下。这种准确的性能与高效的计算成本之间的平衡符合软计算的理念,也为其在边缘AI领域的实际应用带来了希望。
CRediT作者贡献说明
李明轩:撰写——初稿撰写、可视化、软件开发、方法设计、数据整理。吴法莹:撰写——初稿撰写、可视化、软件开发、方法设计、概念构思。张飞凡:撰写——审稿与编辑、项目监督、项目管理、方法设计、概念构思。周长达:撰写——初稿撰写、资源协调、项目管理、研究实施。
利益冲突声明
作者声明,他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。
致谢
作者感谢中国农业大学理科学院提供的基础科学强化计划的支持。
Faying Wu|Mingxuan Li|Chongda Zhou|Feifan Zhang
中国农业大学理科学院,北京,中国
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号