《Sensors》:TMAF-YOLO: A Lightweight Model for In Situ Detection of Tomato Maturity and Defective Fruits in Greenhouses
编辑推荐:
准确的番茄成熟度检测对于温室生产中的采收决策、品质分级和采后处理至关重要。然而,叶片遮挡、果实重叠、复杂背景、光照变化以及相邻成熟阶段之间细微的颜色差异限制了实时检测性能。为提高准确率和部署效率,本研究提出了TMAF-YOLO,一种基于YOLOv8n的轻量级检
准确的番茄成熟度检测对于温室生产中的采收决策、品质分级和采后处理至关重要。然而,叶片遮挡、果实重叠、复杂背景、光照变化以及相邻成熟阶段之间细微的颜色差异限制了实时检测性能。为提高准确率和部署效率,本研究提出了TMAF-YOLO,一种基于YOLOv8n的轻量级检测模型。在该模型中,LGhostConv替代部分卷积结构以减少冗余计算。引入番茄成熟度感知聚合融合模块TMAF,以增强检测分支中颜色、纹理和局部结构特征的表达。使用MA-CB Focal Loss以改善类别不平衡和难样本条件下的学习性能。实验结果表明,TMAF-YOLO的精确率、召回率、mAP50和mAP50-95分别达到0.889、0.873、0.954和0.776。模型包含2.647 M参数,计算量为7.3 GFLOPs,推理速度为209.030 FPS。与YOLOv8n及更重的检测模型相比,TMAF-YOLO以更少的参数和更低的计算成本实现了更高的检测精度。同时,在保持实时推理性能的前提下,其检测精度优于YOLOv11n和YOLOv12n。这些结果表明,所提出的模型适用于温室环境下番茄成熟度的实时检测,并可支持自动化采收和分级。
论文解读
研究背景与问题:番茄作为设施农业中的重要蔬菜作物,其成熟度状况直接影响采收时机、运输管理、采后催熟、品质分级及商品价值。在温室环境中,番茄果实常受叶片遮挡、果实重叠、光照不均匀和尺度变化的影响。人工成熟度评估效率低下,且易受主观经验影响。因此,需要一种快速、稳定且非接触式的检测方法,以支持设施农业中的自动化采收、分级管理以及机器视觉感知。深度学习检测方法已广泛用于果蔬检测和成熟度识别。基于区域的卷积神经网络(R-CNN)模型及其变体早期用于果实检测,如改进的Faster R-CNN(MatDet)用于复杂场景下的多对象番茄成熟度检测,获得了96.14%的平均精度均值(mAP)。但这类模型结构复杂,推理速度和轻量化部署能力受限。基于Transformer架构的端到端检测器(如DETR、DINO、RT-DETR)虽在全局特征建模方面有潜力,但通常需要更高的训练成本和硬件资源。相比之下,YOLO系列模型在检测精度和推理速度之间取得了更好的平衡,成为果蔬检测和成熟度识别的常见方法。例如,改进的YOLOv5用于实时番茄检测和移动端部署,模型参数和计算量分别减少78%和84.15%;MTD-YOLO实现了樱桃番茄果实、簇和成熟度的多任务检测,整体检测得分86.6%和平均推理时间4.9 ms;YOLOv8结合轻量级Swin Transformer用于草莓成熟度检测,mAP50较YOLOv5s提升1.6%。然而,现有研究在温室原位番茄检测中仍存在不足:一是半熟与成熟之间颜色过渡连续,导致细粒度分类困难;二是叶片遮挡、果实重叠和光照变化会减弱成熟度特征表达;三是缺陷样本相对稀少,常规分类损失可能在少数类和困难样本上关注不足。为攻克以上问题,研究人员提出了基于YOLOv8n的轻量级模型TMAF-YOLO,旨在提高温室环境下番茄成熟度和缺陷果实的检测精度,同时保持实时和轻量部署能力。
主要技术与方法:(约250字)
研究人员构建了包含629张图像、2505个番茄实例的自建数据集,其中训练集503张(包含33张公开的缺陷果实图像)412个验证集的图像分别包含63张,测试集63张图像。其创新核心包括:(1)轻量特征提取模块LGhostConv,将GhostNet中的密集空间卷积替换为深度可分离操作,在运行分支中保留方向深度卷积复杂度,减少冗计算和参数;(2)成熟度感知融合模块TMAF(前身),融合局部纹理增强和通道-空间注意力重标定;(3)损失函数MA-CB Focal Loss,融合Focal Loss调制项与类别平衡权重,提升均衡类别和难样本的学习能力。研究在固定实验环境(GPU:RTX 4060 Laptop,框架Ultralytics)下,经过150轮训练,并采用学习率来自动调节策略,最终构建了模型。
**研究结果与分析:**
**(1)训练过程与分析**
通过训练损失曲线,所有模型的损失随训练持续增加趋于稳定,表明可以完成有效训练。验证集mAP50曲线显示各模型早期快速提升后稳定进入平坦,无明显性能下降,表明训练过程具有良好的稳定性。此外,比较了精确率(PR)曲线,说明模型在目标分类中具有良好精度-召回权衡。混淆矩阵分析显示,TMAF-YOLO对四个类别的识别准确率均有所提升,尤其是半成熟和成熟之间的错误分类得到有效减少,表明改进模型增强了相邻成熟阶段的区分能力。
**(2)模型性能与对比分析**
在统一数据集和环境下,TMAF-YOLO与YOLOv8n、YOLOv11n、YOLOv12n以及几类两阶段检测器(如Faster R-CNN、Dynamic R-CNN等)进行了比较。结果表明,TMAF-YOLO在精确率、召回率、mAP50和mAP50-95方面分别达到0.889、0.873、0.954、0.776,优于基线YOLOv8n对应的0.858、0.836、0.916、0.744,同时保持模型参数仅2.647 M、计算量7.3 GFLOPs、推理速度209.030 FPS。相比之下,DETR和DINO虽然全局建模强但模型参数高达41.556 M和47.393 M,158推理时间41.777 ms和33.152 ms,不适合轻量级实时部署。可视化检测结果和热力图表明,TMAF-YOLO目标完整,在重叠、遮挡、小目标等场景中,能抑制干扰提供相关特征集中响应。
**(3)消融实验**
基于YOLOv8n生成的消融研究验证了各模块的贡献。分别引入LGhostConv后,参数量从3.012 M降至2.729 M、FLOPs从8.2 G降到7.7 G、FPS提升至226.283,说明其降低了计算复杂度;单独加入TMAF模块后,mAP50从0.916提升到0.941、(从0.744提升到0.762,证明其增强了成熟度相关特征;再加MA-CB Focal Loss后,最终模型性能进一步提升至0.889、0.873、0.954、0.776。消融结果还显示,综合改进使每次图像推理时间从6.493 ms降至4.784 ms,减少了26.3%的视觉检测延迟。
**讨论与结论:**
研究人员总结了TMAF-YOLO的实用意义和局限性。提出的各模块有效共同改善了番茄成熟度判别的鲁棒性和效率,并降低了成熟果实的漏检率(从5%降至2%)以及不成熟番茄的误采收率(从6%降至2%)。局限性包括数据集主要是温室环境下采集,场景多样性有限,单视点RGB图像无法直接提供深度或物理遮挡层级,在严重遮挡下仍可能产生漏检。未来需增加多温室、不同种植方法等数据,结合多视点或深度传感器,并标定完整机器人采收实验。此外,研究结论部分指出,该模型在保证轻量和实时性的前提下,实现了较高的检测精度,展示出其在温室环境下支持高效番茄成熟度识别和采收决策的潜力。未来工作将扩大数据集,评估不同温室条件下的嵌入式部署和机器人采收能力。论文已发表在《Sensors》期刊。