《Agriculture》:Automated Pomelo Posture Detection: A Lightweight Deep Learning Solution for Conveyor-Based Fruit Processing
Qingting Jin,
Runqi Yuan,
Jiayan Fang,
Jing Huang,
Jiayu Chen,
Shilei Lyu,
Zhen Li and
Yu Deng
编辑推荐:
为解决高速传送带上柚果姿态随机多变导致的自动分选与精准剥皮难题,研究人员开展了一项基于深度学习的柚果姿态实时检测研究。他们提出了名为 GSM-YOLO 的轻量化模型,该模型在基准 YOLOv8n 基础上,集成了 GhostHGNetV2 骨干网络、多路径坐标注意力(MPCA)模块与 SlimNeck 架构。实验表明,该模型在边缘计算平台(Jetson Orin Nano 6G)上达到了 19.3 FPS 的实时处理速度,同时将 mAP50精度提升了 3.67%,参数量与计算量分别降低了 17.5% 和 23.3%。这项研究为柚果加工产线的智能化、自动化升级提供了关键技术基础。
在现代化智能食品加工领域,如何高效、精准地处理大批量农产品是一个关键挑战。以柚果为例,其个头大、质量不均,在高速传送带上滚动的姿态千变万化,时而“直立”,时而“横躺”,甚至还会“倒立”。这种随机多变的姿态,给后续的自动分级、定向、精准剥皮等操作带来了巨大麻烦。传统的机械装置依赖固定结构或简单光电传感器,难以适应柚果复杂的形态和自然不规则性;而传统机器视觉方法(如边缘检测、轮廓分析)在环境光照变化、表面污渍或部分遮挡下表现不佳,鲁棒性差。为了“看清”并“理解”每一个柚子在传送带上的确切姿态和关键部位(如果蒂、果脐),实现后续机械臂的精准抓取与调整,研发一种能实时、准确、且能在计算资源有限的“边缘设备”(如产线旁的嵌入式工控机)上运行的检测模型,就成了推动柚果加工产业自动化升级的迫切需求。
为此,由Qingting Jin, Runqi Yuan, Jiayan Fang, Jing Huang, Jiayu Chen, Shilei Lyu, Zhen Li 和 Yu Deng组成的研究团队,在《Agriculture》期刊上发表了一项研究,提出了一种名为GSM-YOLO的轻量化深度学习解决方案,专门用于柚果姿态的实时检测。
关键技术方法
为构建和验证模型,研究团队首先在华南农业大学柑橘产业技术研发中心(广州)和广东梅州的一家柚果加工厂采集了图像,构建了包含1428张原始图像的柚果姿态数据集,并通过数据增强(光照、旋转、重叠变化)将其扩展至5712张。数据标注了“直立(Seated)”、“横卧(Lying)”、“倒置(Inverted)”三种整体姿态,以及“果蒂(Stem)”、“果脐(Calyx)”两个关键解剖部位。在模型架构上,研究以YOLOv8n为基线,进行了三项核心改进:(1)采用GhostHGNetV2作为骨干网络,利用Ghost卷积(Ghost Convolution)减少计算冗余,同时保留高分辨率特征以检测微小解剖标志;(2)引入多路径坐标注意力(Multi-Path Coordinate Attention, MPCA)模块,通过编码精确位置坐标来克服因柚果外观相似导致的空间混淆,增强对果蒂和果脐的区分能力;(3)采用SlimNeck架构和其中的VoVGSCSP模块,通过一次性聚合(one-time aggregation)方式优化多尺度特征融合,防止计算瓶颈,提升模型在边缘设备上的运行效率。
研究结果
3.1. 实验设置与超参数
实验在Ubuntu 22.04.4系统上进行,使用NVIDIA GeForce RTX 3080 Ti GPU、Intel Core i7-10700 CPU和32 GB RAM。软件环境包括Python 3.8、PyTorch 1.11.0和CUDA 11.3。
3.2. 评价指标
研究采用精确率(Precision, P)、召回率(Recall, R)、平均精度均值(mAP50)、参数量(Params)、浮点运算次数(GFLOPs)、推理时间和模型大小等指标评估模型性能。
3.3. 消融实验
逐步集成各改进模块的消融实验表明,单独使用GhostHGNetV2、SlimNeck和MPCA模块均能在不同程度上提升性能。当三者全部集成时(即完整的GSM-YOLO模型),取得了最佳效果:mAP50达到99.1%,精确率和召回率分别为98.2%和98.7%。与基线YOLOv8n相比,该配置在提升mAP50达3.7%的同时,将参数量和计算量分别降低了17.5%和23.3%。
3.4. 与主流模型的对比实验
与YOLOv5s、YOLOv6n、YOLOv8n、YOLOv10n等主流轻量化模型对比,GSM-YOLO在精度(mAP5099.1%)和轻量化(参数量2.48 M, GFLOPs 6.3)方面均展现出综合优势。五折交叉验证进一步证实了模型性能的稳健性。可视化对比(图9)显示,GSM-YOLO在不同视角、遮挡、品种和密集场景下均能有效识别柚果姿态和关键点,而其他模型在复杂场景下(特别是对小目标如果蒂)存在漏检或误检。
3.5. 不同注意力机制模型的对比实验
将MPCA模块与Dattention、SegNext_attention、TripletAttention、LocalWindowAttention等注意力机制在相同位置进行对比。结果显示,MPCA模块在带来10.9%参数量增加的同时,带来了最显著的精度提升,其mAP50比次优的TripletAttention高出1.7%,是唯一能提升mAP50的注意力机制,被证明最适合本研究任务。
3.6. 不同检测模型的性能分析
利用Grad-CAM++(梯度加权类激活映射)生成热力图对模型决策过程进行可视化。结果显示,GSM-YOLO模型生成的热力图能更全面、集中地覆盖柚果区域(显示为红色),而背景区域(显示为蓝色)关注度低,表明模型能有效聚焦于目标特征,抑制背景干扰,从而在复杂工业背景下保持高检测精度。
3.7. 算法的边缘部署
为验证实际应用可行性,研究将模型部署在边缘计算平台NVIDIA Jetson Orin Nano (6 GB)上。在该平台上,模型达到了19.3 FPS(约52毫秒/帧)的推理速度。这一速度远快于下游机械定向装置典型的秒级执行周期,为传送带上的连续自动化处理提供了充足的实时反馈时间裕量,满足了工业实时监控的低延迟要求。
研究结论与讨论
本研究成功提出了一种名为GSM-YOLO的新型轻量化柚果姿态识别模型。该模型基于YOLOv8n基线,通过集成GhostHGNetV2轻量化骨干网络、MPCA注意力模块和SlimNeck架构,有效解决了目标尺度多变与边缘部署资源限制之间的平衡难题。实验结果表明,与基线相比,该模型在提升mAP50达3.7%和mAP50-95达12.9%的同时,显著降低了模型的参数量(-17.5%)和计算负载(-23.3%),并在Jetson Orin Nano边缘设备上实现了19.3 FPS的实时处理速度。
这项研究的意义在于,它提供了一种针对特定领域(柚果处理)的架构优化方案,成功地在边缘设备的严格计算限制下,实现了对宏观姿态和局部解剖部位的同时精准检测。这为后续的自动化定向调整提供了可靠的感知基础,有望推动柚果加工业生产线的数字化、智能化转型升级。然而,研究也存在一定局限性,例如当前数据集主要来自特定地理区域和有限品种,模型的普适性有待在更广泛的农业环境中验证;同时,验证工作主要在实验室模拟传送带上进行,未来需要将这一感知核心集成到完整的工业闭环(包含下游物理执行机构)中进行端到端的效率评估。未来的工作将集中于扩大数据集的多样性和地理覆盖范围,并将该模型部署到完整的机械加工线上进行验证。