《Journal of Agriculture and Food Research》:SDCS-YOLO: A lightweight model for citrus flower and fruitlet instance segmentation and dynamic monitoring based on edge computing
编辑推荐:
柑橘(Citrus)为全球种植最广泛的果树之一,其产量逐年递增,加剧了栽培管理压力。传统人工管理效率低下且劳动力负担沉重。深度学习(Deep Learning)目标检测虽已广泛应用于柑橘生产,但目标检测仅返回矩形边界框,定位精度低且缺乏目标形状细节。实例分
柑橘(Citrus)为全球种植最广泛的果树之一,其产量逐年递增,加剧了栽培管理压力。传统人工管理效率低下且劳动力负担沉重。深度学习(Deep Learning)目标检测虽已广泛应用于柑橘生产,但目标检测仅返回矩形边界框,定位精度低且缺乏目标形状细节。实例分割(Instance Segmentation)兼具目标检测与语义分割特性,可精确勾勒单个实例的边界。然而,柑橘花朵的实例分割研究尚少,且现有柑橘数据集中缺乏同时包含花朵与幼果的实例分割数据集。研究人员从柑橘生产基地采集并构建了包含1857幅原始图像、经数据增强后扩展至7428幅图像的数据集(含仅花朵、仅幼果及二者共存图像),以反映真实田间条件并提升模型鲁棒性。针对柑橘种植区网络覆盖与高性能计算设施受限的现状,研究人员提出一种基于YOLOv11的轻量级SDCS-YOLO模型,通过引入动态卷积(Dynamic Convolution)改进分割头,提出更轻量的DCSegment分割头,并采用ShuffleNet V2与SimSPPF优化主干与池化结构。实验结果表明,SDCS-YOLO具有优越性能,边界框检测精度达0.988,分割精度达0.991,参数量(Params)为2.12 M,浮点运算量(FLOPs)为3.61 G,在边缘计算设备上达31.75 FPS,达到实时分割水平;但在更严格的mAP@0.5:0.95指标上,其轮廓精度略低于基线模型,仍为未来优化的重点方向。同时,研究人员提出一种结合像素面积计算与相似度实例匹配的方法,用于柑橘花朵与幼果的长期动态监测与跟踪,并通过手工构建图像序列的仿真测试(4.1节)及真实果园监控视频(4.2节)初步验证其可行性。
## 论文解读
**研究背景与问题** 柑橘(Citrus)为全球种植最广泛的果树之一,产量逐年增加,栽培管理压力随之加大。传统人工管理效率低、劳动力负担重。深度学习(Deep Learning)目标检测已在柑橘种植环境检测计数、叶片与病害识别、果实检测计数及病害识别中获得应用,但目标检测仅返回矩形边界框,框内包含大量非目标像素,定位精度低且缺乏形状细节,仅计算效率高、模型轻量。实例分割(Instance Segmentation)兼具目标检测与语义分割特性,可精确勾勒单个实例边界,已在机器人、医疗、智能驾驶等领域应用,并出现面向柑橘成熟度与虫害、绿果检测分割的研究。然而,柑橘花朵的实例分割研究尚少,而花朵自动检测分割有利于产量预测。柑橘从开花到幼果发育是连续且重叠的过程,同一区域与同一树上不同发育阶段的花朵和幼果共存,仅监测花朵无法完整掌握花果状况。此外,现有柑橘数据集多聚焦近成熟果实,缺乏专门的花朵数据集,且缺少能同时对两类目标进行实例分割的数据集。研究人员在云南省柑橘产区实地调研发现,当地网络覆盖与高性能计算设施常受限,使用大型高性能计算设备或将图像上传云端分割成本高、延迟大;部署于边缘计算设备可降低延迟、保障离线能力并减少长期运营费用。
**研究内容与结论** 针对上述空白,研究人员构建了包含仅花朵、仅幼果及二者共存图像的实例分割数据集,并提出轻量级SDCS-YOLO模型,基于YOLOv11对主干与分割头进行轻量化改进,以提升性能并保持高精度;通过改进动态卷积并提出更轻量的DCSegment分割头替代原结构,最终实现高实时性。研究人员还提出结合像素面积计算与相似度实例匹配的方法,用于花朵与幼果长期动态监测与跟踪,并以手工构建图像序列仿真测试和真实果园监控视频评估其性能。结果表明,SDCS-YOLO在轻量化方面显著提升,检测与分割精度与基线模型相当,在边缘设备上满足实时分割要求;但在更严格mAP@0.5:0.95指标上轮廓精度略低于基线,为后续优化重点。该研究首次提供涵盖花朵至幼果全发育阶段的多边形标注实例分割数据集,为疏花疏果、产量预测与花果动态管理提供数据与方法支撑。
**关键技术方法** 研究于2025年3月在中国云南省保山市龙陵县云南褚氏农业有限公司柑橘基地采集图像,品种为褚橙(甜橙类),使用3200万像素RGB相机手持在距目标30~50 cm处拍摄,从基地内随机选取150株柑橘树,于8:00—18:00全天候连续拍摄,并采集表面附着雨水的花果图像及多角度图像以增强鲁棒性;监控验证视频来自同一基地海康威视摄像机,分辨率2560×1440、帧率25 fps,未参与训练与验证。方法包括:构建含1857幅原始图像的数据集,统一缩放至640×640,采用Labelme 5.1.1多边形标注,并以9种数据增强方法(每幅随机选3种)扩展至7428幅,按7:2:1划分训练、验证与测试集;以YOLOv11为基础,将主干第2、4、6、8层C3K2模块替换为ShuffleNet V2结构实现主干轻量化;引入动态卷积改进分割头形成DCSegment;以SimSPPF替换SPPF结构;提出像素面积计算与基于位置、尺寸相似度的实例匹配跟踪方法;采用精确率(P)、召回率(R)、mAP@0.5、mAP@0.5:0.95、Params、FLOPs与FPS作为评价指标,模型在台式机训练后部署于NVIDIA Jetson Orin Nano边缘设备评估。
**研究结果**
*1. 评价指标设置* 为规范训练环境,全部训练实验先在台式机(Intel Core i9-12900KF CPU、NVIDIA GeForce RTX 4090 GPU、24 GB内存,Windows 11、CUDA 12.6、cuDNN 9.1.0、PyTorch 2.5.1)完成,再部署至边缘设备。训练参数为输入640、800轮、批大小24、优化器SGD、初始学习率0.01。所用边缘设备为飞云智能盒RTSS(中国瑞泰新时代科技有限公司),搭载NVIDIA Jetson Orin Nano开发套件GPU(7.3 GB显存,Ampere架构),系统为Ubuntu 20.04.5 LTS,CUDA 11.4、PyTorch 1.11.0、Torchvision 0.12.0。
*2. 边缘计算设备* 由上述设备配置可知,研究人员在台式机训练后将模型部署至边缘设备进行性能评估,为后续实时性验证奠定硬件基础。
*3. SDCS-YOLO在原始数据集上的性能* 在未增强数据集验证集上,幼果检测mAP@0.5达0.912、分割mAP@0.5达0.920,花朵相应为0.866与0.853,与花朵实例数明显少于幼果的样本分布一致;表明仅用原始数据难以充分训练掩码分支,需以数据增强扩充样本多样性并缓解类别不平衡,故后续实验均在增强数据集上进行。
*4. SDCS-YOLO损失曲线* 训练800轮后,训练集边界框检测损失为0.39216、验证集为0.48696,分割损失最终稳定在约1.0,分类损失与分布焦点损失(DFL)收敛于约0.3、DFL稳定在约0.8;表明模型早期学习定位与粗略轮廓等通用特征,后期聚焦像素级微调与分割边缘细化。不同初始学习率实验显示,学习率0.001时学习不足、FPS最低(边缘设备31.59、台式机1125.82),0.007时性能明显下降,0.01时整体性能最优,边缘设备与台式机FPS分别为31.75与1175.65。
*5. 消融实验* 共设7组实验,第1组为无改进的原始YOLOv11。仅替换ShuffleNet使Params由2.83 M降至2.33 M、FLOPs由5.10 G降至4.33 G,边缘设备FPS达30.01、较原模型提升18.29%,但精确率与召回率下降;单独引入DCSegment使Params降至2.64 M、FLOPs降至4.43 G,FPS显著提升且mAP@0.5改善;同时改进主干与分割头使Params降至2.12 M、FLOPs降至3.61 G、帧率达31.70,但精度、召回率与mAP@0.5低于原模型;SimSPPF单独作用对轻量化影响小。完整SDCS-YOLO的Params、FLOPs、FPS分别为2.12 M、3.61 G、31.75,检测与分割精确率分别达0.988与0.991(较原模型提升0.5%与0.6%),mAP@0.5亦超过原模型;相较基线,检测召回率下降1.2%、分割召回率下降1.1%,漏检多位于远处、图像边缘或被叶片等遮挡的目标。实验证实三种改进在减小模型与提升精度方面的有效性,31.75 FPS表明达到实时监测能力。
*6. 不同C3K2结构对比* 将ShuffleNet替换为PP-LCNet、GhostNetV2与RFEM后,PP-LCNet精度未达原水平且FLOPs增至4 G致FPS下降,GhostNetV2检测分割性能明显低于原模型且轻量化未超越,RFEM精度较好但FPS明显偏低;表明ShuffleNet在SDCS-YOLO中检测分割能力与实时性最佳。
*7. 与其他模型对比* 与YOLOv5n-seg、YOLOv8n-seg、YOLOv8-seg-P6、YOLOv9c-seg、YOLOv11n-seg、YOLOv12n-seg对比,YOLOv5n-seg检测分割性能最差但轻量化较好;YOLOv8n-seg精度略低且Params多1.14 M、FLOPs多2.83 G,边缘设备FPS为24.94、低6.81帧;YOLOv8-seg-P6未显优势且模型更大;YOLOv9c-seg召回率高但精确率显著低、边缘设备仅3.81 FPS;YOLOv12n-seg借助注意力机制精确率接近SDCS-YOLO但FPS仅18.78。可视化结果显示YOLOv5n-seg将果园灌溉水管误判为花朵,而SDCS-YOLO纯掩码展示更清晰体现预测掩码与实际轮廓的吻合度。
**讨论与结论** 讨论部分首先利用来自不同地点、不同树、不同时间点的16幅图像按 bud stage、full bloom stage、petal fall stage、young fruit stage 排序构建模拟数据集,以展示像素面积变化:第6阶段前幼果面积为零,第7阶段幼果出现且花朵平均像素面积达峰,第11阶段花朵完全消失而幼果继续发育。随后以同一基地14 s(350帧)监控视频验证,模型对近中景较大目标分割良好,对远处仅数十像素的小目标与图像边界目标分割明显退化;两个跟踪实例的像素面积在多数序列中保持稳定,但在部分遮挡或轻微运动模糊导致分割质量下降处出现波动,说明跟踪精度与分割质量存在耦合。局限性方面,研究人员首次提出涵盖花朵至幼果全发育阶段、采用多边形标注的实例分割数据集;模型在边缘设备达31.75 FPS、单幅640×640图像平均处理仅31.5 ms,分割精度0.991,但mAP@0.5:0.95为0.782,略低于基线YOLOv11n-seg的0.789,也未超过YOLOv12n(0.788)与YOLOv8-p6(0.792),归因于轻量化设计限制了掩码分支表达能力。研究仅在中国云南褚橙一个品种上开展,跨品种泛化性受限;文献表明柑橘花朵基本结构在种与品种间高度保守,但花径(27.60~51.63 mm)、花期(相差可达三至四周)及果实形态存在品种间差异,未来将采集多品种数据集并探索迁移学习。研究结论为:本研究提出一种柑橘花朵与幼果同时实例分割的方法,以实现对其开花结果过程的动态监测;据此从柑橘生产基地采集并构建了含1857幅原始图像、经数据增强扩展至7428幅图像的数据集;针对橘园边缘计算设备部署需求,提出基于YOLOv11的改进SDCS-YOLO,引入动态卷积增强的DCSegment分割头;系统测试验证了不同学习率对性能的影响,并开展消融实验与同类常用模型对比实验。实验结果表明,SDCS-YOLO在保持与基线模型相当的检测与分割精度的同时显著提升轻量化性能,仅2.12 M模型参数与3.61 G FLOPs计算量,在边缘计算设备上达31.75 FPS,满足实时分割要求;但在更严格的mAP@0.5:0.95指标上轮廓精度略低于基线模型,仍为未来优化的重点方向。