基于集成YOLO架构与无人机影像的榴莲树上果实稳健检测研究

《Smart Agricultural Technology》:Ensemble YOLO Architectures and UAV Imagery for Robust On-Tree Durian Detection

【字体: 大 中 小 】 时间:2026年10月30日 来源:Smart Agricultural Technology 7.1

编辑推荐:

  中文摘要翻译 可靠的榴莲树上果实检测是自动化果实计数、产量估算和采收规划的前提条件,而这些工作目前仍依赖耗时的人工检查。本研究针对无人机(UAV)高分辨率影像中的榴莲树上果实检测任务,对轻量级深度学习检测器进行了基准测试。研究在四种累积配置下,对五种nano和

  
中文摘要翻译 可靠的榴莲树上果实检测是自动化果实计数、产量估算和采收规划的前提条件,而这些工作目前仍依赖耗时的人工检查。本研究针对无人机(UAV)高分辨率影像中的榴莲树上果实检测任务,对轻量级深度学习检测器进行了基准测试。研究在四种累积配置下,对五种nano和tiny规模的You Only Look Once(YOLO)变体(YOLOv8n、YOLOv9t、YOLOv10n、YOLOv11n和YOLOv12n)进行了评估,数据集包含来自泰国南部商业果园及公开来源的1,344张标注图像(11,205个果实实例)。数据增强和图像增强分别使各模型的mAP@0.5变化至多0.6个百分点;由于每种配置仅使用固定随机种子训练一次,这些增量可能处于不同种子间的波动范围内,因此仅作为参考性结果报告。YOLOv9t是最准确的单一模型(mAP@0.5为94.0%;mAP@0.5–0.95为78.3%)。由YOLOv9t、YOLOv8n和YOLOv11n组成的加权框融合(WBF)集成结合测试时增强(TTA)达到了96.0%的mAP@0.5,但其mAP@0.5–0.95降至74.6%,端到端延迟在工作站GPU上并行执行时升至每张图像约60毫秒(约17帧每秒,FPS),而单一模型的前向传播仅为6.5–17.4毫秒(约57–154 FPS,不包括增强处理)。因此,单一模型是机载或边缘处理的自然选择,而集成模型适用于离线分析。研究人员还将检测器与BoT-SORT跟踪器耦合,构建了一个原型视频计数工作流;该计数阶段仅进行了定性演示,尚未针对视频级真值进行验证。标注数据集已公开发布。

论文解读

一、研究背景与问题

榴莲是泰国最具价值的出口作物之一,大量销往中国等市场。不断增长的市场需求给果园管理者在采收规划、果实品质维护和劳动力高效利用方面带来了更大压力。产量估算对于果园规划至关重要:掌握每个区块挂果数量,可使种植者安排采收轮次、雇佣工人、组织运输并协商价格。然而在实际生产中,这些计数仍依赖人工逐树目视检查。在大规模种植园中,人工计数耗时数天,且结果受观察者主观因素影响,因为隐藏在枝叶后方或高处的果实容易被漏计,计数误差会传导至劳动力分配、采后损耗以及议价能力等方面。
榴莲本身是一个具有挑战性的检测目标:果实体积大且形状独特,但其绿褐色果壳在航空影像中与周围树冠融为一体。无人机(UAV)因其能够快速覆盖大面积果园并从上方俯视树冠而具有吸引力,这可以减少但无法消除遮挡问题;与此同时,果实成像尺寸小且光照条件不可控。目前仅有少数研究尝试了榴莲树上果实检测,且尚无研究系统考察现有轻量级检测器在航空调查任务中的精度与速度是否足够。此外,现有研究多采用较旧或计算量较大的架构(如YOLOv4、Faster R-CNN),难以满足无人机硬件的实时处理需求,而YOLOv8及之后的轻量级世代尚未在榴莲检测任务上进行相互基准比较。数据增强和图像增强对榴莲检测的贡献也未被量化。

二、研究内容与结论

本研究系统评估了五种轻量级YOLO变体在无人机影像中检测榴莲树上果实的性能,包括精度、模型规模、计算量和延迟等维度。研究采用累积式实验设计,依次加入数据增强、图像增强和集成学习,以量化各步骤的独立贡献。结果表明:YOLOv9t是精度最高的单一模型,mAP@0.5达94.0%,mAP@0.5–0.95为78.3%;数据增强和图像增强对每个模型的mAP@0.5影响至多0.6个百分点,可能处于随机种子波动范围内,仅作参考;由YOLOv9t、YOLOv8n和YOLOv11n组成的加权框融合(WBF)集成结合测试时增强(TTA)将mAP@0.5提升至96.0%,但mAP@0.5–0.95降至74.6%,端到端延迟升至约60毫秒/张(约17 FPS),而单一模型前向传播仅需6.5–17.4毫秒(约57–154 FPS)。因此,单一模型更适合机载或边缘实时处理,集成模型则适用于离线高精度分析。该研究还构建了检测器与BoT-SORT跟踪器耦合的原型视频计数工作流,并公开发布了标注数据集。这项研究填补了轻量级YOLO世代在榴莲树上检测任务中缺乏系统基准比较的空白,为无人机果园调查提供了参考基准。

三、关键技术方法

研究人员使用了以下主要技术方法:数据集来自两个来源——自行录制的DJI Air 3无人机在泰国攀牙府和素叻他尼府商业榴莲园(“Monthong”品种)以10–20米高度飞行的影像,以及公开来源的树上榴莲图像,经质量筛选后共1,344张高分辨率图像(训练938张、验证133张、测试273张),包含11,205个果实实例,按COCO尺寸约定43.1%为小目标。标注在Roboflow平台进行,单一类别“durian”,部分遮挡果实(可见面积约30%以上)和重叠果实均单独标注,直径小于约15像素的极小果实被排除。数据增强包括几何变换(水平翻转、±15°旋转、±10°剪切、20%以内随机裁剪缩放)、光度变换(±15%亮度、±10%曝光)以及马赛克拼接和边界框级裁剪。图像增强使用Kornia库在GPU上执行,核心为RGB CLAHE(对比度受限自适应直方图均衡化),辅以Gray World自动白平衡、高斯模糊和全局直方图均衡化,并为每个模型搜索最优参数组合。检测模型为YOLOv8n、YOLOv9t、YOLOv10n、YOLOv11n和YOLOv12n五种nano/tiny规模变体。集成策略采用加权框融合(WBF)结合多尺度测试时增强(TTA)。计数原型将检测器与BoT-SORT跟踪器耦合。

四、研究结果

4.1 模型规模与推理速度:YOLOv9t参数量最少(1.9M),YOLOv12n计算量最低(5.8 GFLOPs),YOLOv8n推理最快(6.5毫秒/张),YOLOv9t最慢(17.4毫秒/张)。所有模型均适合边缘部署。
4.2 单一模型检测精度:在原始数据集上,YOLOv9t达到最高mAP@0.5(94.0%)和mAP@0.5–0.95(78.3%),表明其增强的梯度流和特征金字塔结构有利于小目标检测。
4.3 数据增强的贡献:在原始数据基础上加入增强后,各模型mAP@0.5变化不超过0.6个百分点,由于每种配置仅训练一次且使用固定随机种子,该增量可能处于种子间波动范围内,仅作参考性报告。
4.4 图像增强的贡献:在增强数据基础上叠加图像增强预处理后,各模型mAP@0.5同样变化至多0.6个百分点,结论与数据增强类似,增益有限且可能不具统计显著性。
4.5 集成与TTA的效果:将YOLOv9t、YOLOv8n和YOLOv11n三个模型通过加权框融合(WBF)集成并配合测试时增强(TTA),mAP@0.5提升至96.0%,但mAP@0.5–0.95下降至74.6%,定位精度有所牺牲。
4.6 延迟权衡:集成模型端到端延迟约60毫秒/张(约17 FPS),而单一模型前向传播仅需6.5–17.4毫秒(约57–154 FPS)。图像增强额外增加10–15毫秒/张。单一模型适合实时机载处理,集成模型适合离线分析。
4.7 小目标检测:数据集中43.1%的果实实例为小目标(面积<32×32像素),小目标检测是主要挑战。研究未采用切片辅助推理(SAHI),该技术被列为改善最小果实检测的潜在后续方案。

五、讨论与结论

讨论部分指出,数据增强和图像增强的增益较小且可能落在种子间波动范围内,其效果需通过多次重复训练才能确认。集成模型虽然提升了检测精度(mAP@0.5),但定位精度(mAP@0.5–0.95)反而下降,且延迟显著增加,因此单一模型更适合机载或边缘实时处理场景,集成模型更适合离线高精度分析。研究还指出,RT-DETR和LW-DETR等实时Transformer检测器因模型规模(参数约为本研究所用模型的4–10倍)和训练协议不同而未被纳入比较,但D-FINE-N等nano规模DETR的出现使跨家族公平基准测试成为可能,已列入未来工作。计数工作流仅进行了定性演示,尚未针对视频级真值验证。
研究结论为:在无人机榴莲果园影像中,YOLOv9t是精度最高的轻量级单一模型,适合机载或边缘实时检测;集成模型可进一步提升检测精度但牺牲定位精度和速度,适合离线分析;数据增强和图像增强的独立贡献较小且可能不具统计显著性;所构建的检测器与BoT-SORT跟踪器耦合的计数原型为自动化果实计数提供了可行框架;公开数据集为后续研究奠定了基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号