《Agriculture》:TLD-YOLO: A Lightweight Detector with Cross-Scale Adaptive Fusion and Dual Attention for Tiny Litchi Detection and Counting in Unstructured Orchards
编辑推荐:
在自然果园中对小荔枝果实进行准确检测和计数是近似产量估算和精准采收的基础;然而,小目标信号在下采样过程中容易丢失,同时密集簇、遮挡和复杂背景进一步损害定位性能。仅在特征细化后应用注意力无法保护较弱的中间响应,而通道拼接将空间细节和语义信息等同对待。本研究提出小
在自然果园中对小荔枝果实进行准确检测和计数是近似产量估算和精准采收的基础;然而,小目标信号在下采样过程中容易丢失,同时密集簇、遮挡和复杂背景进一步损害定位性能。仅在特征细化后应用注意力无法保护较弱的中间响应,而通道拼接将空间细节和语义信息等同对待。本研究提出小荔枝检测YOLO(Tiny Litchi Detection YOLO,TLD-YOLO),一种用于非结构化果园中小荔枝检测和计数的轻量级检测器。首先,定制化的嵌入跨尺度注意力(Embedded Cross-Scale Attention,ECS Attention)被嵌入主干细化过程的中间流,并引入支持约束的局部对比度增强以保护较弱的果实响应。然后,跨尺度自适应融合模块(Cross-Scale Adaptive Fusion Module,CAF Module)在主干颈部(Neck)主要路径中用标量加权融合替代五个拼接节点,并在高分辨率P4–P3阶段增加局部细节补偿,在减少参数的同时保留细节。最后,优化后的方向空间注意力(Directional Spatial Attention,DS Attention)使用门控平均–最大方向描述符对细化特征进行重标定,增强果实区域并抑制背景。内最小点距离交并比(Inner Minimum Point Distance Intersection over Union,Inner-MDPIoU)结合辅助框缩放进一步改善精细定位。这些组件共同构成一个针对密集小目标检测的统一的轻量级流水线。TLD-YOLO在交并比阈值为0.5时取得88.0%的平均精度(mAP@0.5),在0.5:0.95阈值范围下取得60.2%的mAP@0.5:0.95,参数量为7.84 M。与基线相比,两个mAP指标分别提高2.0和2.6个百分点,参数量减少18.3%。在基于视频的可见果实计数中,各最大计数帧的漏检和误检分别比基线低36.7%和66.7%。依赖于视角的最大计数不能衡量完整的三维树冠果实负载,但可以为初步产量估算提供一个简单的近似指标。因此,TLD-YOLO为小荔枝检测和计数提供了实用参考,并具有应用于果园近似产量评估的潜力。
研究背景与问题:荔枝(Litchi chinensis Sonn.)是南中国高价值热带亚热带果树,中国荔枝产量约280万吨,居世界首位;2025年种植面积约50.2万公顷,年产量约345万吨,第一产业产值超300亿元。由于集中成熟和采后快速生理变化,可靠的采前产量信息对收获规划、资源调度、供应链管理和风险缓解至关重要。目前果园产量估算仍依赖人工抽样、计数、称重和外推,费时费力且易受采样偏差和环境异质性影响。虽然深度学习检测器已广泛用于果实视觉任务,但荔枝在宽视野图像中多数实例面积小于图像1%,呈典型小目标特征;密集簇、叶片/枝条遮挡、果实与叶片颜色纹理相似,以及小框对像素位移敏感,导致常规检测器更容易出现弱特征响应、定位不准和漏检。已有注意力机制多在特征细化后应用,无法保护中间弱响应;通道拼接将空间细节与语义等同对待,难以动态调节跨尺度信息。因此,该研究提出TLD-YOLO(Tiny Litchi Detection YOLO),一种面向密集小荔枝果实的轻量级检测与计数模型。
研究人员基于YOLOv9s的广义高效层聚合网络(GELAN)架构,设计了三个任务导向模块:嵌入跨尺度注意力(ECS Attention)嵌入主干细化块中间流,通过支持约束的局部对比度增强保护弱果实响应;跨尺度自适应融合模块(CAF Module)用标量加权融合替换颈部主路径五个拼接节点,并在高分辨率P4–P3阶段增加局部细节补偿;方向空间注意力(DS Attention)在特征细化后使用门控平均–最大方向描述符进行空间重标定,增强果实区域并抑制背景。训练损失采用内最小点距离交并比(Inner-MDPIoU)辅助框缩放策略。在自建荔枝数据集上,TLD-YOLO取得88.0% mAP@0.5和60.2% mAP@0.5:0.95,参数量为7.84 M;相比基线YOLOv9s,两个mAP指标分别提高2.0和2.6个百分点,参数量减少18.3%。在视频计数实验中,漏检和误检分别降低36.7%和66.7%。该研究为小荔枝检测和计数提供了一种轻量高效方案,并为果园近似产量评估提供了实用参考。
关键技术方法:数据来自广州市从化区荔枝博览园(113.63°E,23.59°N),于2022和2023年5–6月果实成熟期采集,覆盖桂味、糯米糍、妃子笑等多个品种,成像距离0.3–2.5 m,共475张原始图像,经增强后训练集1670张、验证集141张,共89,238个边界框实例,验证集含6788个实例;另有43个独立果园视频用于计数验证。主要技术包括:①ECS Attention:将特征图沿通道分组,经1×1和3×3并行分支编码,通过双向交叉协方差融合,并利用支持约束的标准化局部对比度细化注意力logits;②CAF Module:采用Swish条件标量加权融合,在P4–P3高分辨率节点增加中心–环绕细节残差;③DS Attention:沿行、列提取平均与最大描述符,经零初始化门控和共享1×1变换生成方向注意力向量;④Inner-MDPIoU损失:以r=0.7收缩辅助框并结合MDPIoU角点距离惩罚。训练使用AdamW优化器、640×640输入、300轮训练。
研究结果部分:
3.1 实验设置:研究在Ubuntu 22.04、NVIDIA A800 80GB GPU环境下进行,软件环境为Python 3.10、PyTorch 2.5.1、CUDA 12.1。采用MS COCO预训练权重迁移初始化,输入统一调整为640×640,批量大小16,AdamW优化器,初始学习率0.001线性衰减至0.00001,前3轮热身,训练300轮,早停耐心50轮,最后10轮关闭Mosaic增强。
3.2 与主流模型比较:在相同训练配置下,对比YOLOv5s、YOLOv7-tiny、YOLOv8n/s、YOLOv9t/s、YOLOv10n,TLD-YOLO的mAP@0.5和mAP@0.5:0.95均最高,分别超基线YOLOv9s 2.0和2.6个百分点,参数量比基线少18.3%,计算量(GFLOPs)低3.1%。三次独立运行确认性能稳定。
3.3 消融实验:单独添加CAF Module使mAP@0.5:0.95提高1.5点,召回率提高3.2点;单独添加DS Attention在仅增加0.03 M参数下提升mAP;单独添加ECS Attention主要提高召回率1.0点;单独使用Inner-MDPIoU提升定位精度。两模块组合中CAF+DS的mAP最高,CAF+ECS的召回率和F1最高;完整三模块架构结合Inner-MDPIoU达到最优,证明各模块协同有效。
3.4 损失函数比较:在相同架构下比较NWD、MDPIoU及不同辅助框比例r。r=0.7时性能最佳,相比默认MDPIoU使mAP@0.5和mAP@0.5:0.95分别提高1.0和1.3个百分点;纯NWD损失低于MDPIoU,说明在宽目标尺度范围数据集上,IoU类损失结合辅助框策略更稳健。
3.5 检测可视化:使用Eigen-CAM对主干P4层进行热力图可视化,TLD-YOLO的激活集中在果实区域,密集簇中个体果实产生独立响应,背景枝条和树干纹理激活较弱;基线则对分支纹理存在扩散激活。表明ECS Attention、CAF Module和DS Attention的组合有效抑制了复杂背景干扰。
3.6 基于视频的可见果实计数:从43个独立视频中选取5个环绕视频,每30帧采样一次,以最大可见果实数作为视角依赖计数统计量。在各模型自己选出的最大计数帧中,TLD-YOLO累计漏检38个、误检2个,基线的累计漏检60个、误检6个,分别降低36.7%和66.7%。最大可见果数不能代表完整三维树冠负载,但可为初步产量估算提供简单近似指标。
总结讨论:消融结果表明,中间流对比度细化、选择性高分辨率细节补偿和门控方向重标定是互补且非累加的,需与定位目标协同放置才能发挥最佳作用。NWD不适用于宽目标尺度数据集是因为零重叠场景较少,IoU类损失更稳健。限制包括数据仅来自单一果园,地理气候多样性有限;图像级随机划分未按树或场景分组,无法完全排除相似图像相关性;视频实验仅报告可见最大计数,缺乏整树收获真值,不支持精确产量预测;远距离小目标(<10像素)和重度遮挡区域仍存在漏检。未来方向包括多站点分组外部验证、超分辨率重建前端、结合多目标跟踪与深度估计的多视角三维计数,以及与收获果实数量或质量进行校准。
研究结论翻译:该研究提出了TLD-YOLO,一种针对复杂果园环境中微小荔枝果实检测的轻量级网络。一般检测器难以处理占据图像面积小于1%的荔枝果实,因为连续下采样会衰减浅层空间细节,标准特征融合缺乏对多尺度信息的自适应调节。基于YOLOv9s GELAN架构,研究人员重新设计并耦合了三个任务导向组件:用于主干中支持约束中间流特征保护的ECS Attention,用于自适应融合和选择性高分辨率细节补偿的CAF Module,以及用于特征细化后门控双统计方向重标定的DS Attention。进一步将Inner-IoU辅助框缩放与MDPIoU集成以改进细粒度定位。整体架构将特征保护、融合、细化和空间重标定以针对密集微小荔枝的布置策略联系起来。在自建荔枝数据集上,TLD-YOLO以7.84 M参数取得88.0% mAP@0.5和60.2% mAP@0.5:0.95,优于同类YOLO检测器。在基于视频的可见果实计数实验中,采用采样视角中的最大计数作为视角依赖统计量。在各最大计数帧中,TLD-YOLO比基线漏检减少36.7%,误检减少66.7%,但这些数值不是完整树冠果实计数或实际产量的配对误差。最大可见果实数仍可作为初步产量估算的简单近似指标;严格的产量预测需要多视角去重和按收获果实数或质量进行校准。TLD-YOLO的参数量和计算成本降低为未来在无人机和移动硬件上的部署评估提供了理论基础,其耦合的特征保护、自适应融合和方向重标定框架也可推广到柑橘、芒果等其他小果实检测任务。