基于轻量化小目标检测与Mamba驱动的多步轨迹补全的温室蓝莓实时精准计数方法

【字体: 时间:2025年09月01日 来源:Smart Agricultural Technology 5.7

编辑推荐:

  为解决温室环境下蓝莓因小尺寸、密集分布和频繁遮挡导致的漏检与重复计数问题,Naiqi Zhang与Jianhua Cao团队提出融合轻量化YOLOv12n检测模型与Mamba轨迹预测框架的创新方法。通过混合损失函数(HL)与多尺度特征融合模块(MCSPF)提升小目标检测性能(mAP@50达0.877),结合KAN编码器与Mamba解码器实现15.4像素的轨迹预测误差(ADE),最终系统在边缘设备实现92.5%计数精度与35 FPS实时性能,为智慧农业提供可靠技术支撑。

  

在设施农业智能化发展的浪潮中,蓝莓等小浆果作物的精准计数一直是制约自动化采收和产量预测的关键瓶颈。这些直径仅16像素的"蓝色珍珠"不仅个头小巧,还喜欢"扎堆"生长——密集分布、成熟期重叠、枝叶遮挡等特性,让传统人工计数既费时又易错。更棘手的是,现有基于深度学习的检测方法在视频计数时,常因目标短暂消失或轨迹漂移导致同一蓝莓被反复统计,就像超市收银台误扫了同件商品两次。

针对这一难题,天津科技大学人工智能学院的Naiqi Zhang与Jianhua Cao在《Smart Agricultural Technology》发表的研究中,构建了一套从"看得清"到"数得准"的完整技术方案。研究团队首先直面小目标检测的"视力障碍",为YOLOv12n模型配备了两项"视觉增强装备":能聚焦微小目标的混合损失函数(融合Focal Wasserstein Loss与HBALoss),以及像显微镜般的多分支跨阶段金字塔模块(MCSPF)。这些改进让模型在公开数据集PEST24上精度提升8.3%,在真实温室场景中达到87.7%的检测准确率。

面对蓝莓轨迹"神出鬼没"的特性,研究者创新性地将时下热门的Mamba架构引入农业领域。这套系统如同具备"预判能力"的智能管家:先用OTAM模块捕捉周围蓝莓的"社交关系",再通过GamaKAN编码器解析非线性运动规律(采用Kolmogorov-Arnold网络替代传统MLP),最后用Mamba解码器预测未来位置。实验显示,其6帧轨迹预测误差(ADE)仅15.4像素,比主流方法降低10.1像素。

最精妙的是两阶段轨迹补全机制。当蓝莓短暂躲过检测时,系统会像玩"连连看"游戏般,先用预测位置补全轨迹(第一阶段匹配),再用检测结果修正(第二阶段匹配)。这使得ID切换率大幅降低,在模拟3帧遮挡时仍保持74.8%的轨迹恢复率,最终整体计数精度达92.5%,且能在Jetson边缘设备上实时运行。

关键技术方法包括:1) 基于YOLOv12n改进的轻量化检测模型(含MCSPF模块与混合损失);2) 轨迹预测框架(OTAM空间聚合+GamaKAN时空编码+KG门控融合+Mamba解码);3) 两阶段轨迹补全策略(结合预测与检测框匹配)。数据源自云南温室巡逻机器人采集的2,182张图像及4,132条标注轨迹。

2.1. 数据集

研究采用自建蓝莓数据集(云南温室拍摄,544×960分辨率)与公开基准PEST24。通过3FPS采样构建含27个蓝莓/帧的训练集,并采用8:1:1划分策略确保评估可靠性。

2.2. 目标检测模型

改进的YOLOv12n通过HBALoss实现边界精细化(式2),MCSPF模块通过跨阶段特征融合(式3)将GFLOPs控制在5.8,较基线降低3.3%。

3.2. 目标检测性能

在PEST24数据集上,渐进式混合损失策略使mAP@50提升2.9%(表1);与YOLOv10对比,本文方法F1-score提高4%(表2)。图7显示其对遮挡和小目标显著优势。

3.3. 多目标跟踪评估

完整框架(GamaKAN+APR+OT+KG)以91 FPS实现15.4像素ADE(表3),较Social LSTM误差降低62%。图8展示在密集场景下ID一致性保持能力。

3.4. 漏检补全实验

模拟3帧遮挡时,预测驱动补全使计数误差仅3.7%,较ByteTrack降低53%(表6)。表5显示恢复率随遮挡时长呈指数下降。

这项研究的意义不仅在于解决农业痛点的技术创新,更开创了Mamba架构在农业视觉任务的先河。正如作者在讨论中指出,未来融合近红外成像与静态特征关联,或将进一步提升系统在极端光照下的鲁棒性。该成果为高密度小目标计数提供了可复用的技术框架,其模块化设计也能扩展至草莓、葡萄等其他浆果作物,推动设施农业向"帧帧精准"的智能时代迈进。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号