基于MCS-YOLOv8与自适应滤波(Adaptive Filtering)的杂草定位方法

《Agriculture》:A Weed Location Method Based on MCS-YOLOv8 and Adaptive Filtering

【字体: 大 中 小 】 时间:2026年07月03日 来源:Agriculture 4.5

编辑推荐:

  为解决近距离农业图像中杂草目标形态变异大、背景干扰强及视觉感知模型计算资源受限等问题,研究人员提出了一种面向受控或半受控近距离精密除草场景的序贯式视觉感知方法,用于杂草识别与短距离三维定位。该方法主要包括杂草检测与三维定位两个阶段。在检测阶段,以YOLOv8n

  
为解决近距离农业图像中杂草目标形态变异大、背景干扰强及视觉感知模型计算资源受限等问题,研究人员提出了一种面向受控或半受控近距离精密除草场景的序贯式视觉感知方法,用于杂草识别与短距离三维定位。该方法主要包括杂草检测与三维定位两个阶段。在检测阶段,以YOLOv8n为基础构建了轻量化MCS-YOLOv8模型,引入MobileNetV3以降低参数量与计算复杂度,采用卷积块注意力模块(CBAM, Convolutional Block Attention Module)与Shape-IoU损失函数以增强杂草相关特征表达并改善不规则目标的边界框回归。在定位阶段,使用RAFT-Stereo作为初始视差估计器,并利用检测所得边界框与置信度分数设计检测引导的自适应加权最小二乘(WLS, Weighted Least Squares)深度优化策略,对目标区域深度信息进行细化以支持短距离三维坐标解算。实验结果表明,MCS-YOLOv8参数量为1.6 M,计算量为4.3 GFLOPs,mAP@0.5与mAP@0.5:0.95分别达94.1%与65.0%,较YOLOv8n基线分别提升2.0与2.7个百分点,参数量与FLOPs分别降低约46.7%与46.9%。在受控条件下的三维定位实验中,X、Y、Z方向平均绝对误差分别为2.2 mm、2.6 mm与3.2 mm,平均三维欧氏误差约为4.7 mm。动态目标实验进一步证明所提流程可在受控条件下完成室内动态目标识别、三维坐标更新与激光指向验证。结果表明,该方法在受控农业近距离成像条件下对杂草检测与短距离三维定位具有有效性,可为受控或半受控近距离精密除草设备的视觉感知与末端执行器指向提供参考。
论文解读——《A Weed Location Method Based on MCS-YOLOv8 and Adaptive Filtering》(发表于Agriculture)
一、研究背景与意义
近距离精密除草设备在受控或半受控作业环境下,除需识别图像中杂草目标外,还须获知其空间位置以引导末端执行器作业。传统基于颜色、纹理等手工特征的杂草识别方法易受光照变化、背景干扰及形态差异影响;基于深度学习的一般目标检测模型虽具更强特征表达能力,但在农业移动平台部署时常面临模型复杂度与检测精度难以兼顾的问题。此外,双目立体视觉可提供短距离深度信息,但杂草叶片细长、弱纹理且与土壤背景混杂,使传统立体匹配易产生误匹配、空洞及边界模糊。现有深度学习立体匹配(如RAFT-Stereo)给出的是全局视差估计,未显式利用语义检测结果。因此,如何将二维检测结果引导至视差细化以提升杂草区域深度稳定性,仍有待研究。本文针对上述问题,构建序贯式检测—定位流程,在YOLOv8n基础上提出轻量化MCS-YOLOv8检测器,并结合检测引导的自适应加权最小二乘(Weighted Least Squares, WLS)深度优化策略,实现近距离杂草高精度检测与短距离三维定位,为精密除草设备视觉感知提供依据。
二、主要关键技术方法
研究人员采集加拿大不列颠哥伦比亚省Davidson果园近距杂草图像760张(6类杂草,拍摄高度约30–50 cm),按8:1:1划分为训练/验证/测试集,训练集做旋转、翻转、亮度调整等扩增后含2400样本。检测模型以YOLOv8n为基线,(1)将主干部分替换为MobileNetV3轻量化模块(深度可分离卷积与倒残差结构);(2)在Neck多尺度融合节点嵌入CBAM(Convolutional Block Attention Module)进行通道与空间注意力重标定;(3)用Shape-IoU损失函数替代原IoU损失以更好拟合不规则形状边界框——三者首字母组合命名为MCS-YOLOv8。三维定位采用OAK-D-SR短距双目相机采集校正后左右图像,先用预训练RAFT-Stereo获得初始稠密视差图并转为初始深度图,再根据MCS-YOLOv8输出的检测框二值掩膜与置信度分数构造空间自适应平滑系数图λ(p)与数据保真权重图ω(p),对经典WLS能量函数进行改进(检测框内高置信区弱平滑、强保真,背景区强平滑、弱保真),全局求解优化后深度图,最终结合相机内参与基线解算相机坐标系下三维坐标并经手眼标定转换至执行端进行激光指向验证。
三、研究结果
3.1 数据与实验设置
研究人员在统一软硬件平台(RTX 4060 GPU及EAT230边缘控制器)上训练与测试,输入尺寸640×640,SGD优化器训练300 epoch;双目定位实验在受控室内进行,用已知坐标标靶与杂草样本分别做静态与动态验证。
3.2 杂草检测模型消融实验(Ablation Experiments of Weed Detection Model)
通过分别引入MobileNetV3、CBAM、Shape-IoU并进行组合对比,研究人员发现单独引入MobileNetV3使参数量由3.00 M降至1.52 M、FLOPs由8.1 G降至4.1 G,但mAP略降,说明其主要用于轻量化而非精度提升;单独加入CBAM使mAP@0.5升至93.0%、mAP@0.5:0.95升至63.1%;单独换用Shape-IoU使mAP@0.5:0.95升至63.5%且不影响推理复杂度;三者联合得到MCS-YOLOv8,mAP@0.5达94.1%、mAP@0.5:0.95达65.0%,较基线分别提升2.0和2.7个百分点,参数量1.6 M、FLOPs 4.3 G,较YOLOv8n分别减少约46.7%和46.9%。
3.3 杂草检测模型性能对比与边缘端推理分析(Performance Comparison and Edge-Side Inference Analysis of Weed Detection Models)
研究人员将MCS-YOLOv8与Faster R-CNN、SSD、YOLOv5s、YOLOv8n/s/m、YOLOv9-tiny、YOLOv10n及RT-DETR-L对比。MCS-YOLOv8在参数量(1.6 M)与FLOPs(4.3 G)远小于大模型前提下,mAP@0.5(94.1%)接近RT-DETR-L(94.5%)但计算成本大幅降低;桌面GPU帧率125 FPS,EAT230边缘设备帧率51.0 FPS,模型文件更小、内存占用更低,在精度—轻量化—速度间取得较好平衡,适合资源受限农业感知场景。各类别AP显示多数类别(如稗草、加拿大蓟、天竺葵)有提升,少数类别(如马唐、荠菜)略降。
3.4 杂草检测实验(Weed Detection Experiment)
KPCA-CAM(Class Activation Mapping based on Kernel Principal Component Analysis)热力图显示MCS-YOLOv8高响应区更集中于杂草叶片与本体,背景响应降低;定量上激活面积比(Activation Area Ratio, AAR)由0.386降至0.291,目标注意比(Target Attention Ratio, TAR)由0.624升至0.713,表明CBAM与Shape-IoU有助于抑制背景、聚焦杂草特征。六类杂草可视化检测结果显示MCS-YOLOv8边界框定位稳定,对不规则叶片目标置信度有所提高。
3.5 定位实验与结果分析(Localization Experiments and Result Analysis)
3.5.1 SGBM与RAFT-Stereo视差估计结果比较(Comparison of Disparity Estimation Results Between SGBM and RAFT-Stereo)
定性对比显示传统半全局块匹配(Semi-Global Block Matching, SGBM)视差图在土壤背景与草叶边缘存在较多噪声与空洞,RAFT-Stereo输出视差图在杂草主体区域更连续、边界更清晰,可为后续深度解算提供较稳定的初始视差。
3.5.2 检测引导的自适应WLS深度优化结果分析(Result Analysis of Detection-Guided Adaptive WLS Depth Optimization)
在300 mm、500 mm、800 mm三个典型近距离位姿,经检测引导自适应WLS优化后深度平均绝对误差(Mean Absolute Error, MAE)分别从12.0 mm、25.0 mm、50.0 mm降至3.0 mm、5.0 mm、8.0 mm,误差降低率分别为75.0%、80.0%、84.0%,均方根误差(Root Mean Square Error, RMSE)、标准差(Standard Deviation, Std)与最大误差亦下降。完整流程在RTX 4060上总耗时约185.37 ms(约5.39 FPS),WLS额外耗时仅7.85 ms;EAT230上总耗时约759.05 ms(约1.32 FPS),WLS额外18.40 ms,RAFT-Stereo为耗时主导环节。
3.5.3 目标与杂草定位验证实验(Target and Weed Localization Verification Experiments)
静态标靶定位实验:X、Y、Z方向MAE分别为2.2 mm、2.6 mm、3.2 mm,平均三维欧氏误差约4.7 mm,最大三维误差约5.8 mm,达毫米级定位精度。杂草样本可生成对应目标定位点并经手眼标定映射至执行端。
3.5.4 动态目标定位与激光指向验证实验(Dynamic Target Localization and Laser Pointing Verification Experiments)
动态目标切换条件下成功率96.7%,平均指向误差6.8 mm,最大指向误差11.5 mm,平均响应时间185 ms;传送带连续运动目标条件下成功率93.3%,平均指向误差9.4 mm,最大指向误差16.8 mm,平均响应时间236 ms。失败或偏差偏大主要出现在目标近视场边缘、部分遮挡及连续运动时,表明流程在受控室内动态条件下具备可行性但仍需进一步提升鲁棒性。
四、讨论与结论(翻译浓缩)
研究表明,针对受控或准受控近距离精密除草场景中杂草识别、短距三维定位与末端指向验证需求,研究人员提出的序贯视觉感知流程——以轻量化MCS-YOLOv8(MobileNetV3主干+CBAM+Shape-IoU)作杂草检测,RAFT-Stereo作初始视差估计,检测引导的自适应WLS作深度优化——在自建近距杂草数据集上使mAP@0.5提升至94.1%、mAP@0.5:0.95至65.0%,参数量降至1.6 M、FLOPs降至4.3 G(较YOLOv8n分别降约46.7%与46.9%)。检测引导自适应WLS将300–800 mm距离深度测量MAE从12–50 mm降至3–8 mm;静态标靶三维定位X/Y/Z方向MAE分别为2.2 mm/2.6 mm/3.2 mm,平均三维欧氏误差约4.7 mm;动态目标切换与连续运动指向成功率分别达96.7%与93.3%。该方法在受控条件下对近距离杂草检测与三维定位有效,可为受控或半受控近距离精密除草装备视觉感知与末端指向提供参考。当前实验限于受控环境,完整双目定位流程因RAFT-Stereo计算量尚未达田间实时要求;未来需在移动农业机器人平台开展田间验证,并对立体匹配轻量化、全流程加速及多目标连续跟踪等进行研究。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号