《Agronomy》:From Reproductive Biology to Woody Oil Utilization: An Integrated Review and Bibliometric Analysis of Idesia polycarpa
编辑推荐:
为解决棉田在视觉相似性、背景干扰、叶片遮挡及不规则植株形态下的作物–杂草实例分割与像平面操作点定位难题,研究人员开发了一种轻量级实例分割模型GDMM-YOLO11。该模型以YOLO11n-seg为基础,将P2/4、P3/8、P4/16和P5/32处四个骨干阶
为解决棉田在视觉相似性、背景干扰、叶片遮挡及不规则植株形态下的作物–杂草实例分割与像平面操作点定位难题,研究人员开发了一种轻量级实例分割模型GDMM-YOLO11。该模型以YOLO11n-seg为基础,将P2/4、P3/8、P4/16和P5/32处四个骨干阶段过渡下采样卷积替换为GhostConv以减少冗余计算,引入C3k2_DySnakeConv_Mona模块以增强结构特征和多尺度特征表征,并将原位于空间金字塔池化融合(SPPF)之后的C2PSA模块替换为混合局部通道注意力(MLCA)以重新校准高层特征响应。实验在包含2856个标注植株实例的2177张图像上进行,采用65%/15%/20%的分层训练–验证–测试划分。在随机种子3407、3408和3409的三次独立运行中,GDMM-YOLO11取得了89.82±2.60%的掩码精确率、84.50±2.49%的掩码召回率、89.76±0.66%的掩码mAP@0.5和68.50±0.34%的掩码mAP@0.5:0.95。相对YOLO11n-seg,三次运行相应均值分别数值上高出3.52、1.07、1.67和2.33个百分点,同时参数量从2.836 M降至2.533 M,计算量从9.6降至8.8 GFLOPs。在像平面操作点定位方面,528个真实杂草实例中有505个获得了有效的同类别掩码匹配。研究人员提出的基于骨架约束的融合中心法实现了99.41%的真实掩码内含率和91.29%的条件成功率达0.15(Success@0.15),端到端成功率达0.15(E2E Success@0.15)为87.31%。与掩码质心基线的配对比较显示,在真实掩码内含率和杂草边界间隙方面取得了统计显著的改进,而在定位误差、Success@0.10和Success@0.15方面差异不具有统计显著性。在NVIDIA Jetson AGX Orin上部署TensorRT FP16模型,实现了仅模型推理延迟为2.796±0.115 ms,对应357.67 FPS。上述结果表明,GDMM-YOLO11在支持像平面操作点生成和高吞吐量仅模型边缘推理的同时,提供了良好的精度–复杂度权衡。
**论文解读**
**一、研究背景与问题**
精准农业和智能农机的发展使基于视觉的作物–杂草识别与分割成为农业感知的核心任务。棉田中的杂草与棉花争夺水分、养分和生长空间,严重影响棉花生长和产量。因此,可靠地区分棉花与杂草对于定点喷洒、机械除草及自主田间机器人至关重要。早期方法主要依赖手工设计的颜色、纹理和形状描述符,这些特征在均匀光照和简单背景下表现良好,但对光照变化、异质性土壤以及作物与杂草之间的视觉相似性高度敏感。深度目标检测器和图像分割网络能够提供层次化的视觉特征,更好地应对复杂田间图像。
大多数杂草检测研究采用边界框来确定作物和杂草的类别与位置,推理效率高且实现直接。然而,边界框检测器无法恢复像素级的叶片轮廓。当棉花与杂草发生重叠、接触或相互遮挡时,单一检测框可能同时包含土壤、棉花叶片和邻近杂草。这种表征对于需要精确目标边界和实例区域的精准喷洒、机械除草和像平面操作点定位等应用而言是不充分的。语义分割方法虽然能实现像素级作物与杂草区域划分,但会合并相邻的同类别目标,无法区分接触或相互遮挡的杂草个体。实例分割结合了目标定位和像素级掩码预测,能够分离相邻同类别目标,因而更适合棉田作物–杂草分离及后续的像平面操作点生成。
然而,若干困难仍然存在:棉花与伴生杂草类可能共享相似的颜色、纹理和叶形,导致类别混淆;土壤、阴影、作物残茬和地膜反光引入无关响应,干扰目标提取;小杂草、细长叶片、被遮挡实例和不规则边界的表征较弱,导致漏检、实例合并和不完整轮廓。此外,许多高精度的实例分割模型计算量过大,无法在农业边缘硬件上实时运行。因此,一种实用的解决方案必须将强大的形状表征能力和稳健的目标–背景判别能力与适度的计算成本结合起来。
**二、研究内容与意义**
研究人员以YOLO11n-seg为基线模型,提出GDMM-YOLO11模型,针对三个局限性进行改进:骨干阶段过渡层的冗余计算、复杂植株形态建模不足以及高层特征中的背景响应。具体而言,保留了初始P1/2茎干卷积作为标准Conv层,而将P2/4、P3/8、P4/16和P5/32处四个后续骨干阶段过渡下采样卷积替换为GhostConv,该模块源自GhostNet,通过先生成本征特征图再以低成本操作生成额外特征图来减少冗余计算;引入C3k2_DySnakeConv_Mona特征增强模块,其中DySnakeConv通过标准卷积、水平动态蛇形卷积和垂直动态蛇形卷积三个分支自适应调整采样位置来增强对细长叶片、弯曲结构和不规则边界的建模,Mona则通过并行的3×3、5×5和7×7深度卷积分支提供额外的多尺度局部特征增强;将SPPF之后的C2PSA模块替换为混合局部通道注意力(MLCA),通过局部平均池化和全局平均池化分别捕获区域变化和全局通道信息,生成通道权重对特征进行自适应重标定。
在三轮独立运行中,GDMM-YOLO11以2.533 M参数量和8.8 GFLOPs实现了89.76%的掩码mAP@0.5和68.50%的掩码mAP@0.5:0.95。与参数量为27.391 M、计算量为145.2 GFLOPs的GELAN-C-DSEG相比,GDMM-YOLO11的掩码mAP@0.5:0.95仅低0.37个百分点,参数量和计算量却分别减少约90.8%和93.9%。该结果表明,GDMM-YOLO11的主要优势在于精度与复杂度的权衡,而非在每个单一指标上达到最优值,这对受限于内存、计算和部署约束的农业边缘系统具有更实际的意义。
**三、关键技术方法**
研究基于在中国新疆昌吉华兴农场采集的棉田图像数据集,包含棉花及苋菜、藜、马齿苋、狗尾草和茄五类杂草,使用iPhone 13 Pro在自然田间条件下拍摄。经图像质量控制和去重筛选后,保留2177张图像共2856个标注植株实例,按约65%/15%/20%分层划分为训练、验证和测试子集。标注方案采用X-AnyLabeling进行多边形标注,并经第二位研究人员审核修正。此外,对五类杂草实例各标注一个参考点,置于叶片汇聚区、茎叶连接处或结构中心区等具有结构代表性的区域。模型训练在配备Intel Xeon w9-3495X处理器和NVIDIA RTX A6000 GPU的服务器上进行,帧工作为PyTorch与Ultralytics框架,采用SGD优化器(初始学习率0.01、动量0.937、权重衰减5×10
?4)、批量大小32、输入分辨率640×640像素,训练200轮。每个实验配置使用随机种子3407、3408和3409独立运行三次,结果以均值±标准差报告。所有模型使用相同的冻结训练、验证和测试划分。操作点生成采用基于骨架约束的融合中心法:提取预测杂草掩码的单像素宽骨架后,融合掩码质心与骨架结构中心(以其坐标中位数定义),结合归一化距离变换计算候选点评分,选取最优操作点;加权系数λ和η通过验证集网格搜索分别确定为0.80和0.90。边缘部署评估在NVIDIA Jetson AGX Orin上进行,采用JetPack 6.2.2、TensorRT 10.3.0 FP16进行模型推理。
**四、研究结果**
*与其他实例分割模型的比较*:GDMM-YOLO11与YOLO11n-seg、YOLOv5n-seg、YOLOv8n-seg、YOLO12n-seg、YOLO13n-seg、YOLO26n-seg、GELAN-C-DSEG、YOLACT、Mask R-CNN和PointRend进行了比较。GDMM-YOLO11取得掩码精确率89.82%、掩码召回率84.50%、掩码mAP@0.5为89.76%、掩码mAP@0.5:0.95为68.50%。在类别层面,对于掩码AP@0.5:0.95,六类中五类的三轮均值数值上更高,其中狗尾草(+5.50个百分点)、茄(+3.92个百分点)和藜(+2.50个百分点)的数值差异最大。
*消融实验*:八种配置的组件消融分析显示,GhostConv主要降低了模型复杂度(参数量从2,835,738降至2,599,818,GFLOPs从9.6降至8.9);三个单模块变体中,MLCA配置的三轮均值掩码mAP@0.5:0.95最高(67.06%);将三种修改全部整合后,GDMM-YOLO11在所有四项分割指标的三轮均值上均数值上高于基线,同时参数量和计算量更低。
*MLCA插入位置消融*:在P3/8、P4/16、P5/32和SPPF之后四个候选位置中,SPPF之后位置的三轮均值验证掩码mAP@0.5:0.95最高(69.30%),故被选定用于最终架构。
*定性分割结果*:在叶片遮挡、实例接触、小杂草和杂乱背景等典型场景中,YOLO11n-seg遗漏了一些小目标、产生不完整轮廓且难以分离相邻实例,而GDMM-YOLO11恢复了更完整的作物和杂草掩码,更贴近标注轮廓。
*特征响应和类别级预测分析*:Grad-CAM++分析显示,GDMM-YOLO11在杂草真实区域内的归一化响应均值(0.539)高于YOLO11n-seg(0.414),杂草–背景响应对比度也更高(0.236 vs. 0.128),表明归一化响应更集中于标注杂草区域。归一化混淆矩阵显示类别级预测模式存在类别依赖性差异。
*像平面操作点定位评估*:在505个成功匹配的杂草实例上,所提方法的真实掩码内含率达99.41%(基线93.07%),杂草边界间隙从118.65像素增至140.49像素,条件Success@0.15为91.29%;端到端Success@0.15为87.31%。配对统计分析表明,真实掩码内含率和边界间隙的改进具有统计显著性(p<0.001),而定位误差、Success@0.10和Success@0.15的差异不具有统计显著性。
*边缘部署*:在Jetson AGX Orin上,GDMM-YOLO11的TensorRT FP16仅模型推理延迟为2.796 ms(357.67 FPS),略高于YOLO11n-seg的2.736 ms(365.51 FPS),但仍保持了高通量。内存中分割到操作点流水线约需61.89 ms(16.16 FPS),其中操作点生成阶段约占总时间的75.7%。
**五、讨论与结论**
研究结果表明,GDMM-YOLO11的主要优势在于精度与复杂度的权衡,参数量和GFLOPs均低于YOLO11n-seg,而分割指标三轮均值数值上更高。对于操作点生成,所提方法的主要统计显著优势在于更稳健的目标杂草区域内几何定位(更高的真实掩码内含率和边界间隙),而非定位误差的统计显著降低。部署结果表明理论模型复杂度不应直接等同于硬件延迟。
本研究的结论为:研究人员成功开发了GDMM-YOLO11,通过引入GhostConv、C3k2_DySnakeConv_Mona和MLCA,在棉田作物–杂草实例分割中实现了三轮独立运行掩码精确率89.82%、掩码召回率84.50%、掩码mAP@0.5为89.76%和掩码mAP@0.5:0.95为68.50%,相比YOLO11n-seg三轮均值分别数值上高出3.52、1.07、1.67和2.33个百分点,参数量和计算量分别降至2.533 M和8.8 GFLOPs。在操作点生成方面,基于骨架约束的融合中心策略实现了99.41%的真实掩码内含率和87.31%的端到端Success@0.15。在Jetson AGX Orin上,TensorRT FP16仅模型推理实现2.796 ms延迟(357.67 FPS)。整体上,GDMM-YOLO11提供了一个紧凑的实例分割框架,其三轮均值掩码mAP@0.5:0.95数值上高于YOLO11n-seg,同时支持像平面操作点定位和高吞吐量仅模型边缘推理。由于数据集按图像级而非按地块、单株或采集批次划分,子集之间可能残留空间或时间相关性;此外,因未保留修正前的标注记录,无法对掩码标注和参考点标注进行评分者间一致性量化,这一点在解释较细微的模型间性能差异时应予以考虑。未来需要在更广泛的田间域上进行验证,并结合深度感知、坐标变换和物理除草实验,方能使该方法成为完整的机器人除草解决方案。