编辑推荐：
为解决作物重叠、遮挡和复杂田间背景下的杂草分割不准确问题，研究人员开发了一种结合DViT-YOLOv8-seg与置信度引导的SLIC（简单线性迭代聚类）投票的联合方法。数据集包含1872幅田间图像（800×600像素），对象为广州软茎生菜和四种常见杂草：牛筋草
为解决作物重叠、遮挡和复杂田间背景下的杂草分割不准确问题，研究人员开发了一种结合DViT-YOLOv8-seg与置信度引导的SLIC（简单线性迭代聚类）投票的联合方法。数据集包含1872幅田间图像（800×600像素），对象为广州软茎生菜和四种常见杂草：牛筋草（Eleusine indica）、马唐（Digitaria sanguinalis）、马齿苋（Portulaca oleracea）和苋菜（Amaranthus blitum）。所有杂草种类合并为一个杂草类别，而生菜、土壤及其他田间区域视为非杂草。Real-ESRGAN（真实世界增强超分辨率生成对抗网络）和数据增强增强了训练样本；Dual-ViT（双视觉Transformer）强化了全局-局部特征交互；GSConv（组混洗卷积）减少了冗余计算；BiFPN（双向特征金字塔网络）改进了多尺度融合；SLIC细化了模糊边界。经过超分辨率预处理和三倍扩展后，基线平均像素精度（mPA）提高了10.9个百分点。改进后的网络在7.9 GFLOPs（十亿次浮点运算）下实现了88.3%的mPA，相对于基线提高了3.6个百分点并减少了1.0 GFLOPs。SLIC投票将频率加权交并比（FWIoU）提升至95.6%，比未使用SLIC的网络高出4.1个百分点。与YOLOv5-seg和Fast-SCNN相比，mPA分别提高了2.0和6.5个百分点；GFLOPs分别比YOLOv5-seg和DeepLabv3+低87.7%和95.5%。因此，该方法在复杂生菜田间图像的分割精度与理论网络计算量之间提供了良好的权衡。
**论文解读：基于Dual-ViT的改进YOLOv8杂草分割方法**
**研究背景与问题**
在农业生产中，杂草是常见危害，其强繁殖能力会争夺养分、传播病害并吸引害虫，导致作物减产和农业经济损失。随着智慧农业的推广，除草作业逐渐向智能化、自动化方向发展。现有研究采用视觉、触觉或视觉-触觉融合方法进行杂草检测。然而，由于杂草形态多样且易变形，对于散生杂草常出现密集重叠的边界框，使得检测信息难以有效利用。为此，许多研究人员采用图像分割方法感知杂草信息。传统图像处理方法依赖人工设计特征和参数，在复杂光照、背景干扰及作物与杂草重叠遮挡下难以表征自然特性，导致分割精度显著下降。深度学习方法虽能自动学习层次特征，但在生菜田间仍面临挑战：基于检测和分类的方法提供有限的像素边界信息；传统卷积神经网络（CNN）分割在重复下采样中丢失长程上下文；高容量网络或外部后处理虽能改善掩膜，但未展示平衡的端到端计算成本。当阔叶杂草与生菜叶片相似、小杂草占据少数像素、光照变化降低局部对比度、以及作物与杂草遮挡破坏目标连续性时，这些问题更为突出。因此，田间精确分割需要同时保留全局上下文、局部边界细节并控制网络复杂度，而非优化单一聚合指标。该研究发表在《Agriculture》上，其贡献在于提出一种任务特定的DViT-YOLOv8-seg架构以及可重复的置信度引导超像素决策规则，协调全局-局部表示、加权多尺度融合和边界修正，用于二元作物-杂草分割。
**关键技术方法**
研究人员采用以下主要技术方法：使用Hikvision MV-CA013-20GC工业相机在华南农业大学农业实验基地采集生菜田间图像，涵盖1872幅800×600像素图像，对象为广州软茎生菜及四种常见杂草（牛筋草、马唐、马齿苋、苋菜），所有杂草合并为一类，生菜、土壤等为非杂草。数据预处理采用Real-ESRGAN（真实世界增强超分辨率生成对抗网络）进行超分辨率重建，并应用随机对比度调整、椒盐噪声、边界框级旋转、Cutout和Mixup等方法增强数据集。网络构建方面，将Dual-ViT（双视觉Transformer）骨干嵌入YOLOv8-seg特征提取网络的第一C2f模块，构建C2f-DViT模块；用GSConv（组混洗卷积）替代颈部网络中的标准卷积，并设计VoVGSCSP模块实现轻量化；采用改进的加权BiFPN（双向特征金字塔网络）重建特征融合层，增加P2大尺度特征层并移除低贡献节点。最终通过SLIC（简单线性迭代聚类）超像素分割，结合置信度引导的投票机制修正边界，采用一致性保留和冲突解决规则输出最终像素标签。
**研究结果**
**3.1 实验环境与参数设置**：硬件为Intel Core i5-12490F处理器和GeForce RTX 4060 Ti显卡（16GB显存），软件为Windows 11、PyTorch-GPU 2.1.0、CUDA 12.1、CUDNN 8.8.1，并指定标准化配置以保障可重复性。
**3.2 评估指标**：采用像素精度（PA）、平均像素精度（mPA）、平均交并比（mIoU）和频率加权交并比（FWIoU）评估分割性能，并引入像素级混淆矩阵计算杂草类和非杂草类的类别IoU，以及第一类错误（假阳性率FPR）和第二类错误（假阴性率FNR）量化误检和漏检。
**3.3 数据预处理实验分析**：在未改进的模型上对比超分辨率和数据扩展的效果。经超分辨率处理后，测试集mPA平均提高0.9个百分点；未预处理和扩展时，测试集mPA比训练集低6.3个百分点，说明模型过拟合。当进行超分辨率预处理并三倍扩展时，测试集mPA达到最高84.7%，比基线提高10.9个百分点，因此采用该方案。
**3.4 不同颈部网络性能比较**：对比标准卷积（SC）、深度可分离卷积（DSC）、GhostNet、ShuffleNet和GSConv。GSConv在降低1.69×10
10 GFLOPs的同时，mPA和mIoU分别提高0.2和0.9个百分点，而DSC和ShuffleNet导致精度下降，GhostNet也降低精度。因此，GSConv能在保持精度的同时减少理论计算量。
**3.5 消融实验**：逐一添加模块并组合。Dual-ViT使mPA、mIoU和FWIoU分别提高2.6、2.3和6.5个百分点，GFLOPs增加0.5；GSConv使上述指标分别提高0.2、0.9和2.9个百分点，GFLOPs减少1.7；BiFPN使指标分别提高0.8、1.1和1.5个百分点，GFLOPs增加0.2；SLIC单独使PA和FWIoU提高2.0和4.1个百分点，mPA和mIoU不变。全部组合后，mPA、mIoU和FWIoU分别提高3.6、4.3和15.0个百分点，GFLOPs从8.9降至7.9。各组件的功能互补：Dual-ViT增强长程上下文和局部细节交互，GSConv减少冗余计算，BiFPN自适应加权多尺度融合，SLIC强制局部颜色-纹理一致性。
**3.6 不同模型对比实验**：与YOLOv5-seg、DeepLabv3+、Fast-SCNN和YOLOv10对比。所提方法在mPA上超过YOLOv5-seg和Fast-SCNN分别2.0和6.5个百分点，比YOLOv10低1.8个百分点；mIoU低于DeepLabv3+但高于YOLOv10；网络GFLOPs为7.9，比YOLOv5-seg、DeepLabv3+和YOLOv10分别低87.7%、95.5%和86.6%。在光照不均和作物遮挡示例中，YOLOv5-seg产生碎片化边界和土壤假阳性，Fast-SCNN漏检部分较大遮挡杂草，DeepLabv3+生成较完整掩膜但计算量巨大，YOLOv10精度略高但计算量极大。所提方法在精度与理论计算量之间实现平衡。
**3.7 讨论与适用范围**：各模块贡献互补而非均匀提升所有指标；计算结论限于网络级GFLOPs，端到端部署需评估预处理和后处理阶段；鲁棒性证据限于单站点数据集的环境变异性；二元公式未区分杂草种类。评估框架通过像素级混淆矩阵、类别IoU及第一类/第二类错误定义在一致协议下区分杂草与非杂草误差。
**研究结论**
（1）通过超分辨率预处理和图像增强扩充数据集，有效提升了模型的泛化性能。消融实验表明，原始模型在测试集上的平均像素精度（mPA）提升至84.7%，提高了10.9个百分点。
（2）完整方法在7.9网络级GFLOPs（十亿次浮点运算）下实现了88.3%的mPA、75.6%的mIoU（平均交并比）和95.6%的FWIoU（频率加权交并比），表明互补的特征提取、融合和边界修正可在维持分割网络适度理论计算量的同时改善分割性能。
（3）除数值提升外，科学贡献在于一种面向任务的设计，展示了如何协调全局-局部表示、轻量级加权多尺度融合和超像素边界正则化，以应对复杂作物-杂草场景。生成的像素级掩膜为精准喷洒、机械除草和离线田间分析系统提供了感知基础。未来工作将聚焦跨站点和跨季节验证、物种感知分割以及边缘平台上的优化端到端实现。
