基于两阶段视觉框架的机械采收烟叶缺陷检测与机械损伤评估方法

《Frontiers in Plant Science》：A two-stage method for defect detection and mechanical damage assessment in mechanically harvested tobacco leaves

　　

机械采收烟叶上的缺陷可能源于病虫害或采收作业，对作物品质具有不同的影响。密集的小型缺陷容易被遗漏，而局部检测框无法描述整叶的结构性损伤。研究人员开发了一种两阶段视觉方法，用于非破坏性缺陷筛查和采收相关机械损伤评估。第一阶段采用烟草叶缺陷YOLO11n（TLD-YOLO11n），一种具有高分辨率特征融合的任务自适应检测器，识别四类病虫害类别和机械损伤。第二阶段利用参考主脉和叶片形态特征区分主脉断裂与叶肉损失，同时相对叶肉损失指数提供了组织损失程度的操作性度量。TLD-YOLO11n的mAP0.5和mAP0.5:0.95分别达到84.5%和64.1%，较YOLO11n分别提升4.0和3.9个百分点。在受控单叶成像条件下，50张含机械损伤的图像全部进入第二阶段，而156张受病虫害影响的图像均未被错误传递。50张机械损伤测试图像中有47张的损伤类型被正确判定，联合准确率达到94.0%。叶肉损失和主脉断裂的F1分数分别为91.4%和95.4%。该框架为区分采收相关损伤与其他视觉缺陷以及量化机械采收烟叶结构完整性损失提供了一种方法。

一、研究背景与意义

烟草（Nicotiana tabacum L.）是重要的经济作物，采后外观和结构完整性直接影响烟叶分级和后续加工。机械采收的烟叶可能保留田间获得的病害病斑和虫害症状，也可能在采摘和运输过程中遭受机械损伤，包括叶肉破裂、组织撕裂和异常叶脉结构。病害症状和虫害损伤通常表现为颜色、纹理和形态上的局部异常，而机械损伤主要表现为叶肉组织缺失或主脉连续性中断。这些缺陷类型在视觉表现和评估标准上存在显著差异。在机械采收作业评估中，叶片破损率通常与漏采率等指标一起用于评估设备性能。然而，简单区分完整叶与损伤叶仅表明是否发生损伤，无法确定其类型或程度。人工检查也容易受到操作人员经验、疲劳和成像条件的影响，可能损害评估结果的一致性。因此，需要一种基于视觉的方法来检测机械采收烟叶中的病害、虫害和机械损伤，并进一步确定机械损伤的类型和程度。

早期烟草视觉分析主要依赖手工设计的颜色、形状和纹理特征，结合阈值分割、模糊综合评价或传统分类器进行识别和分级。随着深度学习的发展，烟草图像分析已逐渐从手工特征分类转向深度特征学习。已有研究开发了CAMFFNet用于烟草病害图像识别，使用深度神经网络评估烟草叶片成熟度，改进YOLOv8模型用于复杂背景下的多类烟草害虫检测，使用语义分割提高小面积烟草病斑的像素级识别，以及开发轻量级模型用于烟草病害和损伤的联合检测。然而，这些近期方法主要关注视觉缺陷的识别、定位或分割，而本研究进一步将多类缺陷检测与机械损伤叶片的整叶结构评估联系起来。复杂背景、尺度变化、密集小目标和细边界信息丢失仍然限制检测性能，同时精度必须与计算复杂度相平衡。

随着烟草机械化采收的发展，机器视觉越来越多地应用于监测采收异常和量化叶片损伤。已有研究结合改进的YOLOv10模型与数字孪生技术识别漏采烟草植株、掉落叶片和受损茎秆；使用改进的YOLOv5模型区分完整叶与损伤叶，并利用ByteTrack聚合多帧检测在线估计鲜烟叶总体损伤率。这些研究展示了目标检测在监测机械化烟草采收作业质量方面的潜力。然而，其评估主要集中在采收异常类别、完整叶与损伤叶的二元区分或总体损伤率，未进一步表征单个叶片的具体损伤形式。常规目标检测器的边界框输出提供类别和定位信息，但未直接编码整叶结构描述符，如主脉连续性或叶肉组织缺失比例。为量化叶片组织缺失，已有研究结合图像处理与深度学习估计食草性叶片损伤，为叶片面积损失的自动化评估提供了基础。然而，此类研究主要针对食草性或一般组织缺失，而机械采收烟叶还可能表现出结构损伤，如主脉连续性中断。主脉断裂和叶肉损失分别代表维管支撑结构的损伤和叶片组织的缺失，其结构差异无法仅由局部边界框完全捕获。这些任务因此涉及不同的空间信息需求：局部特征检测需要筛查异质性视觉缺陷，而机械损伤的区分和量化依赖于整叶结构信息。因此，本研究采用任务分解的两阶段策略，第一阶段执行局部多类缺陷检测，第二阶段有条件地激活进行整叶结构分析，而非使用单一检测模型同时推断局部缺陷类别和全局结构损伤描述符。

二、研究内容与方法

研究人员构建了一个包含病害症状、害虫目标和机械损伤的烟草叶片目标检测数据集。病害和害虫图像来自Roboflow Universe上公开可用的Tobacco22数据集，包含四类目标：烟草赤星病、烟草花叶病、烟草斜纹夜蛾和烟草野火病。200张机械损伤图像在中国云南省曲靖市使用华为P50手机内置相机采集，在室内环境光照下获取。采集过程中，单张烟叶近似平放在黑色背景上，叶柄朝下、叶尖朝上。公开的病害和害虫图像与自采集的机械损伤图像按7:2:1的比例在原始图像层面划分为训练集、验证集和测试集。数据增强后，最终数据集包含2060张图像，其中1560张病害和害虫图像、500张机械损伤图像，共10247个标注实例。

第一阶段使用TLD-YOLO11n检测器，通过在YOLO11n基础上添加P2检测头、引入内容感知特征重组（CARAFE）上采样、将扩张残差（DWR）结构嵌入C3k2形成C3k2_DWR模块，并结合简单无参数注意力模块（SimAM）来增强对不同尺度、纹理和形态的烟叶缺陷的表示能力。第二阶段利用参考主脉和叶片形态特征区分主脉断裂与叶肉损失，并通过相对叶肉损失指数提供组织缺失程度的操作性度量。主脉断裂分类采用二元逻辑回归分类器，使用描述主脉连续性、暗带、背景间隙和叶片形态的特征。叶肉损失量化通过估算完整叶片面积与可见面积的差异计算相对叶肉损失指数，以10%作为轻度和重度叶肉损失的操作性分类阈值。

三、研究结果

3.1 不同模块的消融实验

以YOLO11n为基线，对P2检测头、CARAFE上采样、C3k2_DWR特征提取模块和SimAM注意力机制进行单模块和组合消融实验。单模块实验显示四种修改对模型性能的影响不同。添加P2检测头使召回率、mAP_0.5和mAP_0.5:0.95分别提升1.3、1.8和1.1个百分点，表明高分辨率检测分支有利于小目标检测，但GFLOPs从6.4增加到10.4。C3k2_DWR在单模块配置中取得最高的两个mAP指标，较基线分别提升2.2和1.7个百分点，而参数和GFLOPs仅增加0.033 M和0.2。SimAM使召回率提升3.7个百分点但精度降低2.8个百分点。单独引入CARAFE未产生一致的改进。当SimAM添加到P2、CARAFE和C3k2_DWR组合配置时，精度、召回率、mAP_0.5和mAP_0.5:0.95分别达到87.0%、77.8%、84.5%和64.1%，较无SimAM配置分别提升4.3、1.8、2.1和2.6个百分点。与YOLO11n相比，最终模型在精度、召回率、mAP_0.5和mAP_0.5:0.95上分别提升3.5、4.1、4.0和3.9个百分点。

3.2 关键模块的对比实验

在固定P2检测头、C3k2_DWR和SimAM的条件下，比较最近邻插值、DySample和CARAFE三种上采样方法。CARAFE取得与DySample相同的精度，但召回率、mAP_0.5和mAP_0.5:0.95分别进一步提升2.5、1.1和1.6个百分点。与最近邻插值相比，CARAFE增加0.144 M参数、0.8 GFLOPs和0.2 MB模型大小，同时mAP_0.5和mAP_0.5:0.95分别提升3.2和2.8个百分点。在C3k2模块变体比较中，C3k2_DWR取得最优性能，精度87.0%、召回率77.8%、mAP_0.584.5%、mAP_0.5:0.9564.1%。在注意力机制比较中，SimAM取得最优综合性能。与其他YOLO变体相比，TLD-YOLO11n在mAP_0.5和mAP_0.5:0.95上均优于YOLOv5n、YOLOv6n、YOLOv8n、YOLOv9t、YOLOv10n、YOLO11n、YOLOv12n、YOLOv26n和TGL-YOLO(n)。五折交叉验证和5000次自助重采样估计的95%置信区间以及10000次蒙特卡洛置换检验确认了TLD-YOLO11n相对于YOLO11n的显著优势。

3.3 两阶段联合评估

在全部206张测试图像上进行图像级机械损伤筛查。50张机械损伤图像作为正样本，156张病害和害虫图像作为负样本。置信度阈值0.25固定用于判断是否传递至第二阶段。所有50张机械损伤图像均正确传递至第二阶段，156张病害和害虫图像均未被错误传递。损伤类型判定中，50张机械损伤测试图像中有47张被正确分类，联合准确率为94.0%。叶肉损失和主脉断裂的F1分数分别为91.4%和95.4%。

四、讨论与结论

研究讨论部分指出，TLD-YOLO11n的性能改进主要归因于高分辨率P2分支的加入和模块间的协同效应，而非独立模块增益的简单累加。CARAFE的主要优势在于改善目标检测和更严格的交并比阈值下的边界框定位精度。SimAM在组合配置下同时改善了分类精度、目标召回率和边界框定位。两阶段框架通过任务分解策略，将局部多类缺陷检测与整叶结构损伤评估相连接，有效利用了不同层次的空间信息。研究结论表明，所提出的两阶段方法能够有效检测机械采收烟叶中的病害、虫害和机械损伤，并进一步确定机械损伤的类型和程度，为机械化采收作业的质量评估提供了自动化解决方案。