基于增强型YOLOv8n的RGB鲜绿茶分选中粘连叶簇检测方法研究

《Smart Agricultural Technology》：Enhanced YOLOv8n for adhered leaf cluster detection in RGB-based fresh green tea leaf sorting

　　

在鲜绿茶分选过程中首次实现了粘连叶簇（Adhered Leaf Clusters, ALCs）的检测。通过引入StarNet模块、DySample上采样以及Shape-Inner-IoU损失函数，平均精度（mean Average Precision, mAP）提升至92.6%。该研究为复杂采后场景中的小目标检测提供了一种具有泛化能力的框架。鲜绿茶是传统健康促进原料，常被加工为多种功能性食品和饮料。采后分选是影响后续加工参数配置的关键环节。为提升茶叶品质并最大化价值，鲜茶叶通常被分为一芽一叶（B1L1）、一芽两叶（B1L2）和一芽多叶（B1Lm，m≥3）三类。近年来，这三类茶叶已广泛采用基于RGB的机器视觉方法进行快速低成本分选。然而，在工业生产过程中，由于结构缠绕，这些叶片易形成粘连叶簇（ALCs），如B1L1-B1L1和B1L2-B1Lm。因此，现有方法在鲜茶叶分选中的误判率难以避免，且误判率与ALCs的数量密切相关。尽管采用S形软耙和振动传输等技术来降低误判率，但其效果仍达不到工业要求。因此，探索可行的检测方法来解决这些问题具有重要意义。RGB成像是一种常用的低成本分选方法，其精度在很大程度上取决于所采用的算法。作为RGB小目标检测的经典算法，YOLO已在农业、交通等领域得到广泛应用。然而，为有效处理复杂场景，YOLO需要进行设计改进，确保最终模型能针对特定检测目标。据研究人员所知，目前尚无研究将RGB成像与改进的YOLO方法相结合来检测ALCs。YOLOv8作为YOLO架构的先进迭代版本，在小目标检测方面表现出优越性能。然而，其结构设计在工业应用中仍存在一定局限性。例如，YOLOv8的CSPDarknet骨干网络通过网络加深逐步扩大感受野，同时降低特征图维度。由于小目标仅占据少量像素，经过多次卷积和池化操作后，边缘和纹理等关键细节会被削弱，导致高层特征图中的判别信息不足。此外，尽管YOLOv8的PAN-FPN颈部网络可通过跨层连接融合多尺度特征，但在融合过程中小目标特征容易被占主导地位的大目标特征“稀释”，降低有效信号并损害检测精度。对于ALCs，鲜茶芽叶之间的过度遮挡严重降低了RGB图像的信息量。这种遮挡产生了复杂的小尺度细节，包括被遮挡的芽尖、重叠边缘和阴影区域。为提高ALC识别能力，本研究需进行两项重要优化：(1)增强骨干网络以保留小目标的细粒度细节；(2)改进颈部架构以增强小目标特征的融合权重和有效性。因此，本研究将StarNet集成到骨干网络中用于细节保留的特征提取，将DySample纳入颈部网络用于自适应上采样，并设计了Shape-IoU损失函数以施加几何约束。这三个组件共同构成了三重驱动框架，针对ALC检测中固有的严重遮挡和尺度变化挑战。本研究的主要步骤如下：(1)使用工业相机采集传送带上鲜茶叶的视频序列，并提取帧以构建RGB原始图像数据集；(2)提出一种改进的检测模型，命名为SDSI-YOLO，基于对YOLOv8n框架的修改，通过将StarNet嵌入骨干网络、采用动态上采样并引入增强的Shape-Inner-IoU损失函数实现；(3)通过消融实验和热图可视化验证了SDSI-YOLO的优越性。

一、研究背景与问题提出

鲜绿茶作为传统健康促进原料，在食品与饮料工业中具有广泛应用价值。采后分选是决定茶叶品质等级和后续加工参数配置的关键环节，通常依据芽叶结构将鲜叶划分为一芽一叶（B₁L₁）、一芽两叶（B₁L₂）和一芽多叶（B₁L_m，m≥3）三个等级。当前工业界普遍采用基于RGB的机器视觉方法实现快速低成本分选，但实际生产中，由于叶片间的结构缠绕，极易形成粘连叶簇（Adhered Leaf Clusters, ALCs），如B₁L₁-B₁L₁、B₁L₂-B₁L_m等复合形态。这类粘连结构导致现有分选方法的误判率居高不下，且误判率与ALCs数量呈正相关。尽管已采用S形软耙和振动传输等物理手段试图降低误判率，但效果仍无法满足工业生产的精度要求。因此，开发一种能够有效检测ALCs的视觉算法具有重要的工程价值和学术意义。

YOLO系列作为RGB小目标检测的经典算法，已在农业、交通等领域获得广泛应用，但面对复杂采后场景仍需针对性结构改进。已有研究如CBF-YOLO通过引入CSE-ELAN模块、Bi-PAN模块和FFE模块，将大豆害虫检测精度较原始YOLOv7提升6.3%；TP-YOLO通过替换轻量级ShuffleNetV2骨干、采用C2f-Faster模块和MPDIoU损失，将石榴小目标检测mAP提升至94.4%；EB-YOLO则解决了血细胞计数中因尺寸差异和相互遮挡导致的效率与精度问题，实现92.1%的准确率并可在低端嵌入式系统运行。然而，据研究人员所知，尚无研究将RGB成像与改进YOLO方法相结合用于ALCs检测。

YOLOv8作为YOLO架构的先进迭代，在小目标检测中表现优越，但其结构设计仍存在局限。其CSPDarknet骨干网络在加深过程中逐步扩大感受野并降低特征图维度，由于小目标仅占少量像素，边缘和纹理等关键细节在反复卷积和池化后易被削弱，导致高层特征图判别信息不足。同时，PAN-FPN颈部网络虽能通过跨层连接融合多尺度特征，但小目标特征在融合过程中易被大目标特征“稀释”，降低有效信号并损害检测精度。对于ALCs而言，鲜茶芽叶间的过度遮挡严重降低RGB图像信息量，产生被遮挡芽尖、重叠边缘和阴影区域等复杂小尺度细节。为此，本研究需完成两项关键优化：增强骨干网络以保留小目标细粒度细节，以及改进颈部架构以增强小目标特征的融合权重与有效性。

二、研究内容与总体结论

针对上述问题，研究人员提出了一种名为SDSI-YOLO的改进检测模型，基于YOLOv8n框架进行三项核心改造：将StarNet模块嵌入骨干网络以保留细节特征，在颈部网络引入DySample动态上采样以实现自适应特征恢复，并设计Shape-Inner-IoU损失函数以施加几何约束。这三个组件共同构成三重驱动框架，系统性地应对ALC检测中固有的严重遮挡和尺度变化挑战。实验结果表明，SDSI-YOLO的平均精度（mean Average Precision, mAP）达到92.6%，显著优于基线模型，并通过消融实验和热图可视化验证了各改进模块的有效性。该研究首次实现了RGB图像中ALCs的自动检测，为复杂采后场景中的小目标检测提供了具有泛化能力的通用框架。

三、关键技术与方法

研究人员构建了包含550张原始图像、总计7520个边界框标注的ALC数据集，数据来源于安徽茶之源机械研发有限公司（118°88′E，30°91′N）的绿茶生产线，采集周期覆盖4月至11月共六批样本，每批样本在采摘后36小时内完成图像采集以确保新鲜度。通过随机旋转、翻转和饱和度调整等数据增强技术，数据集扩充至10710张图像，并按7:2:1比例划分为训练集、验证集和测试集。所有输入图像采用带边缘增强的自适应下采样调整为640×640×3分辨率，以在保留小目标细节的同时降低计算负担。模型训练采用随机梯度下降（Stochastic Gradient Descent, SGD）优化器，动量系数0.937，初始学习率0.01，批大小16，共训练200轮。所有实验独立重复5次并报告平均结果以确保统计可靠性。主要技术方法包括：StarNet模块采用高效的“星型运算”（Star Operation）机制，通过逐元素乘法建立跨通道二阶特征交互，在保持计算效率的同时显著增强判别性特征表示；DySample上采样实现自适应特征恢复；Shape-Inner-IoU损失函数通过几何约束提升边界框回归精度。

四、研究结果

2.1 鲜绿茶样本与数据集构建

研究人员依据当地标准（DB37/T541-2005）和企业技术规范，将ALCs分为四类：B₁L₁-B₁L₁、B₁L₁-B₁L₂、B₁L₂-B₁L₂和B₁L_m-B₁L_n（m≥3，1≤n≤m），后者包含B₁L₁-B₁L_m、B₁L₂-B₁L_m和B₁L_m-B₁L_m等复合簇。由于B₁L_m属于低等级鲜叶，需将其与高等级的B₁L₁和B₁L₂分离，因此B₁L_m-B₁L_n复合簇将进行后续二次筛选或其他处理流程以尽量减少高等级茶产品的损失。

2.2 数据采集系统

研究人员采用定制采集系统获取RGB图像，该系统主要包括两个互补LED条形光源（540×20 mm，24 V/12.6 W）、一台海康威视MV-CE200-10UC工业相机（2200万像素分辨率）和图像处理工作站。相机镜头平面到传送带水平面的垂直距离设为35 cm，光源框架与传送带的最大垂直高度为20 cm。相机参数配置为：固定焦距12 mm、光圈f/2.8、固定曝光时间2500 μs、启用最大帧采集模式、单帧图像分辨率5742×3648、视频存储格式为AVI。传送带电机PWM脉冲频率为1.5 kHz，带速为6 cm/s。通过边界识别和图像清晰度评估，从每20帧序列中手动选择最优帧，确保呈现完整高质量的样本。

2.3 基线模型选择与网络架构

研究人员共比较了十种模型以选择最优基线：YOLOv3-Tiny、YOLOv5n、YOLOv7-Tiny、YOLOv11n、RT-DETR以及五种YOLOv8变体（x、l、m、s、n）。所有YOLO系列算法均基于Ultralytics开源代码。RT-DETR被选为Transformer-based轻量级检测器的代表进行比较。以鲜茶图像为输入时，骨干网络通过多个卷积层、C2f特征提取模块和SPPF多尺度聚合模块逐步提取深层语义特征和多尺度特征；颈部网络通过上采样恢复特征图空间分辨率，并通过拼接融合多级特征，整合细粒度浅层细节和高级语义信息；检测头中的检测模块在三个不同尺度的特征图上执行茶叶目标检测。

2.4 StarNet骨干网络改进

研究人员采用StarNet替代YOLOv8n原有的CSPDarknet骨干网络。其核心StarBlock模块采用高效的“星型运算”，通过逐元素乘法建立跨通道二阶特征交互，显著增强判别性特征表示同时保持计算效率。单StarBlock模块的计算过程由公式（1）-（5）正式定义。

2.5 DySample动态上采样

在颈部网络引入DySample模块，通过动态上采样策略实现自适应特征恢复，增强小目标特征在多层特征融合中的权重和有效性，缓解小目标特征被大目标特征“稀释”的问题。

2.6 Shape-Inner-IoU损失函数

设计Shape-Inner-IoU损失函数以施加几何约束，通过引入形状和内部交并比的考量，提升边界框回归精度，有效应对ALC检测中因严重遮挡和尺度变化导致的定位挑战。

2.7 消融实验与热图可视化

通过消融实验验证了StarNet、DySample和Shape-Inner-IoU三个改进模块各自及组合的贡献，确认了三重驱动框架的协同增效作用。热图可视化进一步展示了改进模型对ALCs关键区域的特征聚焦能力，直观验证了模型在严重遮挡条件下对小目标细节的保留效果。

五、讨论与结论

本研究首次实现了鲜绿茶分选过程中ALCs的自动检测，通过将StarNet集成至骨干网络、DySample纳入颈部网络并设计Shape-Inner-IoU损失函数，构建了SDSI-YOLO模型，将mAP提升至92.6%。该三重驱动框架系统性地解决了ALC检测中严重遮挡和尺度变化的核心挑战。研究为复杂采后场景中的小目标检测提供了具有泛化能力的通用框架，对提升茶叶分选自动化水平和降低误判率具有重要的工程应用价值。研究结论表明，基于RGB成像与改进YOLO相结合的ALC检测方法能够有效满足工业生产需求，为后续茶叶分选设备的智能化升级提供了技术支撑。