基于YOLOv8-Pose的轻量级茶芽采摘点检测模型LTK-YOLO

《Plants》：LTK-YOLO: Lightweight Keypoint Detection for Robotic Tea Bud Picking

　　

摘要

在无结构茶园环境中，茶芽与周围叶片之间的高度色彩相似性，加之严重的聚集和遮挡现象，显著降低了采摘点的定位精度，从而限制了采茶机器人的作业效率。现有研究往往通过增加网络深度来提高检测性能，却忽视了资源受限的边缘设备的部署约束。为应对这些挑战，本研究提出了一种基于YOLOv8-Pose的轻量级端到端茶芽采摘点检测模型，命名为LTK-YOLO。该模型在统一框架内集成了目标检测与关键点定位功能。首先，将WTConv操作嵌入C2f模块的瓶颈部分，构建C2f-WTConv结构，实现小波域特征提取，在增强上下文表示的同时减少冗余计算和内存访问。其次，采用自适应上采样算子DySample替代特征融合阶段中的传统插值上采样方法，通过可学习的点采样提升多尺度特征重建能力。第三，引入加权Shape-NWD损失函数，将边界框的形状和尺度信息纳入优化，加速收敛并提高小目标和遮挡目标的关键点定位精度。实验在一自建茶芽数据集上进行，该数据集包含4000张图像，按8:1:1的比例划分为训练集、验证集和测试集。所提出的LTK-YOLO取得了91.95%的F1分数和92.87%的mAP，平均欧氏定位误差低于15像素。与基线模型YOLOv8s-Pose相比，LTK-YOLO在kp1-1和kp1-2上的AP分别提升了3.56和4.02个百分点，参数量减少了53.10%，GFLOPs减少了32.75%。此外，该模型在NVIDIA RTX 4060 GPU上实现了85.86 FPS的推理速度，展现了强大的实时能力。由于该数据集是在杭州两个茶园的一个春季采集的，所报告的验证结果仅限于相似的茶品种、冠层密度以及光照和遮挡条件下的情况；在其他气候区域、季节或未见过的茶品种上部署时，预计需要使用本地收集的数据进行微调。总体而言，LTK-YOLO在检测精度、计算效率和轻量化设计之间取得了良好的平衡，为实时采茶机器人系统提供了一个有前景的解决方案。