《Frontiers in Plant Science》：A digital twin–driven deep learning framework for online quality inspection in tobacco transplanting
编辑推荐：
本文提出了一种融合数字孪生（Digital Twin）与深度学习（Deep Learning）的烟草移栽在线质量检测框架。通过改进的YAN-YOLO11算法实现正常苗、露根苗和埋苗的高精度识别，结合GNSS定位数据融合进行株距估算与漏栽/重栽评估，并基于Unity3D构建虚实交互的闭环系统。实验表明，该系统在mAP@50达到80.9%±1.4%、整体识别准确率90.74%的同时，可实现30 FPS的实时性能，为烟草生产精准化管理提供了创新解决方案。
数字孪生驱动的深度学习框架在烟草移栽在线质量检测中的应用
1 引言
烟草作为全球重要的经济作物，其移栽环节的质量直接影响产量和烟叶品质。传统人工检测方式成本高、效率低且结果不稳定。随着智慧农业的发展，数字孪生和深度学习技术为农业生产提供了新的解决方案。数字孪生通过构建物理实体的虚拟映射，实现实时监控与优化；深度学习则在目标检测领域展现出高精度与实时性优势。然而，现有烟草移栽检测方法多依赖无人机或遥感影像，缺乏与移栽作业的实时协同能力。针对上述问题，本研究提出一种深度融合数字孪生与深度学习的在线质量检测方法，旨在实现烟草移栽质量的自动化、精准化评估。
2 数字孪生系统架构
该系统硬件由CMOS相机、GNSS接收器和树莓派5组成，可搭载于独立移动底盘或自动移栽机上。数据通过HTTP协议上传至云服务器进行状态检测与评估，再经TCP协议与Unity3D构建的数字孪生终端交互。系统形成“采集-检测-映射-反馈”的虚实交互闭环，通过实时可视化与异常点聚类分析，为补栽路径规划与作业优化提供决策支持。
3 深度学习驱动的移栽质量检测方法
3.1 数据集构建
研究在云南红河与玉溪等地烟草田采集图像，涵盖手动与机械移栽两种模式、不同光照（直射光、逆光、云影）与土壤条件（红壤、砂土）。通过限制对比度自适应直方图均衡化（CLAHE）预处理增强图像，并采用随机翻转、亮度调节等方法进行数据增强。最终训练集包含2,764张图像，验证集755张，标注类别包括正常苗、露根苗和埋苗。
3.2 改进的YAN-YOLO11检测算法
基于YOLO11的轻量化改进算法YAN-YOLO11，在检测头引入动态卷积（Dynamic Conv）减少参数量，在骨干网络用风车卷积（PConv）替换标准卷积以增强小目标特征提取能力，并在颈部结构引入多分支辅助特征金字塔网络（MAFPN）优化多尺度特征融合。实验表明，该算法在精度提升的同时，参数量与浮点运算量（FLOPs）分别降低19.8%和9.5%。
3.3 移栽状态评估
通过融合视觉检测结果与GNSS定位数据，将地理坐标转换为平面坐标后计算株距，结合检测类别优先级（重栽>漏栽>埋苗>露根>正常）进行状态评估。漏栽点通过插值计算坐标，重栽点则通过计算相邻苗 centroid 坐标表示。
4 数字孪生设计
4.1 虚拟场景构建与映射
基于Unity3D平台，通过TCP协议接收云服务器传输的JSON格式数据（含经纬度与状态信息）。采用局部切平面投影算法将地理坐标转换为虚拟场景中的ENU坐标系，动态生成垄台模型与移栽坑，并通过模型位移与角度调整实现五种移栽状态（正常、漏栽、重栽、埋苗、露根）的可视化映射。
4.2 移栽质量检测与可视化
系统界面集成虚拟实体显示、物理图像、数据监测、统计图表（柱状图、散点图）等功能模块，实时更新各类状态数量与空间分布，并通过颜色标注异常点，辅助管理者快速定位问题区域。
4.3 作业优化反馈
系统通过双通道反馈机制：向人工操作端输出补栽建议与最优路径；向自动移栽机控制单元（ECU）发送调控信号，如根据“埋苗”或“露根”频率自适应调整栽植深度，或基于实时株距校准移栽频率。该闭环设计实现了“采集-检测-映射-反馈-执行”的全流程优化。
5 结果与讨论
5.1 不同模型性能对比
在相同数据集与训练环境下，YOLO11n在mAP@0.5:0.95与收敛速度上均优于YOLOv5n、YOLOv8n和YOLOv10n，被选为基线模型。
5.2 YAN-YOLO11评估与消融实验
改进后模型精确率与召回率分别提升2.4%和2.5%，mAP@50与mAP@0.5:0.95分别达80.9%±1.4%与54.2%±1.0%。典型错误案例分析显示，模型在强逆光等复杂环境下表现稳健，但对土壤遮挡严重的苗株仍存在漏检。
5.3 系统验证实验
在云南澄江与弥勒田间试验中，系统对594个理论移栽点的状态评估准确率达90.74%（95%置信区间[88.14%, 92.82%]）。数字孪生平台端到端同步延迟约85.6ms，满足实时作业需求。
5.4 局限性与未来工作
当前数据集局限于云南地区特定环境，未来需扩展跨区域、多品种样本，并探索Transformer架构与3D仿真技术以提升泛化能力。边缘设备计算能力限制可通过模型压缩与专用硬件（如NVIDIA Jetson）优化。
6 结论
本研究通过改进YAN-YOLO11算法与多传感器融合技术，实现了烟草移栽质量的精准检测与评估，并结合数字孪生平台构建了虚实互动的闭环管理系统。系统在保证90.74%识别准确率与30 FPS实时性能的同时，为烟草生产数字化与精准农业提供了关键技术支撑。
