《Agriculture》：Improved RT-DETR Model for Simultaneous Detection of Young Pear Fruits and Fruit Stalks in Natural Environments
编辑推荐：
人工疏果劳动强度大且效率低，因此开发智能视觉检测系统成为提高梨产业质量和生产效率的关键途径。然而，在自然果园环境中，幼梨果实尺寸小且果柄纤细，其纹理和颜色特征与嫩枝高度相似；此外，光照变化以及枝叶遮挡导致现有检测模型难以同时准确识别果实和果柄，限制了其在自动化
人工疏果劳动强度大且效率低，因此开发智能视觉检测系统成为提高梨产业质量和生产效率的关键途径。然而，在自然果园环境中，幼梨果实尺寸小且果柄纤细，其纹理和颜色特征与嫩枝高度相似；此外，光照变化以及枝叶遮挡导致现有检测模型难以同时准确识别果实和果柄，限制了其在自动化疏果设备中的应用。本研究以玉露香梨为研究对象，在前光、背光、近景、远景及果实重叠等多种田间条件下采集图像数据，建立了包含3057张图像的专用数据集。基于RT-DETR-R18网络，研究人员提出了一种轻量且高精度的果实-果柄同步检测模型。具体地，通过将GCConv与C2f模块集成重构了骨干网络，以增强对纤细果柄的全局特征提取；利用GCConvC3优化瓶颈结构，减少遮挡条件下的特征退化；并引入额外的4倍下采样P2检测头，提升对小目标的检测能力。为充分验证模型性能与稳定性，研究人员开展了三类实验：消融实验、不同随机种子的重复实验和对比实验。消融实验验证了各引入模块带来的累积性能提升。不同随机种子的重复实验探索了训练随机性导致的性能波动，结果表明所提模型保持稳定的整体检测精度，仅有微小指标波动。对比实验表明，所提模型参数量仅为15.97 M，幼梨果实检测精度达95.0%，果柄检测mAP50达83.0%，整体mAP50优于所有对比模型。训练收敛曲线和Grad-CAM++可视化结果进一步证实了所提模型稳定的优化过程和增强的特征关注能力。通过实现检测精度与模型轻量化的良好平衡，该方法为智能梨园中疏果设备及视觉系统的开发提供了有效的技术支持。
**论文解读**
**研究背景与问题**
梨果富含营养、肉质脆嫩，深受消费者喜爱，中国梨产量和消费量均居世界首位。疏果可以调节树体负载、平衡养分供应、改善梨果品质并稳定果园产量。然而，目前梨园仍以人工疏果为主，存在劳动强度大、效率低、用工需求大等问题，因此开发智能疏果设备以替代人工操作成为迫切需求。在相关技术中，实时准确地检测幼梨果实和果柄是实现智能疏果的核心前提。
现有研究在自然田间环境下的小果实目标检测方面取得了诸多成果，例如Lu等人构建的ODL网络、Ma等人提出的Straw-YOLO、Sun等人设计的FBoTNet等，均只实现了对果实单类目标的识别，未能同时检测疏果操作中必不可少的细嫩果柄，因此无法直接为疏果机器人提供切割点坐标信息。近年来，果实与果柄的联合检测成为农业视觉领域的研究热点，从传统图像处理发展到深度学习方法。例如Zhao等人改进YOLOv5s实现葡萄果实与果柄检测，Liang等人基于YOLOv3检测荔枝果实与果柄，Gu等人提出改进YOLOv8模型同时检测芒果果实与果柄。然而，这些研究所涉及的作物（荔枝、葡萄、芒果、李子等）在疏果期果实与果柄的视觉特征与梨树相比差异明显：其果柄更粗，与背景的颜色对比更强。相比之下，幼梨果实极小，果柄极细，且与枝条颜色高度相似，加之田间复杂干扰（光照不均、枝叶重叠遮挡），现有模型对幼梨和果柄的小目标弱纹理特征提取能力不足，无法实现高精度实时同步检测，成为制约智能梨果检测的核心瓶颈。
为解决上述问题，本研究提出一种改进的RT-DETR模型，用于幼梨果实和果柄的同步检测，通过多维度结构优化适应复杂果园检测场景，为梨园智能疏果与自动化作业提供有效技术方案。
**研究方法概述**
本研究以玉露香梨为研究对象，在河北农业大学教学实践基地梨园采集图像数据（拍摄时期为2025年5月15日至18日及2026年4月29日至5月22日）。使用华为P30、荣耀Magic 3 Pro和iPhone三种移动设备，在前光/背光、近景（15–20 cm）和远景（45–55 cm）四种角度下拍摄，共获得有效图像3057张，涵盖枝叶遮挡、果实重叠和光照不均等复杂情况。使用LabelImg标注幼梨果实和果柄，并将XML格式转换为TXT格式。数据集按7:2:1随机划分为训练集、测试集和验证集。
主要关键技术方法包括：
（1）基于RT-DETR-R18网络，将GCConv（全局上下文卷积）与C2f模块集成重构骨干网络，增强对纤细果柄的全局特征提取；
（2）用GCConvC3替换RepC3瓶颈模块中的标准卷积，减少遮挡下的特征退化；
（3）增加一个4倍下采样P2浅层检测头，提供高分辨率特征以提升小目标检测能力。
实验在Windows 11工作站（Intel i7-12700KF CPU，32 GB RAM，NVIDIA RTX 3070 GPU）上进行，软件环境包括Python 3.10.19、PyTorch 2.5.1、CUDA 12.1和Ultralytics框架v8.0.201。所有模型采用统一超参数：输入分辨率640×640，批量大小4，训练200轮，AdamW优化器，初始学习率0.001，余弦退火衰减。消融实验、不同随机种子重复实验和对比实验用于验证模型性能。
**研究结果**
**4.1 消融实验**
通过依次嵌入各模块，验证了每个模块的独立贡献。仅集成GCConv-C2f模块时，模型参数量从19.87 M降至15.41 M，果柄mAP50提升3.1个百分点；仅引入GCConvC3瓶颈时，果柄召回率提升3.7个百分点，果柄mAP50提升3.3个百分点；仅添加P2检测头时，果实召回率和整体mAP50略有提升。三个模块叠加后，模型参数量为15.97 M，幼梨果实精度达95.0%，果柄mAP50达83.0%，均达到最高值，整体mAP50从基线的86.6%提升至89.7%。
**4.2 不同随机种子的重复实验**
使用三个随机种子（42、12、123）进行三次独立重复训练，基线模型整体mAP50为86.7%±0.56%，改进模型为88.6%±0.94%，改进模型在所有种子下均稳定优于基线，证明性能提升不依赖特定初始化。
**4.3 对比实验**
与YOLOv8m、YOLOv9-C、YOLOv10-L、YOLO11l、YOLOv12l及原始RT-DETR-R18对比，改进模型在幼梨果实精度（95.0%）、果柄精度（83.7%）、果柄mAP50（83.0%）和整体mAP50（89.7%）上均排名第一。参数量仅15.97 M，低于基线的19.87 M，但计算复杂度为93.7 GFLOPs，略高于原始模型。召回率方面，果实召回率与基线相当，但果柄召回率（77.2%）略低于部分YOLO模型，这是当前模型的一个局限。Grad-CAM++可视化显示，改进模型在复杂遮挡条件下对幼梨和果柄的激活区域更准确、连续，背景干扰更少。
**4.4 热图可视化**
Grad-CAM++热图对比表明，改进模型在第15、19、22、25层特征层上对幼梨果实和细长果柄的特征激活区域准确且完整，背景区域几乎无激活，验证了模型对小目标特征提取能力的增强。
**讨论与结论**
与仅检测单类果实的模型（如ODL Net、FBoTNet）相比，本研究实现了幼梨果实与果柄的同步检测，弥补了现有研究只识别果实而忽略果柄的不足。与荔枝、葡萄等作物相比，玉露香梨幼果平均直径仅13.82 mm，果柄直径仅1.90 mm，且与嫩枝颜色纹理高度相似，检测难度更大。改进模型在整体mAP50上达到89.7%，超越所有对比模型。但果柄召回率和AP50–95值略低于轻量YOLO模型，未来需在保持高精度的同时优化果柄召回率。此外，GCConv模块和P2检测头增加了计算复杂度（93.7 GFLOPs），未来将探索轻量化结构优化以利于边缘设备部署。
**研究结论**
（1）集成GCConv与C2f的轻量骨干促进了细长果柄全局弱纹理的特征提取；GCConvC3瓶颈减少了遮挡下的细粒度特征损失；四层多尺度P2检测头补充了幼小果实的浅层特征信息。
（2）消融实验表明，单模块优化可能引起精度或召回率的微小波动；三个模块叠加后，幼梨果实精度达95.0%，果柄mAP50达83.0%，分别比基线提升1.4和5.5个百分点，两目标聚合mAP50在对比算法中取得具有竞争力的结果。
（3）所提模型在典型果园场景中展现出稳定的果实识别能力，并良好适应梨园田间作业中的不同成像条件。
