《Frontiers in Plant Science》：A two-dimensional axis estimation method for pickable canopy apples based on YOLO cascade network
编辑推荐：
引言：在复杂果园环境中，树冠苹果受多种因素遮挡，苹果收获机器人难以准确判定可直接采摘的果实，且复杂遮挡导致苹果关键点识别与轴方向计算困难，直接影响机器人抓取位姿确定。方法：为解决上述问题，研究人员提出一种基于YOLO级联网络的树冠可采摘苹果二维（2D）轴向估计
引言：在复杂果园环境中，树冠苹果受多种因素遮挡，苹果收获机器人难以准确判定可直接采摘的果实，且复杂遮挡导致苹果关键点识别与轴方向计算困难，直接影响机器人抓取位姿确定。方法：为解决上述问题，研究人员提出一种基于YOLO级联网络的树冠可采摘苹果二维（2D）轴向估计方法。首先引入SPDConv实现无损下采样，并采用动态上采样提升分割边界精度，构建实例分割网络YOLO-SD，依据不同遮挡条件与生长状态筛选可采摘苹果；其次通过最小外接圆定位掩膜图像几何中心，经形态学膨胀提取感兴趣区域（ROI）；继而集成RFAConv、SCSA注意力与MBConv模块构建关键点检测网络YOLO-RSM，提取可采摘苹果关键点；最后提出自适应根据关键点可见性构建生长轴的2D轴向构建策略。结果：实验表明YOLO-SD苹果分割整体平均精度mAP50达95.2%，参数量降至2.47 M；YOLO-RSM关键点检测平均精度达90.3%，较YOLOv8n、YOLO11n、YOLO12n分别高2.4%、2.6%、4.7%；2D轴估计算法平均轴向角度误差7.23°±16.73°，轴估计精度92.68%。讨论：该方法可实现高精度树冠苹果分割、关键点检测与2D轴向估计，为苹果收获机器人采摘作业提供技术支持。
研究背景与动机：苹果是全球温带地区广泛种植的高经济价值水果，当前收获高度依赖人工，面临劳动力稀缺与成本上升压力。苹果收获机器人首要环节是精准识别果实目标，早期基于颜色纹理与形态学的机器视觉方法易受光照、叶片遮挡与果实簇集干扰；深度学习边框检测虽提升精度，但大模型难以在低资源移动平台实时部署，且多数研究将遮挡简化为二值状态，缺乏按生长状态与遮挡类型的细粒度语义划分，无法区分单果、簇前果、簇后果及叶片软遮挡与枝干硬遮挡对应的不同采摘策略。同时，果梗（stem）与萼洼（calyx）关键点直接决定机械臂抓取位姿，直接三维轴识别存在标注难与算力高问题，现有研究多独立处理分割、关键点与位姿，缺少统一框架连接“可采判定”与“如何采摘”。为此，研究人员以河南洛宁富士苹果为对象，构建两级级联架构，先分割可采果再检关键点后算2D轴。
主要关键技术方法：研究人员于2024年8月在河南洛阳洛宁县低砧密植果园采集1223张3072×4096分辨率RGB图像，裁剪为1024×1024并留用2194张，按九类生长遮挡状态（单果无遮/叶遮/他遮、多果前无遮/叶遮/他遮、多果后无遮/叶遮/他遮）标注，其中单果无遮、单果叶遮、多果前无遮、多果前叶遮判为可采；关键点以矩形框标果梗与萼洼中心。数据经噪声、翻转、亮度、旋转增强并平衡类别后划分7:2:1。级联框架中第一级YOLO-SD以YOLO11n为基，骨干引入SPDConv（空间到深度卷积）替步长卷积保像素信息，上采样换DySample（动态采样）替固定插值；第二级YOLO-RSM以YOLO11n为基，嵌入RFAConv（感受野注意力卷积）、SCSA（空间通道协同注意力）与MBConv（倒瓶颈移动模块）增强小目标感知；轴构建依据关键点可见性：双点可见连萼洼至果梗，单点可见补以最小外接圆几何中心成向量，双不可见剔除。
研究结果：
3.1 评估指标：采用精度（P）、召回（R）、平均精度（AP）、mAP50、mAP50–95、参数量、GFLOPs、模型体积，以及轴向平均角度误差（MAE）、轴估计精度（AEA，阈值τ=15°）。
3.2 实验设置：Ubuntu 22.04，i9-14900KF，RTX 4080，CUDA 12.4，PyTorch 2.5.1，输入1024×1024，batch 16，epoch 300，AdamW初始学习率0.001。
3.3 树冠苹果实例分割结果与分析：消融显示YOLO-SD（SPDConv+DySample）较YOLO11n-seg的mAP50由94.0%升至95.2%，参数2.83 M降至2.47 M，FLOPs 10.2降至9.3，体积6.1 MB降至5.4 MB；对比YOLOv8n-seg、YOLO12n-seg、Mask-RCNN均占优，配对t检验p=0.0085显著。九类细分中单果无遮mAP50 98.0%、多果前无遮97.3%，多果后叶遮仍达92.8%，证明细粒度遮挡建模有效。
3.4 树冠苹果关键点检测结果与分析：YOLO-RSM消融中RFAConv提mAP50 0.8%、SCSA提0.5%且几乎不增算力、MBConv压参12.4%降FLOPs 19.0%；最终YOLO-RSM的mAP50 90.3%，较YOLOv8n、YOLO11n、YOLO12n、RT-DETR分别高2.4%、2.6%、4.7%、1.4%，参数2.68 M远小于RT-DETR。
3.5 2D轴估计：基于可见性策略平均角度误差7.23°±16.73°，AEA 92.68%。
讨论与结论翻译：研究人员提出的方法可实现高精度树冠苹果分割、关键点检测与2D轴向估计，从而为苹果收获机器人的采摘作业提供技术支持。该研究价值在于将“可采性语义判定—关键点定位—2D生长轴重建”纳入统一级联流程，以轻量化网络适配移动农机，细粒度九类遮挡标签打通了感知输出与机械臂采摘策略（软叶遮挡可气动吹离或裹轴旋摘，硬枝遮挡需避障重规划）的语义鸿沟，论文发表于《Frontiers in Plant Science》。
