具有遮挡感知的水果分割技术与脐橙机器人采摘中的定量可见度估计

《Engineering Applications of Artificial Intelligence》：Occlusion-aware fruit segmentation and quantitative visibility estimation for robotic harvesting of navel oranges

柑橘园单视角遮挡感知分割方法，提出OAF-Net模型集成多尺度边缘感知模块、空间下采样模块和跨阶段动态注意力机制，结合最小外接圆遮挡率估计方法，在复杂遮挡条件下实现92.90%检测精度和90.32%分割精度，较基线提升3.56%和3.79%，并验证遮挡率估计与人工评分高度相关。

　　

张明月|熊俊涛|陈冰|欧阳刚|吴志贤|曾金龙

华南农业大学数学与信息学院，中国广东省广州市，邮编510642

摘要

脐橙（Citrus sinensis）的检测在智能果园管理和机器人采摘中起着关键作用。然而，由于树叶的严重遮挡和果实之间的重叠，分割精度仍然面临重大挑战。为了解决这个问题，我们提出了一种具有遮挡感知能力的水果分割网络（Occlusion-Aware Fruit Segmentation Network），该网络在单视图条件下增强了果实可见性建模和鲁棒性。该网络整合了三个关键的结构创新：一个多尺度边缘感知模块，用于加强边界细节建模并减轻边缘模糊；一个空间感知下采样模块，在特征压缩过程中保留关键的空间结构和遮挡线索；以及一个跨阶段令牌统计注意力机制（Cross-Stage Token Statistics Attention with Dynamic Tanh），该机制能够自适应地增强网络各层中的显著果实特征，同时抑制背景干扰。此外，还引入了一种基于最小外接圆的遮挡率估计方法，用于定量描述果实可见性并实现排名。实验结果表明，所提出的网络在交并阈值为0.5的情况下，边界框的平均精度达到92.90%，分割精度达到90.32%，分别比基线模型提高了3.56%和3.79%，同时保持了更低的计算成本。此外，预测的遮挡率与人类评分有很强的相关性（Spearman等级相关系数为0.932，Kendall's tau为0.808），并在二分类遮挡任务中实现了0.885的接收者操作特征曲线下面积（Area under the Receiver Operating Characteristic Curve），证实了其在排名和区分方面的有效性。总体而言，这项工作建立了一个从遮挡建模到决策支持的端到端感知流程，为未来的自主水果采摘系统提供了实用的框架。

引言

脐橙（Citrus sinensis）作为一种高产且具有显著经济价值的柑橘作物，在全球多个地区广泛种植（Cervera-Chiner等人，2025年）。其果实成熟期集中，需要快速采摘，这导致了对劳动力的极高需求。长期以来，脐橙采摘主要依赖人工劳动，效率较低。随着农业劳动力的持续短缺和人力资源成本的上升，传统的采摘方法已无法满足现代果园精准管理和可持续发展的要求（Yang等人，2023年；Zhang等人，2025年；Zhang等人，2025年）。因此，开发高效和智能的水果识别和采摘技术已成为提升柑橘产业竞争力的一项紧迫需求。

然而，在自然果园环境中进行水果视觉检测仍然面临相当大的挑战，其中最关键的问题是遮挡（Li等人，2022a，2022b）。脐橙通常成簇生长，被密集的树叶包围并且相互重叠，这经常导致图像中目标的部分遮挡。严重的遮挡不仅会削弱果实边界的清晰度并影响结构完整性，还会显著降低现有算法的准确性和鲁棒性，有时甚至导致检测失败或完全无法识别。因此，在复杂遮挡条件下有效建模果实可见性已成为提高果园视觉检测可靠性和实现智能采摘的关键问题。

近年来，深度学习逐渐成为水果检测和分割的主流方法，许多研究人员尝试通过改进模型架构来解决遮挡问题（Chandel和Vatta，2015年；Fang等人，2025年；Xiao等人，2025年；Zhu等人，2024年）。例如，Du等人（2023年）提出了基于改进的YOLOv7框架的DSW-YOLO模型，该模型结合了可变形卷积和注意力机制，实现了在不同遮挡水平下的草莓精确检测。类似地，Hou等人（2023年）开发了DSP-YOLOv7-CA模型，专门用于四种类型的番茄遮挡，平均检测精度达到98.86%。Zhao等人（2024年）引入了一种基于知识蒸馏的葡萄遮挡感知方法，其中轻量级的MobileNetV3学生模型从高性能的ResNet50教师模型中学习，在复杂的葡萄园环境中实现了99.4%的检测精度。

此外，一些研究探索了无模态分割和形状补全技术来重建被遮挡果实的完整轮廓。例如，Gené-Mola等人（2023年）开发了第一个结合无模态分割的苹果尺寸测量系统，在预测完整果实轮廓时达到了毫米级的精度（MAE = 2.93毫米）。Kim等人（2023年）和Zhao等人（2025年）进一步采用了重建网络来恢复苹果和黄瓜的被遮挡细节，从而在有限的标注条件下实现了有效的恢复。Yang等人（2024年）提出了ACBET网络，该网络结合了Swin Transformer和边界估计。该方法在完全形状重建被遮挡的番茄时实现了94.13%的mIoU。深度学习分割技术的进步显著提高了水果识别的性能，为解决果园环境中的遮挡问题提供了更坚实的基础。

同时，除了被动感知算法的进步之外，近年来还出现了一系列主动感知和避免遮挡的策略，以解决果园环境中可见性有限的问题（Chuang等人，2025年；Rajendran等人，2024年；Yi等人，2025年）。Sun等人（2024年）提出了一种主动深度感知方法用于避免遮挡，该方法预测最佳观察位置以指导采摘机器人高效识别被遮挡的水果。他们的方法将识别成功率提高了38.7%，并将平均识别时间缩短至仅5.2秒。Liu等人（2025年）提出了一种新的水果定位方法，该方法结合了避障定位和双视图融合。通过使用基于HSV的颜色分割和几何原理来估计被遮挡水果的中心，并根据操作器的运动学构建动态坐标变换矩阵，他们的方法在遮挡条件下实现了95%的测量点识别精度。Yao等人（2025年）提出了一种主动水果感知框架，通过操纵树叶安全地移除遮挡，并结合了场景一致的形状补全，实现了甜椒的高精度3D重建，可见性提高了95%，且没有叶片损坏。Wang等人（2025年）开发了MOT-MAV系统，该系统利用多目标跟踪和主动视觉协作，在六个视角下实现了84%的番茄植株节点检测率，为农业机器人克服遮挡挑战提供了有前景的解决方案。

尽管主动多视图感知可以有效缓解遮挡问题，但其实际应用通常需要多个传感器的移动或额外的硬件，这增加了系统成本和操作时间，从而限制了其在果园大规模应用中的可行性。因此，在单视图设置下实现被遮挡水果的鲁棒感知仍然是一个紧迫的挑战。现有的单视图水果检测和分割方法通常仅提供物体存在的置信度分数，但缺乏定量建模果实可见性的能力。为了解决这些限制，本研究提出了一种高效的具有遮挡感知能力的水果分割网络（OAF-Net），该网络在单视图条件下提高了分割质量和可见性建模，无需依赖多视图感知或额外传感器。具体来说，OAF-Net整合了三个关键组件：多尺度边缘感知模块（MSEAM）、空间感知下采样模块（SADown）和跨阶段令牌统计注意力机制与动态Tanh（C2TSSA_DYT）。MSEAM通过多尺度边缘细节细化增强了果实边界的表示；SADown在特征压缩过程中保留了关键的空间结构和遮挡线索；C2TSSA_DYT在网络阶段之间自适应地重新分配注意力，使模型能够更有效地关注显著的水果区域，同时抑制背景干扰。通过这些组件的共同作用，OAF-Net不仅在单视图条件下实现了高精度的水果分割，还提供了定量可见性估计，为下游采摘决策提供了可解释的支持。

本研究的主要贡献如下：

(1)

我们提出了一种具有遮挡感知能力的水果分割网络（OAF-Net）。在我们收集的脐橙数据集上的实验表明，OAF-Net在IoU = 0.5的情况下，实现了92.90%的AP@50^Box和90.32%的AP@50^Seg，在复杂遮挡条件下显著提高了单视图检测和分割精度，同时保持了低计算复杂性。

(2)

我们整合了三个关键模块，即MSEAM、SADown和C2TSSA_DYT，以增强遮挡下的边界建模，减轻下采样过程中小目标的结构信息退化，并提高杂乱背景中跨级特征融合的稳定性。

(3)

我们引入了一种基于最小外接圆的遮挡估计方法，该方法可以根据预测的掩码对多个目标进行定量可见性排名，为采摘优先级决策和智能机器人规划提供了新的指标。

数据采集和数据集结构

本研究关注的是来自赣南地区的脐橙（Citrus sinensis）。数据采集于2025年1月14日至15日在中国广东省广州市白云百万果园基地进行（纬度：23°18′48″N，经度：113°23′34″E）。采集时间设定在每天10:00至16:00之间，此时光照条件稳定，果实处于集中成熟阶段，表现出均匀的颜色和一致的成熟度。这确保了高效率的采摘。

模型概述和选择

为了确保所提出的结构改进建立在可靠的性能基础上，本研究首先对不同深度版本的YOLO11进行了系统比较。为了确定最适合任务的配置，训练了三种YOLO11变体——YOLO11-n、YOLO11-s和YOLO11-m，并在相同的训练设置下对测试集进行了评估，结果总结在表1中。随着模型深度的增加，精度逐渐提高。

结论

本研究提出了OAF-Net，以解决自然果园条件下脐橙果实复杂遮挡的挑战，在单视图设置下实现了更精确的分割和更鲁棒的可见性建模。通过利用多尺度边缘感知、空间感知下采样和跨阶段动态注意力的协同效应，OAF-Net显著提高了检测和分割精度。此外，所提出的基于最小外接圆的

CRediT作者贡献声明

张明月：撰写 – 审稿与编辑，撰写 – 原始草案，可视化，方法论，概念化。熊俊涛：监督，资源获取，调查，资金获取，形式分析。陈冰：可视化，调查。欧阳刚：可视化。吴志贤：可视化，验证。曾金龙：验证。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所述的工作。

致谢

本研究部分得到了国家自然科学基金（项目编号：32071912）的支持，部分得到了广东省自然科学基金（项目编号：2024A1515010226和2026A1515011936）的支持，部分得到了广州市科技计划重点项目（项目编号：2024B03J1357）的支持，部分得到了广州市科技计划（项目编号：2025D04J0065）的支持，以及广东省现代农业产业共性关键技术研究的支持。