ERG-Mask：一种用于温室栽培台葡萄丛的边缘-区域协作实例分割模型

《Computers and Electronics in Agriculture》：ERG-Mask: An edge–region collaborative instance segmentation model for greenhouse table-grape clusters

　　•区分单独的和不重叠的温室栽培葡萄簇。•联合预测葡萄簇的位置和等高线边界。•重构极坐标等高线以生成实例掩码和边界框。•在自然光照明下，平均IoU达到92.12%，AP达到91.61%。•在温室照明变化的情况下保持稳定的感知能力。

引言
葡萄是全球种植最广泛的水果之一。除了作为新鲜水果食用外，它们还具有作为葡萄酒、葡萄干和其他加工产品原材料的巨大经济价值。在栽培葡萄的过程中，通常使用温室棚架系统来改善栽培管理、提高果实质量和生产稳定性。然而，葡萄采摘仍然严重依赖人工劳动，劳动力短缺、劳动力成本上升以及人口老龄化增加了对自动化采摘技术的需求。随着智能农业和农业机器人的发展，水果采摘机器人已成为提高采摘效率和减少劳动强度的重要技术方向（He等人，2022年；Rajendran等人，2024年）。在这些技术中，可靠的视觉感知是实现水果采摘机器人自主操作的重要基础（Chen等人，2024年）。对于机器人采摘葡萄而言，现有的葡萄簇感知方法一般可以归类为对象检测、语义分割和实例分割任务。对象检测可以通过边界框定位葡萄簇，但无法描述每个簇的可见轮廓。语义分割可以在像素级别提取葡萄簇区域，但不能明确区分不同的簇实例。与对象检测和语义分割相比，实例分割可以为每个葡萄簇提供实例级别的视觉信息，包括簇位置、可见轮廓和个体掩码（Charisis和Argyropoulos，2024年）。因此，准确的实例级别视觉感知不仅有助于精确分割葡萄簇，还可以为精确采摘、目标计数、产量相关分析和精确作物负荷管理提供重要信息（Pawikhum等人，2025年；Arthur等人，2025年；Zheng等人，2026年）。

在温室棚架栽培葡萄的过程中，葡萄簇通常沿着棚架行分布，并集中在结果区。这种生长和栽培模式有利于栽培管理和采摘操作，但也增加了葡萄采摘机器人的视觉感知难度，因为多个簇可能彼此靠近或部分重叠。此外，葡萄簇通常具有不规则的轮廓、密集的浆果结构和复杂的边界。相邻簇之间的局部重叠可能导致视觉粘连和实例混淆，而温室中的自然光照变化会降低葡萄簇的边界和纹理对比度。在这些条件下，现有的实例分割方法可能会出现合并的实例、不完整的掩码或不准确的轮廓。因此，对于葡萄采摘机器人的视觉系统来说，需要一种更健壮的实例分割方法，尤其是在温室棚架葡萄场景中，以改善局部重叠和光照变化条件下的葡萄簇实例分割性能。

现有的基于视觉的水果检测和分割方法通常可以分为传统特征基础方法和基于深度学习的方法（Luo等人，2025年）。传统方法通常依赖于手工制作的视觉特征，如颜色、纹理、形状和轮廓描述符。Behroozi-Khazaei和Maleki（2017年）提出了一种基于多种颜色特征的葡萄簇分割方法，并使用遗传算法优化特征选择，从而提高了葡萄簇分割性能。Pérez-Zavala等人（2018年）提出了一种结合定向梯度直方图（HOG）形状描述符和局部二值模式（LBP）纹理描述符的葡萄串检测方法，适用于复杂的葡萄园环境。尽管这些方法在受控条件下表现良好，但当光照、背景纹理、果实颜色和遮挡条件发生变化时，它们的鲁棒性往往有限。特别是当相邻葡萄簇重叠或遮挡彼此，或者簇边界变得模糊时，这些手工制作的特征可能无法提供可靠的区分线索，导致分割不准确或漏检。

为了减少对手工特征的依赖，基于深度学习的方法越来越多地应用于水果采摘和蔬菜采摘机器人的水果检测、分割和视觉感知任务（Han等人，2026年；Wang等人，2024年）。典型的框架包括Faster R-CNN、Mask R-CNN、DeepLab、YOLO++和基于YOLO的模型。Wu等人（2024年）使用YOLOv7作为检测模型，并结合增强型CycleGAN进行夜间图像扩展，以提高在低可见度条件下的菠萝检测性能。Meng等人（2023年）提出了一种结合Transformer和R-CNN结构的STCNN模型，利用Transformer的长距离依赖建模能力和R-CNN的区域级特征表示，提高在光照变化、果实叶片遮挡和多目标条件下的菠萝检测性能。Mirbod等人（2023年）开发了一种基于立体视觉的树上苹果果实大小估算系统，首先使用Faster R-CNN检测苹果候选区域，然后使用Mask R-CNN分割果实区域，并利用深度信息将分割结果转换为苹果果实大小估计。Hussain等人（2023年）将Mask R-CNN应用于绿色果实和茎的实例分割，用于机器人苹果疏果，并进一步使用生成的实例掩码进行果实和茎的方向估计，表明实例分割可以提供目标位置、形状和方向等几何信息。Mu等人（2023年）使用基于Mask R-CNN的实例分割模型进行苹果花检测，展示了实例分割在精确机器人操作中的应用。Li等人（2020年）使用DeepLabv3将果园图像分割为背景、果实和细枝类别，并进一步结合深度信息和形态学处理，以保留荔枝结果枝的信息，用于荔枝采摘机器人的视觉感知。

对于机器人采摘葡萄，Coll-Ribes等人（2023年）结合基于卷积神经网络（CNN）的实例分割和单目深度估计来检测和定位用于机器人采摘的葡萄和果梗。Zhou等人（2025年）提出了一种改进的PG-YOLACT++网络，用于分割葡萄簇、果梗和结果枝等关键结构，并进一步进行空间关系分析，为葡萄采摘机器人提供更完整的结构感知信息。Peng等人（2021a）比较了全卷积网络（FCN）、U-Net和DeepLabv3在不同葡萄品种下的分割性能。Li等人（2023年）将挤压激励（SE）、卷积块注意力模块（CBAM）和坐标注意力（CA）模块引入Mask R-CNN，并表明ResNet-101 + CA配置在葡萄串分割方面取得了最佳性能。Wang等人（2023年）通过融合Transformer和CNN结构提出了DualSeg，用于复杂葡萄园环境中的图像分割。Zhu等人（2026年）提出了一种轻量级的基于YOLO的检测模型，通过增强跨尺度特征融合和引入形状自适应锚点，提高了在复杂环境中的葡萄检测鲁棒性。Bruni等人（2025）开发了一种基于感知的CNN方法，并分析了颜色通道、亮度和视觉对比度对葡萄簇检测性能的影响。Lu等人（2025年）进一步提出了PGSS-YOLOv11s实例分割网络，用于分割葡萄果实和果梗相关区域。

这些研究表明，基于深度学习的检测和分割方法可以从复杂的果园场景中提取关键的结构信息，如果实、果梗和枝条，为目标识别、结构理解和后续机器人操作提供视觉基础。得益于端到端特征学习和多尺度特征表示，这些方法在复杂视觉条件下通常比手工方法具有更好的适应性。然而，尽管这些方法在复杂农业场景中改进了水果检测和分割性能，但精确的果实目标实例级别分割仍然具有挑战性。当目标具有不规则的轮廓、模糊的边界或彼此靠近或部分重叠时，这种难度更加明显，可能导致掩码不完整、实例合并、边界粘连或轮廓不准确。

在温室棚架栽培葡萄的场景中，葡萄簇通常沿着棚架行分布，并集中在结果区。这种生长和栽培模式会产生不同的视觉状态，包括单独的簇、相邻的簇和部分重叠的簇。单独的葡萄簇通常具有不规则的外部轮廓和密集的浆果结构，这会增加获取准确掩码的难度。当多个簇在图像中彼此靠近或部分重叠时，实例边界区分和目标分配变得更加困难。由于相邻的葡萄簇通常具有相似的颜色和纹理，而簇轮廓不规则且实例边界可能不连续，区分不同的葡萄簇实例具有挑战性。此外，温室中的自然光照变化会进一步降低葡萄簇的颜色、纹理和边界对比度。这些因素削弱了实例边界和目标分配的区分线索，使得模型难以在重叠区域、相邻边界区域或低对比度区域区分不同的葡萄簇实例，可能导致掩码不完整、实例合并、边界粘连或轮廓不准确。

为了分离相邻的、粘连的或重叠的葡萄簇，一些研究引入了轮廓线索、区域分割策略、深度信息或后处理流程。Luo等人（2018年）使用轮廓交集分析和几何约束来分离重叠的葡萄簇并检测果梗切割点。Liu等人（2020年）结合了颜色空间分析、轮廓特征和Chan–Vese模型，在自然环境中分割重叠的葡萄簇。Peng等人（2021b）进一步将DeepLabv3+分割与深度区域生长方法结合，从重叠目标中提取最前面的葡萄簇。然而，现有的葡萄簇分离方法通常依赖于多阶段处理流程、手工设计的几何假设、深度信息或后处理操作。因此，它们的性能可能会受到温室棚架葡萄场景中多样的重叠配置、模糊的边界和复杂背景的影响。当相邻簇之间的边界线索不足或重叠关系复杂时，这些方法可能仍然难以获得每个葡萄簇实例的完整和独立掩码。因此，需要一种更健壮的实例分割方法来改善温室棚架葡萄场景中单独的、相邻的和重叠的葡萄簇的分割，特别是减少掩码粘连和相邻或重叠情况下不准确实例边界的风险。

为了解决这些挑战，本研究提出了ERG-Mask，一种用于温室棚架葡萄场景中葡萄簇实例分割的边缘-区域协作方法。在ERG-Mask中，“E”表示边缘，“R”表示区域，“G”表示葡萄簇。该方法将葡萄簇实例分割定义为结合实例区域定位和葡萄簇边缘预测的任务。具体来说，它获取葡萄簇实例的类别和位置信息，同时预测轮廓边缘信息。然后使用极坐标轮廓重构策略将实例定位结果与边缘信息整合，恢复每个葡萄簇的轮廓，并生成相应的掩码和边界框。通过引入边缘-区域协作，ERG-Mask旨在改善单独的、相邻的和重叠的葡萄簇的实例分割，特别是在复杂葡萄簇场景中减少掩码粘连和不准确的实例边界。

本研究的主要贡献总结如下：
(1) 提出了一种用于温室棚架葡萄场景中葡萄簇的边缘-区域协作实例分割方法ERG-Mask。该方法将葡萄簇实例分割重新定义为实例区域定位和边缘预测的联合过程，旨在改善单独的、相邻的和重叠的葡萄簇的分割。
(2) 设计了一种改进的基于ResNet的特征学习结构，以共同捕获葡萄簇的区域级和边界级信息。这种设计增强了葡萄簇区域和轮廓边缘的表示，为实例分离提供补充线索。
(3) 提出了一种极坐标轮廓匹配和重构策略，将实例定位和边缘信息转换为葡萄簇轮廓、掩码和边界框。在不同葡萄簇视觉状态（包括单独的、相邻的和重叠的簇）下评估了ERG-Mask的有效性。

图像采集和数据预处理
在中国，葡萄种植者通常在果实着色阶段修剪和疏果，以提高葡萄质量。通常每个枝条上只保留一到两个葡萄簇。因此，在温室葡萄园中观察到的主要生长场景包括单个葡萄簇和涉及两到三个簇的重叠葡萄簇。根据它们的相对位置，这些场景可以分为五种类型：单个簇、左右重叠、上下重叠。

不同葡萄生长场景下的实例分割性能
图6显示了ERG-Mask在葡萄簇上的实例分割结果。表1列出了ERG-Mask在不同生长场景下的评估指标。

如图6所示，ERG-Mask为单独的葡萄簇和重叠的葡萄簇生成了独立的掩码。对于单个葡萄簇，预测的掩码通常是完整的，重构的轮廓相对平滑。在重叠葡萄簇的场景中，相邻的实例可以实现性能优势。ERG-Mask的主要优势在于能够分离重叠的葡萄簇，而不是分割孤立的单个簇。在单簇场景中，一些基准方法（特别是YOLOv8-seg和YOLOv11-seg）取得了比ERG-Mask更高的IoU值。然而，在重叠葡萄簇的场景中，这些方法无法生成有效的分离实例掩膜，而ERG-Mask保持了实例之间的分离，并实现了90.16%的IoU和89.36%的AP。

本研究提出了一种新的实例分割模型ERG-Mask，用于温室棚架式葡萄种植场景中的葡萄簇。该模型设计用于准确分割单个葡萄簇和重叠的葡萄簇。与主要依赖于像素级分类的传统分割方法不同，ERG-Mask结合了实例位置预测和极坐标下的边界引导轮廓重建来恢复实例掩膜和边界框。这种设计使得模型能够更有效地处理复杂的多簇场景。

作者贡献声明：
宁正通：撰写——原始草案、可视化、方法论、概念化。
李健：撰写——审查与编辑、资源准备、项目管理、资金获取、数据整理。
李海东：资金获取。
朱良坤：监督。
王全鹏：可视化、软件开发。
王阳伟：资源准备、数据整理。

伦理声明：
作者声明本研究不涉及人类或动物实验。

利益冲突声明：
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文报告的工作。

致谢：
本研究得到了黑龙江省自然科学基金A类青年项目（项目编号JQ2025E002）、黑龙江省双一流学科协同创新成就项目（项目编号LJGXCG2023-107）以及安徽省机器视觉检测重点实验室开放研究基金（项目编号KLMVI-2023-HIT-05）的支持。作者衷心感谢佛山大学罗陆峰教授对葡萄种植研究的支持。

作者列表：
宁正通 | 李健 | 李海东 | 朱良坤 | 王全鹏 | 王阳伟