一种用于复杂果园环境中检测不同成熟度蓝莓的视觉检测方法

《Engineering Applications of Artificial Intelligence》：A visual detection method for blueberries with different ripeness in a complex orchard environment

　　傅成彪|陈帆|田安宏
昆明理工大学信息工程与自动化学院，中国昆明，650500

摘要
在果园中高效准确地检测不同成熟度的蓝莓是智能农业的关键。我们提出了一种基于“你只看一次”（YOLO）第11版纳米版（YOLOv11n）架构的检测模型来检测蓝莓。该模型在浅层主干网络中加入了高效多尺度注意力（EMA）模块，采用了基于区域的对比损失（RCL）机制，并对颈部结构进行了“收集与分布”（GD）升级。我们将该模型命名为YOLOv11-EMA-RCL-GD（为简洁起见简称为YOLOv11-ERG）。改进后的模型包含三个关键模块：EMA模块增强了背景与果实的区分能力；RCL方法专注于局部区域以检测被遮挡的果实；GD机制增强了多尺度特征融合。该模型在我们的自建蓝莓数据集上进行了训练和测试。YOLOv11-ERG在交并比（IoU）为50%时的平均精度（mAP）达到91.8%，在IoU介于50%到95%之间的范围内，mAP为68.6%，模型参数量为593万，每秒浮点运算次数为10.9亿次。该模型性能优于几种现有的检测器，包括实时检测变换器-大型（RT-DETR-L）、更快基于区域的卷积网络（Faster R-CNN）以及其他YOLO系列模型。尽管检测性能更高，但YOLOv11-ERG的参数量仅为YOLOv11-small的62.8%，计算资源消耗仅为51.2%。这种平衡满足了智能农业中对高效准确检测的关键需求。此外，实验结果表明RCL方法也能有效提升其他公共农业数据集上的模型性能。代码已公开发布：https://github.com/C-F-Chen/YOLOv11-ERG

引言
蓝莓属于杜鹃花科，是一种高价值的经济作物，可以制成多种独特风味和营养丰富的产品，在全球范围内广泛种植（Krishna等人，2023年）。研究表明，蓝莓富含生物活性化合物（BACs），尤其是花青素等酚类物质，具有显著的药用价值，可制成抗氧化剂、抗糖尿病药物，并能抑制病原菌（Aguilera等人，2024年；Hu等人，2024年；Zhang等人，2024年）。然而，蓝莓的采摘时机会严重影响其营养价值和经济价值。一方面，蓝莓作为易腐水果，采后呼吸代谢强，易受微生物感染，保质期非常短（Du等人，2023年；Lee等人，2024年；Wu等人，2023年）；另一方面，同一棵树上的蓝莓成熟度不同，导致采摘窗口较长，劳动力成本显著增加。适时采摘可以缩短采摘周期，是提高蓝莓质量和经济效益的关键。同时，成熟度检测在智能农业中对于降低成本和提高效率至关重要（Badgujar等人，2024年；Ghosh等人，2019年；Tang等人，2023年；Wang等人，2025年）。

已有许多关于不同成熟度果实检测与分类的研究，可分为传统方法和基于深度学习的方法。传统方法依赖计算机视觉技术或手动提取特征，然后使用机器算法进行果实成熟度检测或分类（Li等人，2023年；Saleem等人，2021年）。Tan等人（2018年）使用定向梯度直方图（HOG）结合线性支持向量机（SVM）在L?a?b?颜色空间中定位果实并去除背景，再利用k近邻（KNN）分类器进行成熟度识别，平均准确率为92.07%。Gu等人（2025年）使用间隙度算法和灰度协方差矩阵技术提取不同成熟度西瓜的表型特征，通过SVM分类器在纹理模式分类中达到89%的准确率，使用极端梯度提升（Extreme Gradient Boosting，Chen和Guestrin，2016年）模型在成熟度分类中达到76%的准确率。尽管这些方法在特定场景下有效，但受限于手动特征设计和区域划分等，且在复杂场景下鲁棒性较差。深度学习方法利用深度学习网络自动提取特征，比传统方法更具通用性和鲁棒性（Chen等人，2023年；Jafar等人，2024a，2024b；Meenu等人，2021年）。近年来，许多研究将深度学习应用于农业作物的目标检测（Ariza-Sentís等人，2024年），包括脆李子（Liu等人，2024年）、石榴（Du等人，2024年；Wang等人，2024年）、山茶果实（Jin等人，2025年；Zhu等人，2024年）等。例如，Liu等人（2024年）通过引入注意力模块、渐近特征金字塔网络（AFPN）颈部结构和基于最小点距离的交并比（MPDIoU）改进了YOLOv8 Small模型，解决了与背景颜色相似、遮挡和果实过小等问题，平均准确率达到89.4%，模型大小为67 MByte。Du等人（2024年）使用轻量级网络ShuffleNetV2-SE（嵌入挤压和激励（SE）注意力模块）重构了YOLOv8s的主干网络，并用深度可分离卷积替换了标准卷积，成功减少了参数数量同时保持了检测精度。Zhu等人（2024年）改进了YOLOv7-tiny模型以检测不同成熟度的山茶果实，解决了现有模型较大但精度较低的问题，最终在交并比50%的指标下平均精度达到93.18%，参数量为1017万，计算能力为每秒19.46亿次浮点运算（GFLOPS）。Zhang等人（2025年）研究了北欧森林中野生浆果的检测。首先使用Frog特征金字塔网络（FrogFPN）颈部结构和尺度感知上下文模块（SACM）增强了模型上下文建模，然后通过加权指数移动平均损失（WEMA Loss）、软非最大值抑制（Soft-NMS）和层自适应幅度剪枝（LAMP）进一步优化了模型。与基线模型相比，在IoU介于50%到95%之间的范围内，平均精度提高了1.9%，参数数量和计算资源需求显著减少。

已有研究使用深度学习模型进行蓝莓检测任务，一些研究使用分割模型和聚类模型对蓝莓进行表型分析（Li等人，2025年；Ni等人，2020年）。Li等人（2025年）基于分割和聚类模型从多个角度分析蓝莓果实形状，解决了单视角下果实被遮挡的问题，单果指标的最大R2值为0.73，成熟度估计的R2值为0.9，平均绝对误差（MAE）为5.27%。Mu等人（2021年）解决了手动标注可能引入的噪声问题，结合果实化学成分和边界信息共同优化了检测模型，预测的化学成分值与实验结果高度相关（R2 = 0.973-0.930）。虽然上述深度学习研究在某些领域取得了良好成果，但针对蓝莓检测任务的具体问题仍需要精心设计的模型。具体来说，蓝莓成熟度检测任务存在以下问题：1）蓝莓果实紧凑，果实之间以及果实与叶子之间存在遮挡；2）遮挡会导致复杂的照明条件，从而引起果实颜色变化；3）不同的拍摄角度、距离和成熟阶段会导致果实大小差异巨大。

在上述研究中，尽管传统的分割和聚类方法精度较高，但其效率不足以满足实时应用需求。同时，尽管化学标记可以优化标记质量，但复杂的测量过程限制了数据集的规模，深度模型的泛化能力依赖于大量数据（Attri等人，2023年）。另一方面，尽管在改进实时检测模型方面进行了大量研究，但这些模型在复杂场景（包括多变天气条件和照明环境）下的准确性不足。较少有研究改进先进的YOLOv11（Jocher和Qiu，2024年）检测模型来检测蓝莓果实，而YOLOv11在准确性和效率方面优于之前的YOLO版本。总之，本文旨在研究不同成熟度蓝莓的检测算法，通过多种策略改进YOLOv11n模型：在浅层嵌入高效多尺度注意力（EMA）模块以增强特征提取能力，基于“收集与分布”（GD）机制改进颈部网络，并使用提出的基于区域的对比损失（RCL）方法辅助训练。我们将该模型命名为YOLOv11-EMA-RCL-GD（简称为YOLOv11-ERG）。

实验表明，YOLOv11-ERG模型在包含遮挡、尺度变化和照明变化的复杂场景中实现了精度和效率的最佳平衡，表现出色。为解决YOLO模型在关键区域检测被遮挡目标时效果不佳的问题，我们创新性地提出了基于区域的对比损失（RCL），该方法利用锚点级加权来改进监督对比损失问题，有助于模型的鲁棒和有效训练。实验还证明了RCL方法在其他任务中的应用潜力，我们利用该方法辅助训练不同输入图像大小的YOLO模型，并验证了其在不同数据集（蓝莓、石榴和小麦穗）上的性能。

**数据采集与处理**
本研究中的蓝莓果实图像来自中国云南省澄江市的一个蓝莓种植园，收集了南方高丛品种的蓝莓，包括三个不同品种：'F6'、'L11'和'L25'。图片采集时间为2024年4月16日和20日10:00至15:00，涵盖了从直射阳光到云影的各种自然光照条件。采集设备为NIKON Z 30相机。

**实验环境**
为确保可重复性，所有实验均在固定的硬件和软件配置下进行（详见表2），并使用相同的随机种子。模型训练了300个周期，输入尺寸为640×640，提前停止耐心值为100。我们采用了SGD优化器，动量为0.937，权重衰减为0.0005。应用余弦退火调度将学习率从0.01衰减到0.0001。训练批量大小设置为32，验证批量大小设置为16。

**复杂场景中的蓝莓目标检测任务**
为应对复杂场景中的蓝莓检测挑战，我们提出了RCL方法来减轻遮挡问题。此外，通过将EMA模块嵌入浅层主干网络并使用GD机制优化YOLOv11n颈部结构，显著提升了模型的特征提取和融合能力，有效解决了与照明变化和多尺度相关的问题。在复杂的蓝莓检测场景中，所提出的模型取得了优异性能。

**结论**
针对蓝莓检测任务的现有问题，本文提出了YOLOv11-ERG模型，用于检测复杂场景中不同成熟度的蓝莓目标。YOLOv11-ERG模型利用提出的RCL方法辅助训练，在目标严重遮挡和颜色表示复杂的情况下提升了基线模型的性能。与此同时，为了更好地保留蓝莓果实的低层次特征，我们采用了CRediT作者贡献声明：傅成彪（Chengbiao Fu）负责验证、方法论和资金获取；陈帆（Fan Chen）负责撰写原始稿件和软件开发；田安宏（Anhong Tian）负责审稿与编辑、监督工作以及资源调配和资金获取。

**利益冲突声明**
作者声明他们没有已知的财务利益冲突或可能影响本文研究结果的个人关系。

**致谢**
本研究得到了云南省中青年学术技术领军人才储备项目（202205AC160005）和云南省“星电英才支持计划”青年人才项目（KKXX202303001）的支持。