融合GhostNetV2、PPA与DW-LAE的GPL-YOLO复杂场景青核桃目标检测方法

《Frontiers in Plant Science》：Complex scene green walnut target detection method based on improved YOLOv11n

　　

为满足农产品检验（agricultural product inspection）的效率与精度要求，基于深度学习（deep learning）的目标检测（object detection）技术已被广泛采用。然而，光照条件变化和叶片遮挡等因素导致复杂场景中的青核桃（green walnut）呈现低纹理对比度（texture contrast）并倾向于丢失边缘信息（edge information）。为解决这些问题，该研究提出 GPL-YOLO，一种基于改进 YOLOv11n 架构的青核桃目标检测算法。首先，在骨干网络（backbone network）中引入 GhostModuleV2 模块，以增强全局建模能力，并丰富高层特征图中核桃目标的细节信息。其次，在颈部（neck）的多尺度特征融合（multi-scale feature fusion）阶段集成 PPA（Parallelized Patch-aware Attention，并行补丁感知注意力）模块；该模块在空间和通道维度上有效筛选并增强融合特征，从而突出青核桃目标区域并抑制背景噪声。最后，在下采样融合分支（downsampling fusion branch）中嵌入 DW-LAE 特征增强模块，以在下采样过程中自适应保留并增强浅层细节特征，从而最大程度减少边缘、纹理和形状信息的损失，并提高深层语义特征的有效性。实验结果表明，与基线模型相比，该算法在精确率（Precision）、召回率（Recall）和 mAP₅₀ 上分别提高 8.6%、5.7% 和 8.7%。改进模型在检测精度上优于原始 YOLOv11n，并有效缓解复杂背景下的漏检和误检，为青核桃果园的智能采收、产量估计和精准管理提供技术支持。

研究背景与问题：青核桃是重要经济果品，其数量和空间分布是产量估计、成熟度评估、智能采收和精准果园管理的重要依据。传统产量统计和果实检验主要依赖人工，易受人工经验和果园环境影响，效率低且难以准确统计。自然果园中，青核桃颜色与叶片、枝条等背景相似，并常伴随遮挡、重叠、不均匀光照、阴影干扰和拍摄角度变化。传统图像处理方法依赖人工设计特征，特征表达能力有限，对环境变化适应性差，在复杂背景下易发生目标遗漏、误检和边界定位不准。基于深度学习的目标检测虽已广泛用于苹果、柑橘、番茄、草莓、葡萄、梨、桃、芒果和核桃等作物，但现有青核桃检测仍存在三个问题：枝叶复杂背景和光照变化干扰模型判断；青核桃尺度小且常重叠或遮挡，导致小目标和被遮挡目标特征表达不足；多尺度特征融合和下采样过程缺少有效细节保留与筛选，易丢失目标纹理、边缘和形状特征。为此，研究人员提出基于 YOLOv11n（You Only Look Once version 11 nano，单阶段目标检测模型）的 GPL-YOLO（本文提出的改进青核桃检测模型）。该研究在骨干网络引入 GhostNetV2（一种增强全局建模的特征提取模块），在颈部多尺度融合引入 PPA（Parallelized Patch-aware Attention，并行补丁感知注意力模块），在下采样融合分支嵌入 DW-LAE（用于下采样融合分支的特征增强模块），并在 WalnutData 数据集上开展实验。结果表明，与基线模型相比，Precision 提高 8.6%，Recall 提高 5.7%，mAP₅₀ 提高 8.7%；改进模型提高检测精度，缓解复杂背景下漏检和误检，为青核桃园智能采收、产量估计和精准管理提供技术支持。此前，Wu et al. 重新设计 YOLOv8 特征提取和特征融合网络；Wang et al. 提出 OW-YOLO；Wang et al. 提出 RSWD-YOLO；Liu 将多尺度特征动态卷积核引入 YOLOv8。

关键技术方法：样本队列来源为中国云南省大理白族自治州漾濞县8个核桃种植地块，2024年7月18日至9月14日每日09:00—19:00采集，使用 DJI Matrice 300 RTK 无人机搭载 Zenmuse P1 相机和35 mm F2.8镜头，获得9399幅原始航拍图像；经人工筛选、1024×1024像素滑窗且步长512像素裁剪，构建30240幅青核桃检测图像，LabelImg标注24673个框，按7:2:1划分训练、验证和测试集。方法上以 YOLOv11n 为基线，将骨干 C3k2 替换为 GhostNetV2，在颈部 P3/8 多尺度融合层后引入 PPA，将颈部自底向上路径的标准下采样卷积替换为 DW-LAE，并开展消融与对比实验，采用 Precision、Recall、mAP₅₀、mAP_50:95 和 F1-score 评价。

研究结果：
3.1 实验设置：使用 YOLOv11n 基线和 WalnutData，在 NVIDIA GeForce RTX 5060Ti（16 GB）、Python 3.10.18、PyTorch 2.7.0、CUDA 12.8 下训练，300 epochs，batch size 16，workers 4，初始学习率0.01，优化器 SGD，momentum 0.937，weight decay 0.0005。该设置为后续比较提供统一条件。
3.2 消融研究：通过消融实验验证 GhostNetV2、PPA 和 DW-LAE 各自及组合作用。单独引入 GhostNetV2 使 Precision、Recall、mAP₅₀、mAP_50:95、F1-score 分别提升8.6%、5.1%、8.4%、7.9%、7%；引入 PPA 分别提升0.3%、0.3%、0.4%、1.1%、1%；引入 DW-LAE 分别提升0.7%、0.2%、0.6%、0.7%、1%。三者组合使 Precision、Recall、mAP₅₀、mAP_50:95、F1-score 分别提升8.6%、5.7%、8.7%、8.5%、8%。结论是 GhostNetV2 提供细节和语义特征，PPA 缓解 P4 上采样边缘纹理损失，DW-LAE 适应不同尺度并增强融合。
3.3 对比实验：通过对比 YOLOv3-tiny、YOLOv5n、YOLOv6n、YOLOv7、YOLOv8n、YOLOv9t、YOLOv10n、YOLOv12n、YOLOv26n、RT-DETR、Faster R-CNN、FCOS 和 RetinaNet 等，GPL-YOLO 的 mAP₅₀ 为82.7%，F1-score 为76.0%，参数量5.2 M，GFLOPs 12.6。相比 YOLOv11n，mAP₅₀ 提高8.7%，F1-score 提高8%。Faster R-CNN 和 FCOS 精度更高但参数和计算量较大，GPL-YOLO 在精度、效率和复杂场景适应间取得平衡。分类 AP 显示，前光 AP 由76.3%升至83.9%，逆光由71.7%升至81.5%，遮挡由66.1%升至77.6%，无遮挡由81.9%升至87.8%。热图可视化表明，逐步引入 GhostNetV2、PPA、DW-LAE 后，模型响应由分散变为集中，目标区域增强而背景干扰减弱。PR 曲线平滑，F1-Confidence 曲线表明模型对置信度阈值小变化不敏感，具有较好鲁棒性。检测结果可视化显示，改进方法可减少遮挡等条件下的漏检和误检。对 GhostNetV2 的研究表明替换4个 C3k2 层最佳；PPA 引入 P3/8 后较合适；DW-LAE 替换两层时对 A1、A2、B1、B2 分别提升0.4%、0.5%、0.5%、1%。

讨论与结论：
讨论部分总结：该研究讨论认为，改进模型通过增强特征提取、关键区域关注和下采样细节保留，提升复杂自然场景青核桃检测。局限性包括：数据集在样本量、场景多样性和极端条件覆盖方面仍有提升空间，强逆光、低光或雨雾天气下稳定性可能受影响；严重遮挡或密集分布时仍可能漏检或误检；未开展模型轻量化压缩实验和与 DETR、YOLO-Transformer 等端到端 Transformer 检测模型的比较；未考虑成熟度、果实品质或空间位置信息。未来可扩展数据集，引入多尺度融合、上下文建模和注意力机制，采用剪枝、量化和轻量骨干，在边缘平台部署，并与分割、成熟度识别、深度估计或多传感器融合结合，以支持智能采收机器人和果园监测平台。
研究结论翻译：为解决自然场景中核桃检测的复杂背景、显著光照变化和枝叶严重遮挡等挑战，该研究提出一种基于 YOLOv11n 的改进核桃检测模型，集成 GhostNetV2、PPA 和 DW-LAE 模块。该模型通过改进特征提取能力、增强对关键区域的关注以及在下采样中保留局部细节，有效提升复杂果园环境中的核桃检测性能。首先，在 YOLOv11n 中引入 GhostNetV2 模块，以增强核桃目标特征表达能力；该模块可更充分提取核桃纹理、边缘和轮廓等有效信息，使模型在复杂背景下具有更强的目标区域表示能力。其次，引入 PPA 模块增强模型对关键区域的感知，使网络更关注与核桃检测相关的有效特征，并在一定程度上抑制枝条、阴影和背景纹理等无关信息干扰。最后，针对下采样过程中目标局部细节信息易丢失的问题，该研究提出 DW-LAE 模块，使模型在特征提取过程中保留更多核桃边缘、纹理和局部结构信息，从而提高遮挡、逆光和目标边界不清晰等复杂场景下的检测能力。实验结果表明，与原始 YOLOv11n 相比，改进模型具有更好的核桃检测性能，精确率、召回率和平均精度均值均有提升。消融实验进一步证实 GhostNetV2、PPA 和 DW-LAE 模块的有效性。总之，该研究提出的改进 YOLOv11n 模型可有效提升复杂自然场景中的核桃检测性能，处理枝叶遮挡、逆光干扰和复杂背景等挑战，可支持核桃智能识别、果园产量估计和自动化采收等应用。尽管取得一定结果，但仍存在不足：数据集在样本量、场景多样性和极端条件覆盖方面仍有改进空间，未来可扩展核桃图像数据集以提高泛化能力和鲁棒性；在严重遮挡或密集分布场景中仍可能出现漏检或误检，未来可融合更有效的多尺度特征融合方法、上下文信息建模机制或注意力机制；受本地实验硬件计算能力限制，该研究聚焦复杂田间条件下检测精度提升，尚未开展模型轻量化压缩及与 DETR、YOLO-Transformer 等端到端 Transformer 检测模型的对比分析。未来工作将优化模型尺寸和推理速度，通过剪枝、量化和轻量骨干网络部署到资源受限的嵌入式采收设备和田间移动终端，并扩展硬件资源与主流 Transformer 模型开展多维比较。此外，该研究主要关注核桃目标检测，强调定位和识别，尚未考虑成熟度确定、果实品质评估或空间位置信息获取。未来可结合图像分割、成熟度识别、深度估计或多传感器融合，实现对核桃生长状态、空间位置和采收可行性的综合分析。最后，未来可进一步探索模型轻量化改进，部署到边缘平台并在真实果园测试稳定性和实用性，与智能采收机器人、果园监测平台集成，推动智能核桃检测技术在智慧农业和自动化果园管理中的应用。