一种增强真实果园沙田柚检测的多策略框架

《Journal of Agriculture and Food Research》：A Multi-Strategy Framework for Enhancing Shatian Pomelo Detection in Real-World Orchards

　　

沙田柚作为具有较大市场的特色农产品，需要自动化检测系统以确保准确的产量评估，并满足精益生产的商业需求。现有检测方法通常采用针对理想化理论条件或特定数据集特征而设计的专用网络，但这些方法在真实果园环境中往往表现出显著的性能下降。本研究识别出影响检测精度的四个挑战：成像设备、光照条件、目标尺度变化以及遮挡。为缓解这些挑战，提出了一种多策略框架。首先，通过整合真实果园图像与互联网来源数据，构建了多场景数据集STP-AgriData，以捕获不同数据来源和复杂果园条件引起的色调与外观变化。其次，为模拟不一致的光照条件，应用了对比度调整和亮度修改等数据增强方法。第三，为更有效地处理尺度变化和遮挡，提出了一种新型检测网络REAS-Det。具体而言，研究人员设计了全局选择性可见性卷积（GSV-Conv）。与传统卷积不同，GSV-Conv通过在全球语义感知下选择性扩展可见特征空间来增强特征聚合，同时保留了高效的空间聚合能力，从而实现对不同目标尺度的自适应感知。此外，研究人员整合了C3RFEM模块、多尺度多头特征选择机制（MultiSEAM）和Soft-NMS，以增强实例分离和定位精度。实验结果显示，精度（Precision）为86.5%，召回率（Recall）为77.2%，mAP@.50为84.3%，mAP@.50:.95为53.6%。在所研究的真实果园条件下，所提出的网络取得了与最先进方法相当或更优的检测精度。由于当前数据集仅涵盖单一地点、单一季节采集的单一品种，跨品种、地点和季节的更广泛验证仍是未来工作方向。源代码将在以下网址提供：https://github.com/Genk641/REAS-Det。

沙田柚检测的多策略框架：研究背景、技术路线与主要结论解读

沙田柚是我国南方重要特色经济作物，广西年产量约36万吨，随着农业电商发展和农业保险普及，果实产量精准评估成为线上销售平台优化物流、仓储策略以及受灾果园保险定损的关键环节。然而，传统人工抽样计数方式效率低下、主观性强，且近年劳动力成本持续上升，使得自动化计数需求日益迫切。现有基于计算机视觉的果实检测方法虽在苹果、樱桃番茄、草莓、柑橘等作物上取得较好效果，但大多针对理想化理论条件或特定数据集特征设计专用网络，一旦面临真实果园环境，性能往往显著下降。论文指出，真实应用场景与实验室条件之间存在四个关键差异：成像设备多样性导致图像清晰度和色彩饱和度差异；光照条件不稳定使果实表面特征模糊；果树密植导致单张图像中果实远近尺度差异大；果实簇生造成不同程度遮挡。这些问题严重制约了现有算法在实际果园中的直接应用。因此，研究人员提出了一套涵盖数据构建、图像增强和网络架构改进的多策略综合框架。

为验证框架有效性，研究人员开展系统研究并构建了包含317幅原始图像的数据集。其中150幅图像于2023年12月在中国江西省信丰县嘉定镇太平上村果园使用海康威视DS-8632N-I8设备采集，分辨率1920×1080像素；另167幅图像从互联网获取，覆盖不同区域、不同成像设备和种植条件。数据集中190幅随机图像作为训练池，经随机翻转、灰度变换、添加噪声、对比度调整和亮度修改等增强操作扩展为1330幅训练图像，其余127幅原始图像作为验证集且未经过增强，以避免数据泄漏。此外，为评估模型在完全未见数据上的泛化能力，还进行了五折交叉验证。所有模型在统一协议下训练，输入分辨率640×640，最大训练轮次300，采用AdamW优化器，初始学习率0.01，批量大小为8。实验在Ubuntu 22.04系统、120 GB内存、单块NVIDIA RTX-4090 GPU上进行，PyTorch 2.2.1框架，CUDA 12.1加速。

研究的技术路线主要包括三个关键部分。第一，多场景数据集STP-AgriData的构建与针对性增强，将真实果园采集与互联网来源图像融合，覆盖光照、尺度、遮挡等变化。第二，提出全局选择性可见性卷积（GSV-Conv），该模块通过语义路由机制在全局范围内重新定义特征可见性，利用Gumbel-Softmax采样将空间位置分配到潜在语义组，再通过语义重排和提示增强的状态空间扫描实现非因果全局感知，同时保持卷积运算的效率和归纳偏置。第三，基于YOLOv8改进得到REAS-Det网络，在骨干网络中引入GSV-Conv替换原始卷积层，在P3和P5层使用基于感受野增强的C3RFEM模块替换C2f模块，在头部引入多尺度多头特征选择结构MultiSEAM，并将传统NMS替换为Soft-NMS以改善密集场景下的实例分离和定位精度。

实验结果表明，REAS-Det在验证集上取得了86.5%的精度（Precision）、77.2%的召回率（Recall）、84.3%的mAP@.50和53.6%的mAP@.50:.95，相比基线YOLOv8n分别提升6%和7.6%。消融实验证实各改进模块的有效性：GSV-Conv单独引入使mAP@.50从78.3%提升至80.9%；MultiSEAM、C3RFEM和Soft-NMS的组合作用逐步提升整体性能。五折交叉验证中，REAS-Det在完全未参与模型选择的测试折上取得78.27%的mAP@.50和48.10%的mAP@.50:.95，显著优于基线YOLOv8n的75.46%和46.32%，且五次随机种子实验显示结果标准差很小，证明改善具有统计稳定性。与主流检测器对比实验中，REAS-Det以仅5.8M参数实现84.3%的mAP@.50，优于Faster R-CNN、Cascade R-CNN、RTMDet、DDQ-4scale、YOLOv8s、YOLOv8m、RT-DETR等模型。按数据来源分层评估显示，REAS-Det在果园来源子集上漏检率从17.31%降至7.35%，保留AP@.50从88.68%提升至94.03%，在互联网来源子集上也有一致改进。逐图像计数误差分析表明，REAS-Det将平均绝对误差从1.907降至1.685，均方根误差从3.240降至2.593，平均绝对百分比误差从19.874%降至16.507%，决定系数从0.686提升至0.799，说明检测精度的提升有效转化为果实计数精度的改善。特征图可视化与量化定位指标进一步证明GSV-Conv和C3RFEM能够将模型注意力更集中于果实区域。

讨论部分指出，真实果园采集的图像中不可避免地包含大量远距离小果实，这些目标即使人工也难以准确判别，导致整体评估指标偏低，但远距离果实通常不会立即采收，实际生产中漏检影响有限。数据集还包含大量低分辨率图像，模型对此类图像检测性能欠佳，这是未来提升低质量视觉条件下鲁棒性的研究方向。当前研究受限于数据集可用性仅涉及单一品种，且原始图像仅317幅，难以细分出样本量充足的特定条件子集进行统计可靠的评估。未来需要扩展数据集，覆盖多个品种、果园地点、季节、光照和遮挡水平以及成像设备，并进行条件分层评估。结论部分强调，该多策略框架通过数据集构建、图像增强和网络架构改进三个阶段协同作用，使模型在真实果园环境中保持稳定检测性能。GSV-Conv在空间聚合前重新定义特征可见性，突破了传统卷积局部感受野和因果序列建模的限制；MultiSEAM和C3RFEM有效提升遮挡果实的识别能力；Soft-NMS通过平滑惩罚优化边界框选择。该方法为真实果园场景下的沙田柚自动化检测和果实计数提供了高效解决方案，但跨品种、跨地点和跨季节的泛化性验证仍是未来重要方向。