多模型融合框架用于复杂果园环境中的鲁棒芒果检测

《Agriculture》：A Multi-Model Fusion Framework for Robust Mango Detection in Complex Orchard Environments

　　

在复杂且非结构化的果园环境中，准确的水果检测对于精准农业中的产量估计和机器人采摘至关重要。然而，单模型检测器在剧烈光照变化、严重遮挡和密集果实重叠下，常常出现鲁棒性降低和漏检率较高的问题。为了解决这些挑战，研究人员提出了一种用于复杂果园环境中鲁棒芒果检测的多模型融合框架。所提出的方法采用YOLOv8n、YOLOv8s和YOLOv8m作为基础检测器，并应用多尺度测试时增强（TTA）从不同增强视图中获取预测结果。在将预测边界框映射回原始图像坐标系后，基于交并比（IoU）匹配每个基础检测器不同TTA视图中对应同一目标的预测，得到模型特定的预测结果。然后应用加权框融合（WBF）确定融合的边界框坐标。对于多个基础检测器共同检测到的候选目标，使用Noisy-OR合并各个模型提供的置信度分数，得到融合后的置信度分数。最后，应用高斯软非极大值抑制（Gaussian Soft-NMS）衰减重叠候选框的分数，从而降低在密集聚类场景中错误抑制相邻芒果的风险。在两个互补数据集上的数据集内评估协议实验证明了所提出方法的有效性。在标准数据集（Data1）上，召回率（Recall）和mAP@0.5分别达到95.52%和98.60%。在Data2的五次重复随机划分中，所提出的框架将平均召回率从82.79%提高到84.90%，平均mAP@0.5从90.27%提高到91.23%。这些结果表明，与单模型检测器相比，所提出的框架在复杂果园环境中提高了检测鲁棒性和完整性，展示了其在离线产量估计和果园表型分析中的潜力。

**论文解读文章**

随着全球人口增长，农业生产需大幅提升以满足粮食需求，精准农业成为关键范式。芒果等高价值水果在热带和亚热带地区经济中占据重要地位，准确的水果检测对产量估计、生长监测和机器人采摘至关重要。然而，非结构化果园环境中存在果实与叶片颜色高度相似、严重枝叶遮挡、密集果实重叠及目标尺度显著变化等挑战，导致单模型检测器在剧烈光照变化、严重遮挡和密集重叠下鲁棒性降低、漏检率升高。现有研究多基于YOLO系列改进，但单模型架构难以应对复杂环境的多样性和长尾分布。为此，研究人员提出了一种多模型融合框架，旨在通过集成多模型和多视图推理，提升复杂果园环境下的芒果检测鲁棒性和完整性。论文发表在《Agriculture》。

研究人员开展了以下研究：提出一个包含多尺度测试时增强（TTA）推理、逆变换映射与模型内TTA匹配融合、跨模型匹配与加权框融合（WBF）坐标融合、基于Noisy-OR的模型级共识重新评分、高斯软非极大值抑制（Gaussian Soft-NMS）后处理的五阶段框架。选用YOLOv8n、YOLOv8s和YOLOv8m作为基础检测器，利用其不同容量形成互补。在公共数据集（Data1，1600张原始图像，4个芒果品种，含晴天和阴天）和自采数据集（Data2，306张原始图像，绿色芒果，采集于广州，含复杂环境条件）上进行数据集内评估。训练时对每个数据集分别训练三个基础模型，使用随机梯度下降（SGD）优化器，训练200轮，基于验证集选择最佳检查点。通过五折重复随机划分评估Data2上的性能稳定性。得出主要结论：所提框架在Data1上召回率（Recall）达95.52%，mAP@0.5达98.60%，优于YOLOv8m；在Data2上平均Recall从82.79%提升至84.90%，平均mAP@0.5从90.27%提升至91.23%，Precision略有下降。消融实验表明，TTA贡献最大，直接集成提升有限，Noisy-OR和Soft-NMS提供补充改进。置信度融合策略比较显示Noisy-OR在mAP@0.5上最优。基础模型检测结果互补性分析表明三个模型存在部分独特检测，但相关性较高。超参数敏感性分析显示框架在所考察范围内性能稳定。失败案例包括严重遮挡和密集重叠导致的漏检或误检。该研究意义在于证明了多模型融合框架能提升复杂果园环境下的检测鲁棒性和完整性，适用于离线产量估计和果园表型分析。

**关键技术方法**（不超过250字）：研究人员采用多模型融合框架，包括五个阶段：1）多尺度测试时增强（TTA）推理：对输入图像进行0.9、1.0、1.1倍缩放及水平翻转，生成6个视图，由YOLOv8n、YOLOv8s、YOLOv8m独立处理；2）逆变换映射与模型内TTA匹配融合：将预测框逆映射回原图坐标系，在同一模型内基于交并比（IoU）匹配并融合；3）跨模型匹配与加权框融合（WBF）：对三个模型输出的候选框进行跨模型匹配，保留至少两个模型支持的候选，用WBF融合坐标；4）基于Noisy-OR的模型级共识重新评分：结合各模型置信度分数和权重，计算最终排名分数；5）高斯软非极大值抑制（Gaussian Soft-NMS）后处理：衰减重叠框分数，避免错误抑制。基础模型选择YOLOv8n/s/m以利用不同容量互补。数据集来源：Data1来自公共Mendeley Data平台，Data2自采于中国广州，使用Canon EOS 70D相机。

**研究结果**：

**3.4 Detection Performance on the Data1**：在Data1上，YOLOv8m基线Precision 96.59%、Recall 92.27%、mAP@0.5 98.35%。所提框架Recall提升至95.52%（+3.25个百分点），mAP@0.5提升至98.60%（+0.25个百分点），Precision略降至95.39%。表明框架提高了检测完整性，但计算成本增加（端到端延迟从119.17 ms增至351.59 ms，约2.84 FPS），不适合高速实时应用，更适用于离线产量估计和果园表型分析。

**3.5 Detection Performance Under Complex Scenarios**：在Data2上，五折重复随机划分实验，YOLOv8m平均Precision 93.43%、Recall 82.79%、F1-score 87.77%、mAP@0.5 90.27%。所提框架平均Recall提高至84.90%（+2.11个百分点），F1-score提高至88.64%（+0.87个百分点），mAP@0.5提高至91.23%（+0.96个百分点），Precision略降至92.75%。Recall改进在五次重复中均出现，两样本配对t检验p=0.0225，但F1-score和mAP@0.5改进未达统计显著。计算延迟为465.32 ms（约2.15 FPS），表明检测性能提升以计算成本为代价。

**3.6 Ablation Study**：在Data2验证集上进行消融实验。YOLOv8m基线mAP@0.5 86.92%、Recall 77.27%。直接三模型集成仅小幅提升（mAP@0.5 87.31%，Recall 77.47%）。添加TTA后mAP@0.5提升至88.29%，Recall提升至79.70%，为最大贡献模块。单独添加Noisy-OR或Soft-NMS提升有限。完整框架（TTA+Noisy-OR+Soft-NMS）达到最高mAP@0.5 88.51%和Recall 80.13%，较基线提升1.59和2.86个百分点。表明性能增益主要来自多模型融合、多视图推理和重叠感知后处理的交互作用。

**3.7 Confidence Fusion and Base-Model Complementarity Analysis**：比较四种置信度融合策略（无重新评分、加权平均、最大置信度、Noisy-OR），Noisy-OR在mAP@0.5上最高（88.51%），最大置信度策略Recall最高（80.76%）。基于验证集选择Noisy-OR。基础模型互补性分析：YOLOv8n、YOLOv8s、YOLOv8m分别独特检测到15、6、34个其他模型漏检的目标，说明存在互补信息。两两检测结果的φ系数介于0.782~0.830，表明高相关性但非完全冗余。

**3.8 Hyperparameter Sensitivity Analysis**：在固定Data2划分上单参数敏感性分析。WBF匹配阈值（IoU_Match）设为0.60时mAP@0.5最高（0.8851）；Score Power设为0.60时mAP@0.5最高；Noisy-OR重新评分系数α设为0.70时mAP@0.5最高；Gaussian Soft-NMS衰减参数σ设为0.90时mAP@0.5最高。基于验证集选择这些值。五折重复验证表明，虽然总体参数效应显著，但相邻设置间差异不显著（Holm校正后p>0.05），框架在考察范围内性能稳定。

**3.9 Failure Case Analysis**：失败案例主要分为两类：严重枝叶遮挡导致仅可见小部分区域，模型难以提取判别特征，造成漏检；果实成簇分布、紧密粘连或强背景干扰，导致目标合并、定位偏差或部分误检。表明在极端遮挡和密集重叠条件下仍需进一步优化。

**总结讨论部分**：翻译研究结论部分：

为了解决非结构化自然果园环境中芒果检测的挑战，包括果实与叶片的高颜色相似性、严重的枝叶遮挡、密集的果实重叠以及目标尺度的显著变化，本研究提出了一种多模型融合框架用于芒果检测。所提出的方法并非直接修改单个检测网络的内部结构，而是基于YOLOv8n、YOLOv8s和YOLOv8m这三个不同尺度的基础模型，通过集成多尺度测试时增强（TTA）、加权框融合（WBF）、Noisy-OR置信度重新评分和高斯软非极大值抑制（Gaussian Soft-NMS）后处理，有效利用了不同模型和多测试视图之间的互补信息，从而提高了复杂果园场景中芒果检测的稳定性和鲁棒性。所提出的方法在数据集内评估协议下，在两个互补的芒果数据集上取得了良好的检测性能。在Data1上，所提框架的召回率（Recall）达到95.52%，mAP@0.5达到98.60%，表明当单模型基线已表现强劲时，融合框架可进一步提高检测完整性。在更具挑战性的Data2数据集上，通过五折重复随机划分实验评估了改进的稳定性。与YOLOv8m相比，所提框架将平均召回率从82.79%提高到84.90%，平均mAP@0.5从90.27%提高到91.23%。这些结果表明，所提框架在复杂果园条件下提高了检测完整性和整体检测性能，但改进幅度应结合Data2的有限规模和多样性来理解。进一步分析表明，多尺度TTA增强了模型对不同尺度目标的适应性，WBF提高了候选框的定位稳定性，Noisy-OR重新评分加强了多个模型共同支持的弱目标响应，Soft-NMS有效降低了在密集场景中错误抑制相邻真实目标的风险。尽管所提框架取得了性能提升，但应承认几个局限性。首先，完整框架需要三个基础检测器在六个测试时视图下进行预测，导致计算成本较高。在Data2上的平均推理时间为465.32 ms每张图像，约2.15 FPS。因此，当前实现更适合离线产量分析、果园表型分析以及缓慢移动农业平台上的高精度感知，而非实时机器人采摘。其次，Data2仅包含从单一地理区域和一个芒果品种采集的306张原始图像。尽管Data1和Data2提供了互补的评估条件，但所提框架在不同果园、品种、季节、相机和采集平台上的泛化能力仍需进一步验证。第三，三个基础检测器属于同一YOLOv8家族，并使用相同数据集训练，因此它们的预测误差可能仍存在相关性，限制了集成的多样性和互补收益。最后，在极端枝叶遮挡、高密度果实重叠、强背景干扰以及果实在视觉区域极小的情况下，仍会发生检测失败。未来工作将重点提高计算效率和泛化能力。将通过自适应视图选择减少TTA视图数量，并研究更轻量的两模型或单模型TTA配置，以实现更实用的精度-速度权衡。还将探索混合精度推理、并行模型执行、模型剪枝、知识蒸馏和优化推理调度。此外，未来研究将包括更大的多果园和多品种数据集、跨数据集评估、重复数据划分和不确定性分析，以评估方法的统计可靠性和外部泛化能力。还将研究更多异构检测器架构以及时间或多模态信息，如深度感知和多帧跟踪，以改善在严重遮挡和密集果实重叠条件下的检测性能。