《Smart Agricultural Technology》：SynthAug and SNMS: Enhancing Flower Detection via Data Augmentation and Improved NMS
编辑推荐：
为解决农业机器人视觉感知中训练数据稀缺和推理时冗余检测多两大难题，本研究提出了一种名为SynthAug的高效数据增强方法，以及一种名为“二次非极大值抑制(SNMS)”的后处理算法。实验证明，在番茄和猕猴桃花朵数据集上，SynthAug平均提升AP501.5%，同时减少79%内存消耗。SNMS则能在不影响召回率的情况下平均减少53%的假阳性。真实机器人授粉实验验证了其协同效应，将授粉覆盖率提高6.0%，单次操作平均耗时降低28%。这项研究为在数据有限和计算资源受限条件下实现鲁棒的农业机器人视觉系统提供了有效方案。
随着自动化系统日益融入农业生产，诸如机器人授粉和产量估算等任务正经历革命性变革。然而，支撑这些应用的核心——花朵检测——在实际部署中却面临双重挑战。一方面，高成本的人工标注导致可用于训练的数据集规模有限，制约了模型的泛化能力。另一方面，即使模型训练良好，在推理时也常常会对单个花朵簇产生多个重叠的检测框，形成大量冗余预测。传统的非极大值抑制方法在处理这种因花朵簇内几何结构复杂、预测框交并比跨度大而导致的模糊性时显得力不从心，要么错误地抑制了真实的正样本，要么保留了过多的假阳性，损害了农业机器人作业所依赖的精准与召回之间的微妙平衡。冗余预测会导致机器人执行不必要的重复动作，降低作业效率；而漏检则意味着错失目标，直接影响作物产量。为了弥合模型训练与实际部署之间的鸿沟，来自复旦大学的研究团队在《Smart Agricultural Technology》期刊上发表了他们的工作，提出了两项针对性解决方案：SynthAug和“二次非极大值抑制”（SNMS）。
研究团队采用了多项关键技术方法来验证其方案。首先，他们构建了两个具有不同特征的花朵检测数据集：番茄花朵数据集（575张图像，1788个标注）和猕猴桃花朵数据集（355张图像，3843个标注），以评估方法在多样化条件下的鲁棒性。其次，他们设计了SynthAug数据增强流程，其核心是利用Segment Anything模型在线提取前景花朵实例，并通过自定义的旋转、缩放变换，将其粘贴到单个训练图像中，避免了传统多图像加载方法的高内存消耗。第三，他们提出了SNMS后处理算法，该算法首先利用并查集算法基于空间邻近性对可能属于同一花朵簇的检测框进行分组，然后在每组内部通过迭代比较置信度分数来自适应地选择最佳检测，从而消除重复项。最后，研究在包括Faster R-CNN、YOLO系列（v5, v8, v10, v11, v12）以及RT-DETR在内的七种主流目标检测器上进行了广泛的实验验证，并采用了基于MS COCO标准的评估协议，最终通过真实的机器人授粉平台进行了实地应用效果测试。
SynthAug提升模型性能与训练效率
实验结果表明，SynthAug作为一种轻量级、内存高效的数据增强方法，在番茄和猕猴桃花朵数据集上均能稳定提升多种检测器的性能。如表2所示，与仅使用弱增强、Mosaic或Copy-Paste等方法相比，SynthAug在平均精度（AP）、AP50和平均召回率（AR）等指标上均有显著提升。例如，在Faster R-CNN上，SynthAug将番茄数据集的AP50从83.3%提升至85.9%。更重要的是，SynthAug在实现性能增益的同时，大幅降低了GPU内存消耗和单图像处理时间。如图10所示，SynthAug的平均内存占用仅为Copy-Paste的13%，Mosaic的21%，且波动更小。这使得在相同硬件条件下能够使用更大的批次大小进行训练，从而带来额外的性能收益（表3）。研究还通过分析特征分布（图11）证实，SynthAug通过在相似性和多样性之间取得良好平衡，生成了更有效且视觉逼真的增强数据。
SNMS有效缓解精准率与召回率之间的权衡
针对推理阶段的冗余检测问题，SNMS展现出了卓越的效能。如图12所示，在多种检测器和数据集上，SNMS的应用使得F1分数曲线得到整体提升，尤其是在低置信度阈值下。这意味着SNMS能够显著减少假阳性，同时对真阳性的影响微乎其微。定量分析（表6）显示，SNMS平均减少了52.7%的假阳性，而真阳性仅平均下降1.8%。与单纯调整置信度阈值或NMS抑制阈值相比，SNMS通过几何分组和基于相对置信度的自适应抑制机制，为每个疑似簇分配动态阈值，从而在更宽的参数范围内保持了高精准率和高召回率。图13的定性结果直观展示了SNMS能够有效清除标准NMS无法抑制的冗余检测框。此外，SNMS对推理速度的影响可以忽略不计（表7），使其非常适合实时机器人应用。
机器人授粉实验验证实际效益
为了评估所提方法的实际影响，研究团队在真实的番茄温室中进行了机器人授粉实验。实验使用了集成了RGB-D相机、六轴机械臂和振动授粉末端执行器的自主授粉机器人（图14）。结果（图15）表明，与基线方法相比，结合使用SynthAug和SNMS能够显著改善授粉的覆盖率和效率。具体而言，SynthAug将授粉覆盖率从87.1%提高至93.1%。SNMS则将冗余授粉操作减少到NMS方法的10%，并将每次成功授粉的平均时间从4.7秒缩短至3.4秒，效率提升28%，而覆盖率的损失远小于通过调高置信度阈值来优化F1分数的方法。失败原因分析（图15c）进一步证实，SynthAug有效减少了因漏检导致的失败，而SNMS则在减少因错误抑制导致的失败方面优于带置信度阈值调整的NMS。
本研究通过提出SynthAug和SNMS，分别从训练和推理两个关键环节入手，系统性地解决了农业花朵检测面临的数据稀缺和冗余预测问题。SynthAug作为一种低成本、高内存效率的数据增强技术，通过粘贴前景实例并施加随机变换，有效丰富了训练数据，提升了模型在有限数据下的泛化能力和鲁棒性。SNMS则作为一种新颖的后处理算法，通过几何分组和置信度下降机制，智能地消除了花朵簇内复杂的冗余检测，在不牺牲召回率的前提下大幅提升了精准率。两项技术均展现出良好的通用性，在多种检测器和数据集上取得了稳定的性能提升。最终的机器人实地实验强有力地证明了该联合方案能够直接转化为农业生产力的提升——更高的授粉覆盖率和更快的作业速度。这项工作不仅为农业机器人视觉系统的实际部署提供了切实可行的技术方案，其核心思想（即高效的数据合成和基于空间关系的自适应后处理）也对其他存在类似挑战的密集目标检测场景（如果实计数、病虫害监测等）具有重要的借鉴意义。未来，研究团队计划探索将SynthAug与更先进的分割模型结合以进一步提升前景素材质量，并研究SNMS中分组策略和阈值学习方法的自动化与优化，以推动其在更广泛的农业智能化应用中落地。
