基于单示例交互的用户友好型果园采收目标检测方法

《Smart Agricultural Technology》：User-Friendly Orchard Harvesting Object Detection through Easy Interaction

　　

随着农业劳动力的持续短缺和果园自动化需求的不断增长，采摘机器人需要更高效、更可靠的目标检测技术。然而，现有的果实检测方法通常针对特定数据集进行训练，类别有限，因此无法直接应用于新的果园环境或新的采摘目标。在实际部署中，通常需要额外的数据标注或模型微调，这增加了运行成本并限制了其适用性。为解决此问题，本研究提出一种面向机器人采摘的新型目标检测方法，该方法仅需一张用户指定的参考图像即可快速检测新的采摘目标。具体而言，首先采用零样本分割模型自动提取果园场景中的潜在候选区域，以减少对人工标注数据的依赖；随后构建深度孪生网络（Deep Siamese Network, DSN）学习参考目标与候选区域之间的高维特征表示；最后设计两个多层感知机（Multilayer Perceptron, MLP）输出分支，用于抑制离群候选并精炼目标定位，从而实现高效的目标检测。结果表明，在COCO数据集上预训练后，所提方法仅需用户提供的单一示例即可准确检测新的采摘目标，并在真实采摘环境中实现稳定性能。总体而言，所提方法为果园采摘目标检测提供了一种实用且易于部署的解决方案，有助于采摘机器人系统在新果园环境中的快速部署。

随着农业劳动力持续短缺和果园自动化需求上升，采摘机器人对高效可靠目标检测的需求日益迫切。现有果实检测方法通常依赖特定数据集训练，类别有限，当机器人被部署到新果园或面临新采摘目标时，往往需要额外采集数据、人工标注和模型微调，导致部署成本高、适应性差。为此，研究人员提出了一种用户友好的单示例目标检测方法，仅需用户提供一张包含目标的参考图像，即可快速检测新场景中的同类目标。

该方法在COCO数据集上预训练后，无需针对新目标类别重新训练或微调。总体框架包括信息输入、支持目标与候选生成、特征提取、离群拒绝与位置精炼四个阶段。跨果实实验和真实机器人采摘实验均验证了其有效性和实用性。

关键方法包括：基于预训练图像编码器、提示编码器和掩码解码器的支持目标生成（Support Object Generation, SOG）模块，根据用户点击提取支持目标；候选生成（Candidates Generation, CG）模块采用相同编码器和掩码解码器（不含提示编码器）生成查询候选，并按支持目标长宽比（k1=0.5、k2=2.0）筛选；基于ResNet-50的自编码器孪生网络将支持目标与候选区域编码为1024维特征；三级MLP降维后计算欧氏距离（阈值θ=0.71）判断相似度，并由MLP预测位置偏移（Δx, Δy, Δw, Δh）精炼边界框。训练采用对比损失和均方误差。数据来源包括COCO预训练集、自采金桔/苹果/簇生番茄数据集（分别采集自广西、北京）以及公开草莓数据集StrawDI_Db1（Pérez-Borrero等开发）和梨数据集（Pan和Ahamed开发）。

**COCO一次性检测：** 在COCO数据集上按60个基类训练、20个新类评估，与Halluc、SFOT、Norm-VAE、SNIDA、MPAD、MMKT等方法相比，所提方法mAP达到29.93%，AP₅₀为37.99%，AP₇₅为32.28%，均优于对比方法，验证了方法在通用一次性检测设定下的有效性。

**跨果实检测实验：** 采用金桔、苹果、草莓、梨和簇生番茄数据集，与Siamese-RPN、OS2D、MQ-Det以及全监督YOLO11n比较，所提方法mAP为57.78%，AP₅₀为79.10%，AP₇₅为48.72%，超过所有一次性/示例基线方法，并显著优于全监督YOLO11n（mAP 53.78%），表明无需目标类别标注即可跨不同果实形态迁移。

**机器人采摘性能：** 在真实金桔（UR5机械臂）和苹果（FR5机械臂）采摘场景中，识别率分别达91.53%和96.33%，证明该方法可集成至实际采摘机器人系统并支持后续抓取作业。

**挑战性条件下的鲁棒性：** 针对密集遮挡、阴影、运动模糊和小果实四类挑战场景，mAP分别为51.87%、57.46%、46.85%和38.92%。相比整体测试集（mAP 57.78%）有所下降，但模型仍能有效定位目标；其中小果实因有效视觉信息有限，性能下降最为明显。

**计算效率：** 平均每幅图像处理时间为34.42 ms（约29.06 FPS），峰值GPU内存占用0.24 GB，对新目标无需额外训练即可实现高效检测。

**消融研究：** 逐步添加自编码器模块后，mAP提升10.57个百分点；进一步加入位置精炼（Δx, Δy, Δw, Δh）后，所有指标继续提升，最终获得mAP 29.93%，说明特征重建约束与位置精炼策略相互补充。

讨论部分指出，该方法在COCO一次性检测和跨果实检测中均优于代表性一次性/示例方法，在挑战性场景下保持一定鲁棒性，但运动模糊和小目标仍是弱项。此外，方法主要面向单体果实检测，对簇生番茄只能检测单个果实，整簇识别仍有挑战。机器人集成测试表明其可快速部署至新场景。

结论部分总结：本研究提出了一种用户友好的果园采摘单示例目标检测方法，减少了对目标标注数据集的依赖，并避免了引入新目标时的重新训练。框架整合了零样本分割、深度孪生特征匹配和位置精炼，使果园工人仅需提供一个视觉示例即可指定新目标。跨果实实验证明，方法无需类别特定训练或微调即可迁移到不同外观、尺寸和空间分布的果实类别，并在多种挑战条件下保持检测能力。机器人采摘实验进一步表明，方法可集成至采摘机器人系统，在真实场景中为后续机器人操作提供目标识别。综上，该方法通过简单的目标指定和快速适应，为果园收获提供了一种用户友好且易部署的解决方案。