基于人工智能的地面栗子检测技术，迈向自动化采摘 方凯轩、 卢玉珍、 穆新阳

《AgriEngineering》：Artificial Intelligence-Based Detection of On-Ground Chestnuts Toward Automated Picking Kaixuan Fang, Yuzhen Lu and Xinyang Mu

　　摘要：传统的机械化栗子收割方式对于小型生产者来说成本过高，且不具备选择性，容易损坏栗子。在果园地面上准确、可靠地检测栗子对于开发低成本、基于视觉的自动化收割技术至关重要。然而，在复杂的环境中开发可靠的栗子检测系统面临着诸多挑战，这些环境包括阴影、变化的自然光照条件以及杂草、落叶、石头和其他地面杂物的干扰，这些问题至今尚未得到有效解决。本研究收集了319张果园地面上的栗子图像，其中包含6524个标注过的栗子样本。研究人员系统地评估了29种最先进的实时物体检测器，包括14种YOLO（v11–v13）系列和15种RT-DETR（v1–v4）系列模型，这些模型涵盖了不同的规模。实验结果表明，在所有评估的模型中，YOLOv12m模型在mAP@0.5指标上取得了最佳成绩，达到95.1%；而在RT-DETR系列模型中，RT-DETRv2-R101模型的mAP@0.5为91.1%，表现最为准确。在mAP@[0.5:0.95]指标上，YOLOv11x模型的准确率最高，达到80.1%。所有模型都显示出在实时栗子检测方面的巨大潜力，其中YOLO模型在检测准确性和推理能力方面均优于RT-DETR模型，更适合用于车载部署。这项工作为开发基于人工智能的、基于视觉的智能栗子收割系统奠定了基础。

1. 引言
栗子（Castanea spp.）是一种营养丰富且受欢迎的坚果作物，富含维生素和矿物质，脂肪含量低，膳食纤维含量高。其甜美的口感特别受到美国消费者的喜爱。根据2022年美国农业部农业普查数据[1]，美国共有2845名种植者管理着总计10,049英亩的结果实和未结果实的栗子果园，平均每家农场面积为3.5英亩。Kang和Guyer[2]将面积不超过2公顷（4.94英亩）且拥有少于600棵栗子树的农场定义为小型农场。目前，美国农业部将年总收入低于35万美元的农场定义为小型农场（https://www.ers.usda.gov/topics/farm-economy/farm-structure-and-organization，访问日期为2026年3月15日）。一项关于密歇根州栗子生产成本的最新研究表明，平均每英亩农场收入为12,500美元[3]。鉴于其较小的种植面积和收入水平，根据美国农业部的定义，美国的栗子生产属于小型农业范畴。密歇根州在美国栗子生产中占据主导地位，约占全国种植面积的13%。然而，其中约35%的面积是未结果实的栗子果园，这表明现有土地资源尚未得到充分利用，表明该行业仍有很大的增长和发展潜力。
栗子是一种高度季节性的水果，只能在相对较短的时间内保持其最佳的商业品质、大小和健康状态[4]。栗子生产面临的主要挑战之一是容易受到害虫损害和品质下降的影响，这通常会导致收获后的重大损失。在收获期间，栗子会自然从保护性的壳（称为苞果）中掉落至果园地面。一旦接触地面，栗子就会暴露在不利的环境条件下，如土壤、落叶、表面微生物群落、降水、温度和湿度的变化等。真菌被认为是导致收获后栗子腐烂的主要原因[5]。真菌感染通常发生在栗子落地并与土壤、植物残渣和/或脏水接触之后[6]。此外，掉落的栗子还经常受到振动或摩擦的影响，可能导致壳或果皮出现微裂纹或磨损。这些微小伤口成为真菌孢子、菌丝或小昆虫的入侵点。野生动物觅食造成的损害进一步加剧了产量和品质的损失。因此，必须及时收获栗子[7]，以减少地面暴露和栗子变质的风险，确保最佳的产品质量。
尽管存在这些风险，地面栗子的收割仍然主要依赖人工采摘，这种方法劳动强度高、耗时且随着果园面积的扩大变得越来越不可持续。随着栗子产业的持续发展，尤其是小型和家庭经营的农场，生产者经常面临超出有限劳动力所能处理的收获量。为了减少劳动力需求，已经引入了多种机械收割系统；然而，这些解决方案仅部分解决了效率、劳动依赖性和栗子品质保护的问题。目前可用的机械收割设备主要包括真空收割机和机械清扫机，根据果园条件和操作要求，这些设备可以是拖曳式、安装式或自推进式的[8]。真空收割机通常用于不平坦或倾斜的地形，通过吸管从果园地面收集栗子并将其放入收集袋中，效率可达约900公斤/小时。机械清扫机利用旋转刷子和传送带收集掉落的栗子，效率可达1500公斤/小时。但如果使用自推进式机器，通常适用于中大型农场，通常需要大约15-20公顷的收获面积。如果使用拖曳式或安装式机器，仍需要人工操作。
尽管这些机器可以减少一些人工劳动，但它们仍然需要持续的人工参与来驾驶、监控和收获后的处理，而且其高昂的购置成本（例如每台50,000-100,000美元）限制了小型生产者的采用。此外，与人工采摘相比，机械收割会增加栗子受到物理损伤的风险，包括碰伤、磨损、果仁变暗和异味产生[9,10]。例如，在基于真空的系统中，由于吸力造成的果仁内部损伤可能在收获时不可见，往往在储存过程中才会显现，从而导致更多的收获后损失和额外的处理需求[11]。虽然这类系统常被称为“自动化”的，但它们并没有消除分离、质量检查和重新处理等劳动密集型步骤，也没有显著降低总体劳动力成本。这些限制凸显了不仅需要改进机械化，还需要一种真正自主的、低成本的收割解决方案，以最小化劳动力投入同时保持栗子品质。
近年来，多项研究探索了适用于小型到中型规模、成本效益高的栗子生产辅助系统。Kang和Guyer（2008）[2]开发并评估了三种栗子收割机原型，并提出了一种基于文丘里的分离装置来区分栗子和空壳。其中，气锁刀片系统成功收集了所有散落的物料，物料收集速率约为56公斤/小时。然而，收割性能不稳定，且系统相对笨重且能耗较高。De Kleine和Guyer（2013）[12]引入了一种可调节气流的收割系统，能够从果园杂物中收集和分离栗子，从而提高了小型果园的运营效率。测试显示，最高的栗子收割效率可达88.44%。值得注意的是，收割系统的性能受到栗子与杂物比例和物料进料速率的显著影响。最近，康奈尔农业科技的Greg Peck及其同事展示了Silverfox收割机，该收割机每小时可收集多达800磅的栗子，成本低于4000美元，为小型生产者提供了经济实惠的选择[13]。然而，该系统仍然依赖人工操作，不支持自主收割。总体而言，现有的小型机械收割系统仍受劳动依赖性、自动化程度不足、性能可靠性以及需要额外分离和处理步骤的制约。
为了解决这些挑战，迫切需要开发一种低成本、高精度的自主栗子收割系统，该系统应具备视觉能力，能够在不损坏栗子的情况下识别地面上的栗子并准确收集。这样的系统将减少下游的分离过程，显著降低劳动力需求，并实现适合小型栗子生产者的高效、高质量收割。
作为智能收割平台的核心组成部分，可靠的机器视觉对于准确的感知、决策和机器人操作至关重要。机器学习（ML）和基于人工智能（AI）的视觉技术的进步显著加速了农业自动化的进程。早期应用主要集中在作物监测和产量预测[14]，随后扩展到了各种任务。基于AI的视觉系统大大提高了害虫和疾病识别、作物健康监测以及表型分析的效率，使得无需人工干预即可快速做出数据驱动的管理决策[15]。例如，在收割自动化方面，Alaaudeen等人（2024）[16]将计算机视觉与机器人收割结合，实现了苹果的自主采摘，识别成功率超过95%，重试率（抓取失败后的重试次数）低于12%。最近的研究还证明了深度学习在栗子相关视觉任务中的有效性。Ad?o等人（2019）[17]使用卷积神经网络（CNN）成功分类和分割了栗子，分类准确率达到91%。Sun等人（2023）[18]将语义分割应用于航空图像以检测栗子树覆盖情况，平均F1分数为86.13%。然而，传统的ML和早期的深度学习方法在面对真实栗子果园环境中的复杂视觉条件时，通常表现出有限的泛化能力。诸如光照变化、遮挡、果园地面杂物和动态环境条件等挑战经常降低检测准确性和实时性能，限制了它们在自主收割系统中的实际应用。
迈向自动化栗子收割的第一步是开发一个能够可靠识别地面栗子的强大检测系统。这样的系统必须有效应对遮挡[19]、光照变化[20]以及视觉复杂背景等挑战，在这些环境中，树叶、石头和土壤等物体与栗子具有相似的颜色和纹理特征，可能导致误判或漏检。近年来，YOLO（You Only Look Once）和RT-DETR（Real-Time Detection Transformer）模型在农业目标检测任务中表现出色。Mamdouh和Khattab（2021）[21]使用改进的YOLOv4算法检测橄榄果蝇，精度达到0.84，召回率为0.97，平均精度（mAP）为96.68%。Liao等人（2025）[22]提出了基于YOLOv11的YOLO-MECD模型，精度达到84.4%，mAP为81.6%。Allmendinger等人（2025）[23]将RT-DETR-l模型应用于杂草检测，平均精度为82.44%，平均召回率为66.02%。Mu等人（2025）[24]使用精心策划的灌木冠层数据集对YOLO（v8–v12）和RT-DETR（v1–v2）模型进行了蓝莓检测的比较基准测试，RT-DETRv2-X模型的最大mAP@50达到93.6%。尽管取得了这些进展，但在真实果园条件下对最先进的实时检测模型进行系统和比较评估的工作仍尚未开展。
因此，本研究的总体目标是系统地评估最先进的实时物体检测模型在果园环境中识别地面栗子的适用性。具体目标包括：（1）构建一个反映真实果园条件的标注栗子检测数据集；（2）对代表性的实时物体检测模型（包括YOLOv11、YOLOv12、YOLOv13以及RT-DETRv1、RT-DETRv2、RT-DETRv3和RT-DETRv4）进行全面的定量比较，评估其在复杂田间条件下的检测准确性、鲁棒性和实时推理性能；（3）分析比较结果对基于视觉的实时自动化栗子收割系统设计和部署的影响。本研究开发的数据集和软件程序已公开发布在https://github.com/AgFood-Sensing-and-Intelligence-Lab/ChestnutDetection（访问日期为2026年3月15日）。

2. 材料与方法
2.1. 栗子数据集
本研究使用的栗子图像数据集是在2024年收获季节（10月5日）于美国密歇根州Owosso的一个商业果园中收集的。图像采集时间是在晴朗天气条件下，从上午9:50到晚上11:20进行的。通过手持智能手机（iPhone 12，苹果公司，加利福尼亚州库比蒂诺）在果园中行走并记录地面场景来获取图像。虽然整体天气状况晴朗，但由于栗子树的树冠阴影，自然光照存在变化。数据收集过程还包括了多种地面条件，包括不同的草覆盖和土壤背景。这些光照和地面外观的变化提供了一个多样且具有代表性的数据集，有利于进行稳健的建模。
获取的图像使用VGG Image Annotator（VIA）（Dutta和Zisserman，2019）[25]手动标注，为每张图像中的可见栗子绘制边界框。所有图像都经过仔细标注，以捕捉单个栗子，包括部分可见和被遮挡的栗子。这种细致的注释对于确保模型在遮挡、阴影和非均匀背景等具有挑战性的条件下的鲁棒性至关重要。图1展示了原始图像及其带有边界框注释的对应图像的代表性示例。最终的注释被保存为JavaScript对象表示法（JSON）文件格式，并通过多轮审查来验证注释的一致性和准确性，以确保其质量。所得到的数据集包含319张高分辨率（4032 × 3024像素）的彩色图像，总共有6524个边界框注释。图2显示了每张图像中栗子实例数量的分布情况。每张图像中的栗子数量从2到155不等，平均为23个；特别是，大约76%的数据集中栗子实例不超过30个。该栗子数据集已公开发布[26]。图1. 原始图像和带有栗子注释的图像示例。绿色边界框表示标记的栗子。图2. 每张图像中栗子实例的直方图。

2.2. 栗子检测模型
2.2.1. 实时对象检测器
基于深度学习的对象检测器通常分为两类：两阶段检测器和一阶段检测器[27]。一阶段检测器通过省略两阶段检测器中的区域提议步骤，并在单一统一过程中执行检测，从而提供更快和实时的检测能力。对于自动化栗子采摘来说，快速可靠的实时检测对于实现高效采摘操作至关重要，因此一阶段检测器更为实用。最广泛使用的实时对象检测框架包括YOLO和RT-DETR模型系列，下面将简要介绍。

YOLO系列
YOLO是一个实时对象检测框架，设计用于在神经网络的一次前向传递中执行检测。该框架将图像划分为网格，并为每个网格单元预测边界框和类别概率。第一个版本YOLOv1[28]的概念是将输入图像划分为网格，每个网格单元负责检测对象的中心是否落在网格单元内。然而，由于网格划分较粗以及与基于区域的方法相比定位精度相对较低，早期版本在检测小对象时存在困难。在过去三年中，YOLO在架构和方法上进行了重大改进，以解决这些限制。
YOLOv11由Ultralytics在2024年推出[29]，是对经典主干-颈部-头部范式的全面更新。引入的跨阶段局部自注意力（C2PSA）模块使模型能够更有效地捕捉多层之间的上下文信息，从而提高了对象检测的准确性，尤其是对于小对象。YOLOv12[30]引入了区域注意力（A2）模块，在大幅降低计算复杂性的同时保持了较大的感受野，使模型能够在不牺牲准确性的情况下提高速度。YOLOv13[31]通过提出基于超图的自适应相关性增强（HyperACE）机制来解决上述问题。这种方法通过超图计算自适应地利用潜在的高阶相关性，克服了成对相关性的限制，实现了高效的全局跨位置和跨尺度特征融合与增强。

RT-DETR系列
DETR（Detection Transformer）通过引入Transformer架构来模拟图像中的全局空间关系，代表了对象检测的一个范式转变。与传统的检测器不同，DETR消除了对锚框和非最大值抑制的需求，简化了检测流程。DETR捕捉长距离依赖性的能力使其在检测具有挑战性的环境中的对象时特别有效。最近的进展提高了其在小对象检测任务上的收敛速度和性能[32]，进一步扩展了其在实际任务中的应用范围。
RT-DETRv1[33]是第一个专门为克服原始架构的高计算成本和低推理速度而设计的实时变体。它通过用高效的混合编码器替换原始的Transformer编码器，实现了端到端的实时对象检测。RT-DETR引入了基于注意力的同尺度特征交互（AIFI），专注于在同一尺度内细化特征，并引入了基于CNN的跨尺度特征融合，以整合多尺度信息。
RT-DETRv2[34]通过在可变形注意力模块中引入尺度自适应采样，增强了RT-DETR的灵活性和实用性优化，使得不同尺度的特征能够更有效地被提取。该模型还引入了掩码生成器，通过在自注意力步骤中应用扰动掩码来增强查询多样性。这减少了冗余并提高了查询与真实值的匹配度。在优化方面，RT-DETRv2结合了L1损失、广义IoU（GIoU）损失和变量焦点损失（VFL），以平衡回归和分类任务。这些策略共同提高了检测准确性和计算效率。
RT-DETRv3[35]通过引入基于CNN的一对多标签分配辅助头，与主检测分支共同优化，进一步提高了检测性能，以加强编码器的表示能力。为有效解决对象检测中稀疏监督的问题，RT-DETRv3提出了一种带有自注意力扰动的学习策略，通过多样化多个查询组的标签分配来增强解码器的监督。这些方法显著提高了模型性能并加速了收敛速度，而不会增加推理延迟。
最近，RT-DETRv4[36]被提出，旨在通过解决轻量级架构的表示瓶颈来推进实时检测，同时完全保持推理效率。它引入了一个训练时语义蒸馏框架，利用高级视觉基础模型（VFMs）的表示能力，而不修改推理时架构。为了实现稳定且与任务对齐的语义迁移，将来自VFMs的高级语义表示集成到检测器的深层中，丰富了编码器特征。此外，还设计了一种基于梯度的自适应调制（GAM）策略，根据梯度范数比率动态调节语义注入的强度，使语义蒸馏与检测优化协调一致。这些创新使RT-DETRv4在不增加额外推理延迟或部署成本的情况下实现了显著的性能提升，提供了准确性和速度之间的新最佳平衡。

2.2.2. 模型选择和配置
本研究选择了YOLOv11、YOLOv12和YOLOv13，以及RT-DETRv1、RT-DETRv2、RT-DETRv3和RT-DETRv4，基于它们在不同实时视觉任务中的表现[21,24,37]，使用构建的果园数据集开发栗子检测模型。所有检测器都是使用其各自开发者提供的开源软件包实现的，如表1所总结的，并针对本研究中的栗子检测任务进行了调整和重新训练。为了全面评估模型在不同容量水平下的性能，并提供在不同车载计算资源限制下的部署灵活性，考虑了多种架构变体。具体来说，测试了五种YOLOv11和YOLOv12的变体（纳米级、小型、中型、大型和特大型）以及四种YOLOv13的变体（纳米级、小型、大型和特大型），总共评估了14种YOLO模型变体。同样，对于RT-DETRv1、RT-DETRv2和RT-DETRv4，评估了四种主干变体（R18、R34、R50和R101），以及RT-DETRv3的三种主干变体（R18、R34和R50），总共评估了15种RT-DETR模型变体。表1. 带有开源软件包的YOLO变体和RT-DETR变体总结。

2.2.3. 实验
图2展示了栗子检测的整个建模过程。首先将VIA工具提供的原始图像注释数据（JSON格式）转换为YOLO格式标签，用于训练YOLOv11、YOLOv12和YOLOv13。然后将YOLO格式的注释转换为相应的COCO数据格式，以确保与RT-DETR模型的兼容性。格式转换后，数据集被随机划分为三个子集：训练集、验证集和测试集，分割比例为70%、10%和20%，分别对应223张、31张和65张图像。
模型训练使用GitHub上发布的官方实现进行，使用Python 3.11在配备八个NVIDIA RTX 4090 GPU（每个24 GB）和32核CPU Intel Xeon Platinum 8481C处理器的工作站上进行。YOLOv11使用v8.3.235版本，YOLOv12使用v1.0版本，所有其他模型都使用各自仓库主分支的最新版本。对于基于YOLO的实验，训练了五种YOLOv11和YOLOv12的变体（纳米级、小型、中型、大型和特大型），以及四种YOLOv13的变体（纳米级、小型、大型和特大型），共200个周期，使用随机梯度下降（SGD）优化器。初始学习率设置为0.01，并通过余弦学习率调度动态调整，权重衰减值为0.0005。训练包括一个持续3.0个周期的预热阶段，边界框预测的交并比（IoU）阈值设置为0.7。批量大小设置为8，使用12个数据加载工作线程，并采用自动混合精度（AMP）训练来提高计算效率并减少GPU内存消耗。
由于原始数据集图像的分辨率为4032 × 3024像素，输入大小的选择需要平衡检测准确性和计算效率。较大的输入大小可以保留更多图像细节，从而在小对象检测中表现更好；然而，它也会显著增加计算量，减慢训练和推理速度，并消耗更多GPU内存。考虑到准确性和可用硬件资源的要求，所有图像都被经验性地调整为1024 × 1024像素。数据增强遵循模型的默认自动增强策略，如随机翻转和缩放。模型输出包括置信度和边界框，以JSON格式存储，以便后续评估。使用标准指标（如检测准确性、模型复杂性和推理时间（第2.3节）来评估模型性能，这与对象检测研究中的常见评估实践一致[37,38]。
对于基于RT-DETR的实验，评估了四种主干变体（R18、R34、R50和R101）用于RT-DETRv1、RT-DETRv2和RT-DETRv4，以及三种主干变体（R18、R34和R50）用于RT-DETRv3。所有模型都从官方预训练权重开始微调，并使用SGD优化器训练了200个周期。图像大小和工作线程数量与YOLO实验保持一致。批量大小设置为4，初始学习率设置为0.0005，权重衰减设置为0.0001，最大梯度裁剪范数设置为0.5，其他设置均遵循默认配置。使用第2.3节中描述的相同评估指标进行性能比较。
由于数据集划分的随机性和数据集中的样本数量较少，在特定数据集分区上训练检测模型可能会对单个数据集分区敏感，可能导致模型性能偏差；如果某个分区恰好有利，结果可能会过于乐观。为了提高模型性能评估的可信度，本研究采用了蒙特卡洛交叉验证（CV）（也称为重复保留CV），进行了五次复制[38]。具体来说，数据集使用不同的随机种子随机分为三个子集五次，并在每次复制中对测试数据评估模型性能。最终性能指标是所有五次复制的平均值（图3）。与传统的K折交叉验证不同，这种蒙特卡洛方法通过考虑不同数据分割引入的变异性，提供了更可靠的性能估计，增强了模型性能评估的可信度。

2.3. 性能评估指标
YOLO和RT-DETR对象检测器在栗子检测中的性能根据检测准确性、模型复杂性和推理时间[37]进行评估，具体如下所述。
2.3.1. 检测准确性
使用标准对象检测指标（包括精确度、召回率、mAP@0.5和mAP@[0.5:0.95]）在测试数据上评估了训练模型的检测准确性。在这些指标中，mAP@0.5通常用作对象检测性能的主要指标，而mAP@[0.5:0.95]提供了更全面的评估，涵盖了不同的定位严格性。IoU量化了预测边界框与相应真实框之间的重叠程度，定义为它们交集面积与并集面积的比率。在这项研究中，精确度和召回率是使用0.7的IoU阈值计算的，以反映更严格的定位要求，而mAP@0.5和mAP@[0.5:0.95]则是按照标准的COCO协议计算的，其IoU阈值分别为0.5和0.5:0.05:0.95。对于给定的对象类别，检测结果定义如下：

真正例（TP）：预测的边界框正确匹配了同一类别的真实对象，并且IoU大于或等于0.7。
假正例（FP）：预测的边界框要么不对应任何真实对象，要么被分配到了错误的类别，或者其与匹配的真实对象的IoU低于阈值。
假负例（FN）：真实对象未被模型检测到。
真负例（TN）：背景区域被正确识别为非对象区域（通常不用于对象检测指标的计算）。

基于这些定义，精确度（P）和召回率（R）的计算公式如下：
$$ P = \frac{TP}{TP + FP} $$ （1）
$$ R = \frac{TP}{TP + FN} $$ （2）

给定类别的平均精确度（AP）定义为精确度-召回率（P-R）曲线下的面积：
$$ A_P = \int_{0}^{1} P(R) dR $$ （3）

然后，平均平均精确度（mAP）是所有对象类别的AP值的平均值：
$$ mAP = \frac{1}{N} \sum_{i=1}^{N} A_P(i) $$ （4）

2.3.2. 模型参数数量
模型参数的数量与模型复杂性直接相关，这是实际应用中的一个关键因素，尤其是在资源受限的环境中。具有更多参数的较大模型通常需要更多的内存和更高的计算能力来进行推理，从而导致处理时间增加。虽然这些模型可能提供更高的准确性，但代价往往是更大的资源消耗，从而导致推理时间变慢。这可能会显著影响它们在实时应用和嵌入式设备中的适用性，因为在这些应用中快速决策至关重要。因此，对于资源有限的嵌入式系统来说，平衡准确性和计算效率非常重要。

2.3.3. 计算成本和推理时间
浮点运算（FLOPs）通常用于衡量模型的计算复杂性，表示处理单个输入所需的算术运算次数。在这项研究中，计算复杂性以GFLOPs（GigaFLOPs）为单位进行报告，这是大规模深度学习模型的标准单位。此外，推理时间定义为训练模型生成输入图像预测所需的时间，这是实时检测应用中的一个关键指标。每个YOLO和RT-DETR检测器的推理时间是使用上述相同硬件对测试集中的所有图像进行平均预测时间计算得出的。

3. 结果
3.1. YOLO结果
图4展示了所有评估模型变体的mAP@0.5和mAP@[0.5:0.95]的训练曲线。所有架构在早期训练阶段都表现出快速的特征学习能力。具体来说，在前100个周期内，YOLOv11的mAP@0.5超过了90%，而YOLOv12和YOLOv13分别达到了大约75%和65%。在相同的训练窗口内，所有三个模型系列的mAP@[0.5:0.95]都超过了65%。大约经过150个训练周期后，所有变体的检测准确性趋于稳定，表明采用的200周期训练计划足以实现稳定的收敛。这种快速收敛表明这些模型能够有效地适应涉及阴影、遮挡和背景杂乱的栗子检测数据集。图4显示了所有评估的YOLO模型在栗子检测中的mAP@0.5和mAP@[0.5:0.95]的训练曲线。为了进一步检查训练动态和潜在的过拟合情况，图5展示了YOLO模型的训练框损失和验证框损失的训练曲线。如图所示，所有模型的损失函数在最初的20个周期内急剧下降，表明模型能够快速学习到代表性特征。之后，损失值逐渐下降并稳定下来，表明模型在训练过程中逐渐收敛。重要的是，验证集损失和训练损失显示出相似的趋势，没有显著偏差，表明在训练后期没有发生过拟合。我们持续使用验证损失和mAP指标监控模型的验证性能。损失曲线的稳定与mAP性能的提高是一致的，证实了模型保持了良好的泛化能力。尽管损失曲线在100-150个周期左右开始稳定，但我们继续训练了200个周期，以确保所有模型完全收敛并达到稳定的性能。

表2总结了所有YOLO模型在测试数据集上的检测性能。总体而言，所有三个YOLO家族都取得了有竞争力的性能，随着模型规模的增加，准确性通常也在提高。所有变体的mAP@0.5范围从89.8%（YOLOv13-n）到95.1%（YOLOv12-m），而mAP@[0.5:0.95]范围从60.5%（YOLOv13-n）到80.1%（YOLOv11-x）。

表2. 所有YOLOv11、v12和v13变体的比较性能总结。GFLOPs表示千兆浮点运算次数。尽管表2中的结果显示YOLOv11、YOLOv12和YOLOv13之间存在性能差异，但某些指标的标准差有所重叠。为了确定这些差异是否具有统计学意义而不是随机波动的结果，进行了单因素方差分析（ANOVA），随后在α = 0.05的显著性水平下进行了Fisher的最小显著差异（LSD）多重比较测试。ANOVA结果显示，三个模型系列在两个评估指标上存在显著差异，包括mAP@0.5（F = 7.59, p = 0.008）和mAP@[0.5:0.95]（F = 21.79, p < 0.001）。随后的多重比较分析进一步表明，YOLOv11、YOLOv12和YOLOv13之间的所有成对比较都显示出统计学上的显著差异（p < 0.05）。这些结果表明，三个模型家族之间观察到的性能差异具有统计学意义，不太可能是由随机变化引起的。

表3基于单因素ANOVA和LSD测试展示了YOLOv11、YOLOv12和YOLOv13的mAP性能的多重比较结果。模型用不同的字母（a、b、c）标记。这些字母表示成对比较的统计显著性：相同字母的模型之间没有显著差异，而不同字母的模型之间存在显著差异。

表3. 基于单因素ANOVA和最小显著差异（LSD）测试的YOLOv11、YOLOv12和YOLOv13之间的mAP性能的多重比较结果，显著性水平为5%。YOLOv12-m模型获得了最高的mAP@0.5值95.1%和最高的召回率89.3%，同时保持了92.9%的高精确度。这些结果表明YOLOv12-m具有很强的检测准确性，并在精确度和召回率之间取得了良好的平衡。图6进一步展示了YOLOv12-m在复杂光照和严重遮挡条件下的检测结果示例图像。在这个测试中，模型正确检测到了49个栗子中的47个，只有一个假正例，精确度（P）为97.9%，召回率（R）为95.9%。相比之下，YOLOv11-x获得了最高的mAP@[0.5:0.95]（80.1%）和95.3%的高精确度，召回率为88.9%，表明其在不同的IoU阈值下具有更好的边界框定位准确性和鲁棒性，这对于减少实际应用中的假正例非常重要。在三个模型家族中，YOLOv11模型在精确度和召回率方面表现一致，所有变体的精确度都超过了94%，平均精确度为95.3%。与YOLOv11相比，YOLOv12的平均精确度略有下降，但其召回率保持相似（87.6%）。值得注意的是，YOLOv12在中型、大型和超大型变体中显示出显著的召回率提升，表明其基于注意力的架构改进——如高效的注意力和改进的特征聚合——有助于在具有挑战性的视觉条件下恢复更多的真实正例。YOLOv12中的这些架构改进旨在在不牺牲实时性能的情况下更好地捕捉显著特征。

图6. 在复杂光照和严重遮挡条件下YOLOv12-m的测试图像。为了展示YOLOv11-x和YOLOv12-m之间的性能差异，我们在不同的IoU阈值下进行了基于混淆矩阵的分析。如表4所示，当IoU = 0.50时，两个模型的真正例率都很高。YOLOv11-x的真正例率为0.85，假正例率为0.05，假负例率为0.10；而YOLOv12-m的真正例率为0.84，假正例率为0.06，假负例率为0.10。这些结果表明，当IoU阈值放宽时，两个模型的检测能力相当。然而，当IoU阈值增加到0.75时，差异变得更加显著。YOLOv11-x保持了相对较高的真正例率（TP）（0.73），而其假正例率（FP）（0.08）和假负例率（FN）（0.19）处于中等水平。相比之下，YOLOv12-m的真正例率（TP）显著下降（0.65），假正例率（FP）（0.14）和假负例率（FN）（0.21）显著增加。这表明在更严格的IoU标准下，YOLOv12-m更容易出现定位相关错误和背景引起的误检测，特别是在杂乱的场景中或当栗子部分被遮挡时。

表4. 在不同IoU阈值下YOLOv11-x和YOLOv12-m的标准化混淆矩阵分析。IoU、TP、FP和FN分别表示交集与并集的比率、真正例、假正例和假负例。尽管YOLOv12在mAP@0.5方面的表现略优于YOLOv11，但其mAP@[0.5:0.95]指标（71.5%）显著低于YOLOv11的（78.4%），表明在更严格的定位标准下性能较弱。相比之下，YOLOv13在所有尺度上的表现都较差，特别是在mAP@[0.5:0.95]尺度上，其平均得分仅为64.86%。即使在其表现最好的变体（YOLOv13-s：精确度=92.1%，召回率=84.0%，mAP@0.5=92.3%，mAP@[0.5:0.95]=66.4%）也落后于YOLOv11和YOLOv12。从架构角度来看，这种差异可能与YOLOv13对全局特征相关机制的重视有关，例如基于超图的自适应相关增强和全流水线特征分布，这些机制旨在捕捉整个图像空间中的高阶关系。虽然这些机制在某些基准测试中显示出优势，但在复杂光照和严重遮挡下，对于密集排列的单类目标检测可能效果不佳，因为在这些情况下，保持局部细粒度空间细节对于严格的边界框定位至关重要。

图7显示了不同YOLO模型变体在数据集上的精确度-召回率（PR）曲线。总体而言，YOLOv11系列的PR曲线始终位于图形的右上角附近。YOLOv11即使在较低的召回率水平下也保持高精确度，导致曲线在初期下降较为平缓。随着召回率的进一步增加，精确度开始更快地下降，导致曲线后期的斜率更加陡峭。相比之下，YOLOv12系列表现出不同的趋势。其PR曲线在较低的召回率水平下显示出更明显的精确度下降，表明随着置信度阈值的放宽，精确度下降得更早。然而，在较高的召回率水平下，精确度的下降速度变慢，表明在检测更多目标时精确度稳定性更好。YOLOv13模型的表现相对较弱，因为其PR曲线通常位于YOLOv11和YOLOv12曲线的中间。这表明，在相似的召回率下，YOLOv13的精确度较低，导致其PR曲线下的面积较小。这些曲线的趋势与表2中的数据一致。

图8展示了模型复杂性和计算性能之间的关系，显示了GLOPs和推理时间与模型参数数量的趋势。随着模型规模的增加，推理时间和GFLOPs都呈现上升趋势。在相应的尺度上，三个YOLO家族表现出相当的计算复杂性，YOLOv11-x、YOLOv12-x和YOLOv13-x都接近200 GFLOPs。尽管这些较大模型的计算成本较高，但它们的推理时间仍低于50毫秒，对应的帧率超过了20 FPS（每秒帧数）。这种性能仍然满足基于地面的栗子收获系统的基本实时检测要求。

图8. 所有YOLOv11–YOLOv13变体的参数数量与（a）GFLOPs和（b）推理时间之间的关系。GFLOPs表示千兆浮点运算次数。YOLOv11模型似乎在准确性和计算效率之间展现了最理想的平衡。YOLOv11-n实现了最快的推理时间，为5.6毫秒，其次是YOLOv11-s，为8.3毫秒。结合其95.5%的精确度和93.45%的mAP@0.5值，使其特别适合嵌入式和基于边缘设备的应用。YOLOv12-m的推理时间为11.7毫秒，同时提供了最高的mAP@0.5值，为95.1%，支持其实时部署的可行性。相比之下，YOLOv13-x表现出最高的计算负载（198.7 GFLOPs）和最长的推理时间（47.8毫秒），使其不太适合实时部署。

3.2. RT-DETR结果
图9展示了所有RT-DETR（v1–v4）模型的mAP@0.5和mAP@[0.5:0.95]训练曲线。所有模型变体在前60个训练周期内都实现了超过80%的mAP@0.5值和超过65%的mAP@[0.5:0.95]值，随后在大约100个周期后性能趋于稳定。这些趋势表明所有模型都有效学习并收敛，证实了本研究中采用的200周期训练计划足以实现稳定收敛。图9显示了用于栗子检测的RT-DERTv1、v2、v3、v4模型的mAP@0.5和mAP@[0.5:0.95]训练曲线。为了进一步分析训练动态并评估潜在的过拟合情况，图10展示了RT-DETRv1、RT-DETRv2、RT-DETRv3和RT-DETRv4模型的训练框损失和验证框损失曲线。如图所示，训练损失和验证损失在最初的10个周期内迅速下降，表明模型能够快速学习到代表性特征。之后，下降速度放缓，并最终随着训练的进行而稳定。验证损失的趋势与训练损失相似，没有显著偏差，表明模型有效避免了过拟合。

表5总结了评估的RT-DETR变体的检测性能。与YOLO结果类似，检测精度通常随着模型规模的增加而提高。RT-DETRv2在所有评估指标上显著优于RT-DETRv1，证明了其架构改进的有效性。相比之下，尽管mAP略有提高，但RT-DETRv3的精确度和召回率略低于RT-DETRv1。

表5. RT-DERTv1、v2、v3和v4变体的性能比较总结。GFLOPs表示十亿次浮点运算。在相同的训练条件和数据集下，RT-DETRv4的表现不如之前的变体。RT-DETRv4旨在利用基于VFM的语义蒸馏框架，在训练过程中将高级语义从大型预训练模型注入检测器中，以丰富特征表示。虽然这种策略已被证明可以在COCO等大型、多样化的基准数据集上提高整体性能，但现有研究表明，仅靠语义知识往往不足以实现最佳的定位性能。特别是Zheng等人（2022年）[39]指出，强调全局语义对齐的方法可能无法完全捕捉到准确边界框回归所需的细粒度空间线索。在COCO等基准数据集上进行密集对象检测时，定位知识蒸馏通常比语义特征模仿带来更显著的改进。在栗子数据集上的实验中，RT-DETRv4的语义蒸馏设计优先考虑全局语义对齐，而忽略了与定位相关的特征。栗子数据集主要由小、密集且部分遮挡的目标组成，训练样本的多样性有限。对于mAP@[0.5:0.95]等严格的定位指标而言，与定位相关的特征至关重要，在此实验中，RT-DETRv4的mAP@[0.5:0.95]指标明显低于其他模型。因此，额外的语义监督导致学习重点偏离了小对象检测所需的精确定位特征，从而导致性能低于早期的RT-DETR变体。

在所有模型中，RT-DETRv2-R101取得了最佳的整体性能（精确度=95.1%，召回率=86.3%，mAP@0.5=91.1%，mAP@[0.5:0.95]=71.9%）。其精确度和召回率与表现最好的YOLOv11系列模型相当，突显了其强大的检测能力。图11展示了所有评估的RT-DETR模型的模型大小（参数数量）、计算复杂性（GFLOPS）和推理时间之间的关系。与YOLO实验中观察到的趋势一致，推理时间和计算成本通常随着模型规模的增加而增加。与RT-DETRv1、v2和v3相比，RT-DETRv4架构在所有主干网络规模上显著减少了参数数量。具体来说，RT-DETRv4-R18仅包含1000万个参数，相对于v1–v3的R18变体使用的2000万个参数减少了50%。在更大的规模上，RT-DETRv4-R34和RT-DETRv4-R50的参数数量分别从3100万个和4200万个减少到1900万个和3100万个。即使在最大规模下，RT-DETRv4-R101也仅使用6200万个参数，比v1至v3版本所需的7600万个参数少约18%。这些模型规模的减少直接转化为推理效率的提高。图11显示了所有RT-DETRv1–RT-DETRv4变体的参数数量与（a）GFLOPs和（b）推理时间之间的关系。GFLOPs表示十亿次浮点运算。在所有RT-DETR变体中，RT-DETRv4-R18实现了最快的推理时间（23.7毫秒），显著优于使用相同主干网络的其他模型，包括RT-DETRv1-R18（72.1毫秒）、RT-DETRv2-R18（47.4毫秒）和RT-DETRv3-R18（52.7毫秒）。相比之下，实现最高mAP@0.5的RT-DETRv2-R101的推理时间为66.3毫秒。尽管所有RT-DETR模型都满足了基本的实时要求，但它们的整体推理速度仍慢于本研究中评估的基于YOLO的检测器。

3.3. YOLO与RT-DETR
图12展示了评估的YOLO和RT-DETR模型在检测精度（mAP@0.5和mAP@[0.5:0.95]）与推理时间之间的权衡。如上所述，RT-DETR模型，尤其是v1–v3，的推理速度明显慢于基于YOLO的检测器。尽管RT-DETR变体的mAP@0.5值超过了85%，但它们在两个mAP指标上的整体性能仍低于表现最好的YOLO模型。当同时考虑推理时间和精确度时，YOLOv11系列在实时栗子检测中展示了最理想的平衡，提供了持续的高精度和显著较低的延迟，因此是收获系统中最实用的选择。图13展示了应用于图6中相同测试图像的最强RT-DETR变体RT-DETRv2-R101的代表性检测结果。在这种情况下，RT-DETRv2-R101检测到了49个栗子中的44个，精确度为95.1%，低于YOLOv12m在相同条件下的97.9%。

图13. 在复杂光照和严重遮挡条件下RT-DETRv2-R101的测试图像。红色框表示检测到了一个栗子。在多个评估指标上，RT-DETR和YOLOv11/YOLOv12之间的性能差距表明了两种框架之间的架构差异。RT-DETR模型旨在捕获全局上下文信息和长距离空间依赖性，这对于复杂场景的理解是有利的。然而，这种设计可能限制了它们保持小而密集分布且部分遮挡的栗子精确定位所需的细粒度空间特征的能力。相比之下，YOLO架构强调层次化局部特征提取和多尺度特征融合，使得在复杂的果园环境中表现更加稳健。总体而言，这些结果表明，虽然RT-DETR可能在某些复杂任务中具有优势，但YOLO模型更适合需要高精度和实时处理能力的栗子检测应用。

3.4. 动态视频流检测结果
图14展示了YOLOv12-m在视频流上的检测结果，显示了从视频片段中提取的两帧。该视频是在密歇根州Owosso的一个商业果园进行栗子图像收集时拍摄的，使用的是同一款手持智能手机（iPhone 12，苹果公司，加州库比蒂诺）。这两帧展示了在动态条件下的检测性能（包括相机抖动和变化的光照）。图14显示了YOLOv12-m在视频帧上的检测结果：左帧显示了在最佳光照条件下的检测，而右帧展示了在具有挑战性的光照条件下的检测。在左图中，光照条件稳定时，模型正确检测到了场景中的所有10个栗子，精确度和召回率均为1.0。这表明在稳定且无干扰的光照条件下检测精度非常高。在右图中，光照条件复杂时，模型正确检测到了8个栗子，漏检了1个（假阴性），误检了4个（假阳性）。因此，精确度为0.67，召回率为0.89。尽管有视频抖动和光照条件的变化，模型仍然检测到了大多数栗子，但假阳性和假阴性突显了动态光照条件带来的挑战。检测过程包括每帧平均4.2毫秒的预处理时间、10.7毫秒的推理时间和1.1毫秒的后处理时间。这些时间加在一起构成了每帧的总处理时间，反映了模型在实时视频流检测中的计算效率。这些结果表明光照条件显著影响视频流检测性能。在光照条件波动的情况下，由于假阳性，精确度显著下降，而召回率相对较高。检测精度对光照变化更为敏感，尤其是在相机抖动等干扰因素的影响下，表明未来的模型改进应侧重于提高鲁棒性，以应对此类环境变化，从而确保在实际应用中的高检测性能。

4. 讨论
由于果园地面环境的复杂性，关于商业果园条件下地面栗子检测的研究仍然有限。本研究的结果表明，新兴的YOLO和RT-DETR模型都能在真实的果园环境中有效识别栗子。在YOLO系列中，YOLOv11始终实现了最佳的整体检测性能，优于YOLOv12和YOLOv13。这些发现与Sapkota等人（2024年）[40]的报告一致，他们评估了多种YOLO变体（v8–v12）在果园内对绿色苹果的预稀疏检测，发现YOLOv11表现出出色的精确度，而YOLOv12-1实现了最高的召回率。这些结果共同强化了YOLO模型在栗子检测中的鲁棒性和适用性。YOLOv11的架构保留了精细的空间细节，实现了紧密的边界框定位，其相对较小的模型规模也支持快速的推理速度，使其适用于收获设备上的嵌入式部署。相比之下，RT-DETR模型的推理时间明显长于YOLO系列模型。这一观察结果与Salt?k等人（2024年）[41]的发现一致，他们报告称RT-DETRv1可以在较大的图像尺寸上实现有竞争力的mAP，但代价是增加了推理时间。这些特性表明RT-DETR可能更适合离线或批量处理场景，在这些场景中全局上下文建模是有益的，实时约束要求不那么严格。

本研究的几个局限性需要进一步研究。首先，栗子数据集相对较小，这可能限制了研究结果对不同品种、土壤类型、地面地形或收获条件的泛化能力。在未来的工作中，我们计划通过收集来自多个果园、品种和季节条件的图像来扩展数据集。这将允许进行跨果园和跨季节的验证实验，从而更严格地评估所提出模型在多样化真实农业环境下的鲁棒性和泛化能力。其次，尽管评估了基于CNN的YOLO模型和基于Transformer的RT-DETR模型，但整体训练配置（包括数据增强策略和超参数设置）主要是基于YOLO系列开发的。YOLO检测器非常适合激进的几何和光度数据增强，而RT-DETR模型由于其基于查询的Transformer架构，通常对增强强度、查询配置和训练计划更为敏感。虽然RT-DETR也通过调整关键超参数（如学习率和训练计划）进行了优化，但可能仍需要进一步细化增强流程和其他特定于模型的训练策略，以充分发挥其潜在性能。建模实验使用的是静态图像；实际部署将需要在连续视频流、全天变化的照明以及收获设备的机械振动下进行验证。运动模糊已被证明会降低图像信息采集的质量，并对精准农业场景中的对象检测任务产生负面影响[42]，这表明需要针对运动进行鲁棒性改进，以确保可靠的现场性能。此外，未来的工作将侧重于扩大数据集的规模和多样性，进一步优化RT-DETR特定的训练配置，并验证在动态条件下部署在收获平台上的模型性能。本研究专注于栗子的检测，并未探讨后续任务，如视觉机制的整合、基于视觉的栗子采摘以及收割平台的运动，而这些任务对于开发自主栗子收割系统是必要的。观察到的YOLO变体之间的性能差异与其在复杂背景下保留和利用高分辨率特征来表示小物体的能力密切相关。地面的栗子通常体积较小、分布密集，并且经常被草、叶子或土壤遮挡，因此保留浅层空间细节和局部结构特征尤为重要。在更深的网络层中进行过度空间下采样可能会抑制弱目标信号，导致检测遗漏或定位不准确。因此，那些更有效地利用多尺度特征融合的模型往往能够实现更高的召回率和更好的定位一致性，尤其是在需要精确边界回归的严格IoU阈值下。这一观察结果表明，细粒度的空间信息在区分栗子和视觉上相似的背景元素中起着主导作用。这些发现进一步表明，未来的改进应集中在特定的架构修改上，以增强对小目标的感知能力。一个有前景的方向是将注意力机制（如通道空间注意力模块CBAM）集成到主干网络或颈部网络中，以突出信息丰富的空间区域并抑制背景干扰。先前的研究表明，注意力机制可以通过重新分配特征权重和增强弱目标信号来显著提高检测器定位小目标的能力。另一种潜在策略是优化特征金字塔结构。例如，传统的PAN（金字塔注意力网络）或FPN（特征金字塔网络）结构可以被改进的多尺度融合机制所取代，包括改进的特征金字塔网络、双向特征金字塔网络或基于注意力的金字塔结构。这些方法加强了浅层高分辨率特征与深层语义特征之间的交互。这种多尺度融合策略被广泛用于减轻由于深度下采样造成的空间信息损失，并提高小目标的检测性能。此外，引入一个专门为小目标设计的、基于更高分辨率特征图的额外检测头可以进一步提高密集分布的栗子的检测性能。通过在较早的特征层添加一个预测头（对应于更高分辨率的特征图），检测器可以更好地捕捉通常在深层丢失的微妙空间线索和物体边界。这种架构改进可以提高在复杂果园环境中目标的召回率和定位一致性，特别是当目标体积小、部分被遮挡且与背景元素视觉上相似时。目前正在进行的研究旨在通过将检测模型与机器人操作和收割机制相结合来开发基于视觉的栗子收割系统。在这样的系统中，准确的栗子定位需要结合2D检测和深度或立体信息以实现可靠的3D定位。先前的研究已经证明了这种方法在农业机器人技术中用于特种作物的可行性。例如，Zhou等人（2024年）[43]用轻量级的2D检测和立体视觉组合替换了复杂的3D CNN架构，用于油茶果实的定位，而Ge等人（2023年）[44]表明，基于边界框的深度估计比全3D聚类方法更快、更准确。这些方法为地面栗子的定位提供了有用的参考。从系统的角度来看，有效的部署需要关键组件之间的协调，包括视觉模块、机器人操作器和收割末端执行器，正如Chen等人[45]所强调的。考虑到美国栗子生产主要以小规模果园为主，未来的收割解决方案必须在检测性能和系统成本及操作简便性之间取得平衡。

结论
地面栗子的检测对于实现基于视觉的自动化栗子采摘至关重要。在这项研究中，创建了一个新的数据集，包含在商业果园环境中获取的319张地面图像，共计6524个标注的栗子。系统评估了最先进的实时目标检测器，包括YOLO（v11–v13）和RT-DETR（v1–v4）系列，用于地面栗子的检测。跨多个模型规模的实验表明，YOLOv11在更严格的IoU阈值下始终实现了更高的定位精度，最大mAP@[0.5:0.95]达到了80.1%。在所有评估的模型中，YOLOv11在检测精度和推理速度之间提供了最理想的平衡，非常适合实时嵌入式部署。YOLOv12m实现了最高的mAP@0.5（95.1%）和89.3%的召回率，显示了其有效性，而YOLOv13在这个数据集上没有明显的性能优势。尽管RT-DETR模型表现出了竞争力，但它们在检测精度和效率方面总体上不如YOLO检测器。未来的工作将集中在将高性能检测模型集成到完全自动化的栗子采摘系统中，并在更多样化的果园条件下验证其性能。本研究中的数据集和模型都是公开可用的，以支持栗子检测领域AI模型的进一步创新。本研究的方法和见解广泛适用于其他小目标作物的检测任务，并推动了基于视觉的智能农业自动化的进步。