收获期间糖用甜菜定位与损伤检测

《Smart Agricultural Technology》：Sugar Beet Localization and Damage Detection During Harvesting

　　

摘要
人工智能领域的快速技术进步，特别是计算机视觉方面，已推动基于视觉的方法被引入，旨在改善作物生产从土地准备、种植、病害检测到收获阶段的质量。尤其在收获期间，计算机视觉方法能够实现自动化损伤检测，以支持收获机制和决策的实时调整。然而，若干挑战仍未得到探索，例如在真实世界条件下高效且可靠的损伤检测。在本工作中，研究人员提出了一种利用先进计算机视觉技术的糖用甜菜定位与损伤检测综合框架。为训练和评估该糖用甜菜框架，研究人员引入了VerBeet数据集，这是一个在收获期间于田间采集的新型数据集，包含超过5,000个标注糖用甜菜样本，涵盖模拟真实条件的三个类别。实验结果表明，所提出框架的糖用甜菜定位步骤在使用VerBeet数据集训练时获得了高性能（跨数据集mAP50为74.60%），优于使用基线数据集训练时的表现（mAP50为61.30%）。此外，在糖用甜菜损伤检测步骤中，采用基于扩散模型的增强技术和尺寸感知损失函数来处理类别不平衡及小尺寸糖用甜菜问题的消融实验显示，两者结合使用时平均F1分数提升了2.23%。与使用VerBeet和基线数据集的糖用甜菜定位和检测的集内性能比较，也验证了VerBeet数据集的真实性和挑战性。最后，所提出框架的整体端到端评估在检测多种糖用甜菜损伤类型方面展现了有前景的性能，平均F1分数达到67.09%。

**论文解读：基于计算机视觉的糖用甜菜收获期定位与损伤检测研究**

**一、研究背景与问题提出**

糖用甜菜是全球范围内，尤其在欧洲地区广泛种植的重要经济作物。根据联合国粮食及农业组织（FAO）的数据库，西欧国家，特别是法国和德国，是欧洲糖用甜菜的主要生产国。糖用甜菜的生产过程涵盖从土壤准备、播种、生长、成熟、糖分积累到收获的多个阶段，收获后的糖用甜菜会被运送至糖加工厂进行后续处理。收获是决定糖用甜菜最终品质和糖分损失的关键环节，其机械化程度在过去几十年中显著提升，其中欧洲和美洲国家在这一演变中处于领先地位。

典型的糖用甜菜收获机依次执行去缨、拔取、清理和装载等步骤。在这些机械操作中，从去缨到清理步骤均存在对收获后的糖用甜菜造成机械损伤的可能性，进而导致甜菜品质下降和糖分损失。因此，对收获的糖用甜菜进行连续监测，以实现损伤的自动检测和收获过程的实时适应性调整，具有重要意义。

在此背景下，计算机视觉技术已被用于检测多种作物在收获期间和收获后的损伤。已有研究尝试使用基于卷积神经网络（CNN）的架构来检测收获期间的糖用甜菜损伤，例如作者[17]利用两个相机在清理涡轮上方采集数据并标注损伤区域，比较了YOLOv4、R-FCN、Faster R-CNN等模型。另一项研究[25]提出了立体视觉方法以优化未收割区域的自动驾驶，但该方法侧重于防止去缨和拔取过程中的损伤，无法评估已收获甜菜的损伤。最近的工作[26]构建了Semantic Sugar Beet (SSB)数据集，利用像素级标注实现实例分割和质量估计。然而，现有研究仍存在明显的知识缺口。首先，部分方法仅限于检测单一类型的损伤，无法为收获过程的适应性控制提供足够信息。其次，在帧级别进行损伤检测可能产生误导，因为一帧图像中检测到的多处损伤可能来自同一个甜菜。最后，现有的SSB数据集虽然在收获后环境下采集并具备像素级标注，但缺乏收获过程中真实田间条件下（如遮挡、灰尘和光照变化）的糖用甜菜样本。为解决上述挑战，研究人员提出了一种结合新型数据集与先进计算机视觉方法的糖用甜菜损伤检测框架。

**二、研究目标与技术方法**

为解决现有方法在真实性和多类型损伤检测方面的不足，研究人员开展了本研究。研究的主要目标是：(1) 提出一个能够在收获期间对糖用甜菜进行实时、有效损伤检测的框架；(2) 创建一个在真实田间条件下采集并标注的新型数据集；(3) 全面评估所提出框架的性能和泛化能力。本研究论文发表在《Smart Agricultural Technology》。

为实现上述目标，研究人员采用了以下主要关键技术方法：

1. **新型数据集VerBeet的构建**：研究人员使用安装在收获机金属传送带上方的工业相机（Basler ace 2，830万像素）在五个不同收获日、多个田间实际采集了694帧非连续RGB图像。数据集中包含5,158个标注甜菜，分为未损伤（undamaged）、断裂（breakage）和磨损（abrasion）三个类别，模拟了真实收获场景。
2. **糖用甜菜定位方法**：采用了多种轻量级、最先进的目标定位模型，包括YOLOv11n、YOLOv12n、YOLO26n以及RT-DETR。这些模型被微调以在图像帧中精确框出每个糖用甜菜实例。研究同时设计了集内数据和跨数据集两种评估协议。
3. **糖用甜菜损伤检测方法**：评估了EfficientNet、DenseNet和MobileNet等CNN架构。研究探讨了两种关键技术来提升检测性能：(1) 基于扩散模型（Diffusion Model, DM）FLUX.2-4B Klein的数据增强技术，为少数类别和背景变化生成合成样本；(2) 尺寸感知加权损失（size-aware weighted loss）函数，为图像中占据面积较小的甜菜实例分配更高权重，以解决小目标检测难题。
4. **端到端（E2E）框架评估**：将最优的轻量级定位方法（YOLOv11n）和损伤检测方法（MobileNetV2-Size）组合成一个完整的处理流程，采用按田间划分（field-disjoint）的交叉验证策略，评估框架整体在实际应用场景中的性能。

**三、主要研究结果**

研究围绕糖用甜菜定位、损伤检测和端到端评估三个层面开展了综合实验。

**3.1 糖用甜菜定位**

在集内数据集评估中，所有模型（YOLOv11n, YOLOv12n, YOLO26n, RT-DETR）在SSB和VerBeet数据集上都取得了超过94%的Precision、Recall和mAP50，但SSB上的整体性能略高于VerBeet，尤其在更具挑战性的mAP50-95指标上，模型在VerBeet上的得分不超过77.70%，而SSB上最高可达95.70%，这凸显了VerBeet数据集中遮挡等真实条件的挑战性。

在跨数据集评估中（这是评估模型泛化能力的关键），使用VerBeet训练的模型在SSB上进行测试时，表现出显著优于反向训练方案的性能。例如，YOLO26n模型在VerBeet上训练并测试于SSB时，mAP50达到74.60%；而使用SSB训练并测试于VerBeet时，mAP50仅为10.10%。这表明在更真实的数据上训练可以有效提升模型的泛化能力。

**3.2 糖用甜菜损伤检测**

在二元（有损/无损）损伤检测中，实验涉及四种训练方案：Vanilla、Size（尺寸感知损失）、Vanilla+Augmentation（扩散模型增强）和Size+Augmentation。对于EfficientNetB3，Size+Augmentation方案在VerBeet数据集上获得了最佳的平均F1分数，达到71.48%，相比Vanilla基线提升了2.23%。对于MobileNetV2，Size方案在VerBeet上取得最佳平均F1分数71.08%。然而，这些技术对SSB数据集的影响较小，归因于SSB在受控环境下采集、样本清晰且类别不平衡问题较轻。在帧率（FPS）方面，MobileNetV2在VerBeet上最快（130.40 FPS），但EfficientNetB3的推理速度（112.44 FPS）仍然具有竞争力。

在多类别（未损伤、断裂、磨损）损伤检测中，所有模型均表现出类别不平衡的影响。断裂类别由于视觉特征较为明显，取得了最高的Precision、Recall和F1分数。磨损类别因样本数量稀少且与断裂损伤视觉模式相似，成为最难识别的类别，经常被误分类为断裂。EfficientNetB3-Size+Augmentation方案在此任务中取得了最佳的总体平均F1分数（59.32%），表明增强和尺寸感知损失的结合对提升少数类别的性能具有积极作用。

**3.3 端到端（E2E）框架评估**

在模拟实际部署的端到端评估中，采用YOLOv11n和MobileNetV2-Size组合，并使用按田间划分的五个数据折叠进行评估。结果显示，框架在处理完整流程时，跨折叠的平均F1分数为67.09%。该结果证明了在包含了定位和分类错误的完整流程下，框架仍然具备有效检测多种损伤类型的实际应用潜力。

**四、讨论与结论**

在讨论部分，研究人员分析了影响性能的关键因素。VerBeet数据集的真实性（包括遮挡、光照变化、灰尘等）是导致其在集内评估中性能低于SSB的主要原因，但也正是这种复杂性，促使模型学习到更具区分度的特征，从而在跨数据集评估中表现出更优异的泛化能力。针对单一类别和整体性能，尺寸感知损失和扩散模型增强技术在处理小目标及类别不平衡问题时表现出显著优势，但在样本质量高、类别平衡的受控数据集上作用有限。多类别损伤检测的难点在于易混淆的损伤类别（如磨损与断裂）和极不平衡的数据分布。

本研究也存在一些局限性。首先，VerBeet数据集仅由一种收获机型号采集，可能影响模型在其他设备上的迁移性能。其次，当前数据集仅包含两种损伤类型（断裂和磨损），未能覆盖收获过程中可能出现的其他机械损伤。此外，多类别检测的F1分数（59.32%）仍低于二元检测（71.48%），表明细粒度损伤识别在真实条件下仍具挑战性。

**研究结论**：本研究提出了一种用于收获期间糖用甜菜定位和损伤检测的综合框架，并引入了在真实田间条件下采集的VerBeet数据集。实验表明，利用VerBeet训练模型能够显著提升跨数据集泛化性能（在SSB上定位mAP50达74.60%）；结合扩散模型增强和尺寸感知损失的EfficientNetB3架构在损伤检测中取得了最佳性能（平均F1分数为71.48%，推理速度为112.44 FPS）；整个框架在端到端的按田间划分的评估中平均F1分数为67.09%，证实了其在真实收获场景中应用的潜力。未来的研究将致力于扩展VerBeet数据集以涵盖更多收获条件、作物品种，并探索更鲁棒的视觉基础模型以满足半自动收获平台的实时部署需求。