适用于多变环境中的土豆检测稳健方法

《Computers and Electronics in Agriculture》：Robust Approach to Potato Detection in Variable Environments

　　•将误检问题视为收获图像中的特征空间分离问题来处理。•紧凑性损失用于聚类马铃薯的特征；描述性损失则用于区分非目标对象。•CBAM提升了模型的选择性和对损失变化的敏感度；结合使用后，mAP值从89.3%提升至93.6%。•这些辅助损失对五种YOLO版本及六种非YOLO检测器均有提升效果。•该技术在不同年份、地区、相机以及实际多尘的收获环境中的稳定性均得到了验证。

引言
马铃薯在全球农业中起着至关重要的作用，大约在150个国家中有种植，为粮食安全做出了重要贡献。全球每年马铃薯产量达3.76亿吨，位居世界第四大农作物，仅次于水稻、小麦和玉米，在种植面积方面则位列第八（FAO，2025年）。全球超过10亿人以马铃薯为主食，随着人口增长，马铃薯在保障粮食安全方面的作用愈发重要。产量图是精准农业中的关键技术，通过GPS和各种传感器收集作物产量和含水量等数据（Taseer & Han，2024年）。通过创建基于数据的产量图，农民可以更高效地管理资源，降低成本、增加利润，并推动可持续农业的发展（Birrell等人，1996年）。目前有多种方法可用于制作产量图，其中最常用的是利用卫星图像或无人机拍摄的归一化差异植被指数（NDVI）（Moriondo等人，2007年；Du和Noguchi，2017年），以及利用收割机上的称重传感器来测定作物重量（Godwin等人，1999年；Ehlert，2000年）。最近有研究探索使用安装在拖拉机或收割机上的RGB摄像头来监测从地面转移到收割机上的作物，如洋葱和马铃薯（Boatswain Jacques等人，2021年；Jang等人，2023年）。然而，这类实验的准确率仍然较低，且仅在实验室环境中进行过测试，尚未在真实的收获环境中得到验证。若能开发出一种能够在不同环境下可靠、自动地监测马铃薯的技术，将极大推动精准农业的发展。

基于计算机视觉的目标检测为在收获过程中自动监测马铃薯提供了实用手段。目标检测是计算机视觉中的基本任务，用于在图像中定位和分类感兴趣的对象（Felzenszwalb等人，2009年）。深度学习的快速发展使得该技术被广泛应用于劳动密集型的农业领域，包括利用农业监控摄像头进行作物监测（Khan & Al Suwaidan，2022年）、牲畜监测（Yang等人，2023年；Yoo等人，2025年），以及农业机器人执行的任务（Rapado-Rincon等人，2024年）。不过，要实现可靠的马铃薯检测仍面临挑战。马铃薯的大小和形状存在差异，加之马铃薯与土壤块、收割机部件（如螺栓和螺母）等非目标物体在视觉上十分相似，这些都可能影响模型对目标与非目标特征的分离能力，从而导致误检，如图1所示。雾、雨和灰尘等天气因素造成的视觉质量下降会进一步降低收获过程中的检测精度。因此，仅在有限条件下降练的模型可能在面对未知的收获环境时表现不佳。所以，需要一种能够在多种收获条件下保持稳定性能的强大马铃薯检测模型。

在目标检测领域，You Only Look Once（YOLO）是一种著名的框架，它具备多种视觉感知功能，包括有效的目标分类和检测能力（Redmon等人，2016年）。尤其是YOLOv11（Jocher & Qiu，2024年），由于其基于卷积神经网络（CNN）的C3k2核心结构表现出色，该结构是对Cross Stage Partial（CSP）设计的改进（Wang等人，2020年），因而具有很强的目标检测能力。不过，CNN往往主要关注局部信息，可能难以有效区分那些在纹理和颜色特征上相似的马铃薯与其他物体（Ren等人，2025年）。在环境多变的情况下，这种局限性更为明显，因为CNN可能会过度依赖训练过程中观察到的马铃薯的具体形状和大小，从而导致泛化能力下降，对土壤块或收割机部件等视觉上相似的物体出现误检。为了解决CNN的缺陷，人们提出了注意力机制作为新的解决方案。卷积块注意力模块（CBAM）是一种轻量级但高效的注意力模块，可无缝集成到CNN架构中（Woo等人，2018年）。CBAM通过依次应用通道注意力和空间注意力来优化特征图，使模型能够聚焦于最具信息量的“什么”和“哪里”的特征。通过强调重要的通道和空间区域，同时抑制不太相关的部分，CBAM提升了CNN的表征能力。这种双重注意力结构使模型能够有效捕捉通道级和空间级的依赖关系，从而形成更具鲁棒性的模型，能够更好地适应新环境和变化。

要开发出适用于实际应用的模型，就必须考虑各种不同的环境条件。例如，在晴朗天气下训练的模型，在降雨、雾天和多尘等收获环境中的检测性能可能会下降。然而，要收集足够的数据来涵盖所有这些情况在实际操作中相当困难。近年来，有一些图像修复研究致力于解决户外和遥感图像中的雾气和雾霾问题（Wen等人，2025b年；Wen等人，2026b年），还有研究针对雨痕、雨滴以及混合天气条件下的图像退化问题（Wen等人，2025a年；Wen等人，2026a年）。尽管这些研究为了解决天气导致的图像退化问题提供了重要见解，但基于修复的方法通常需要额外的预处理步骤。因此，提升检测模型本身的鲁棒性或许是一种更实用的解决方案。单类分类（OCC）为此提供了一种可行的框架。OCC旨在学习目标类别的特征分布，从而识别出偏离该分布的样本（Liznerski等人，2020年）。例如，Perera和Patel（2019年）采用了紧凑性损失和描述性损失，以在保留具有区分能力的特征信息的同时，形成更为紧凑的目标表示。这些目标可以被用作目标检测的辅助正则化手段，通过增强目标与非目标特征之间的区分度，减少在之前未见过的情况下的误检。因此，将受OCC启发的辅助损失纳入目标检测器中，可在训练数据集无法全面覆盖所有潜在收获环境时提升模型的鲁棒性。

本研究的目标是开发一种基于YOLO的强大方法，用于在多变收获环境中检测马铃薯。为此，我们从两个相关层面考虑鲁棒性：一是对视觉上类似的非马铃薯物体（如土壤块和收割机部件）的特征级鲁棒性，二是针对雾、雨和灰尘等天气因素造成的图像质量下降的图像级鲁棒性。在模型层面，我们将CBAM集成到YOLO的核心结构中，通过通道注意力和空间注意力来优化特征表示；同时，还将受OCC启发的紧凑性损失和描述性损失作为辅助训练目标加入原有的检测损失中，以此促使形成更为紧凑的马铃薯特征表示，并更清晰地将其与非目标特征区分开来。提升特征级的分离能力有助于在图像级退化情况下减少误检，因为在那种情况下，马铃薯与背景物体之间的视觉差异可能会变得不那么明显。这两个组成部分分别从不同方面解决了这一特征分离问题：CBAM决定了哪些特征需要被重点关注，而辅助损失则规范了这些特征在所学特征空间中的分布方式。我们使用在不同时间和地区收集的数据集、模拟的天气相关图像损坏情况，以及在使用不同收割机安装的相机在多尘环境下获取的外部田间数据集，对所提出的模型进行了评估。此外，我们还研究了受OCC启发的辅助损失在多种YOLO版本及几种非YOLO检测器架构中的适用性。在本文中，CBAM与辅助损失的组合被称为所提出的方法，而集成该方法的YOLOv11n则被称为所提出的模型。本研究的主要贡献如下：
•我们针对单类马铃薯检测，采用了受OCC启发的损失函数，并利用特定领域的负样本进行描述性学习，以识别常见的收获相关误检模式。
•我们通过使用在不同年份、地区和相机系统下收集的收割机拍摄图像来评估模型的泛化能力，这些图像包括负样本，以及一个在多尘环境下获取的独立外部田间数据集，该数据集仅用于评估，无需重新训练。
•我们在YOLOv11n上证明了CBAM和受OCC启发的损失函数分别提升了检测的选择性和灵敏度，同时通过将该组合方法应用于五种YOLO版本，以及单独将辅助损失应用于六种非YOLO架构，来评估其迁移能力。
•我们通过五级模拟损坏测试、t-SNE和Grad-CAM分析以及边缘设备基准测试，评估了该模型的鲁棒性、可解释性和部署可行性，结果表明，在入门级边缘设备（NVIDIA Jetson Orin Nano）上，该方法仅会增加极小的推理开销。

本文的其余结构如下：第2节介绍所提出的方法，第3节阐述实验设置。第4节展示并分析实验结果，包括鲁棒性、可解释性、边缘设备性能以及外部田间测试的结果，第5节对整个研究进行总结。

方法概述
图2展示了所提出的马铃薯检测方法的整体流程。数据采集使用了两种不同的收割机安装的相机系统。主要数据集是用智能手机相机拍摄的，随后被划分为训练集、验证集和测试集，这些数据集中还包含了用于表示视觉上类似的非目标物体的独立负样本集。另一个外部田间数据集则是在多尘的收获环境下用网络摄像头拍摄的，仅用于评估。

数据集
如图10(a)所示，马铃薯图像是在收获过程中使用安装在带云台的马铃薯收割机上的智能手机相机（LG电子V50，韩国）拍摄的，该相机为DJI品牌的Osmo Mobile 4。这款智能手机能够以30帧/秒的速度录制1080p视频，为了减少连续图像之间的时间冗余，图像是以1秒间隔抽取1帧的。用于训练和验证的含马铃薯的图像是2020年11月在韩国庆尚北道高灵市拍摄的。

方法性能分析
表3显示，CBAM和受OCC启发的辅助损失对检测器的影响各不相同。CBAM有助于提升检测的选择性，这体现在精度的提高以及召回率的轻微下降上；而辅助损失则侧重于提升检测的灵敏度，以提高召回率，但会牺牲一定的精度。两者结合使用可以在保持召回率提升的同时弥补精度损失，从而使平均mAP@50值达到最高水平（93.6%，而基线方法的这一数值为89.3%）。所提出的模型实现了……

局限性
本研究存在一些局限性。首先，尽管数据集是在不同年份、地区和相机系统下收集的，但其覆盖的位置、马铃薯品种、土壤类型以及收割设备种类仍然有限，而且并未系统地研究相机放置位置和严重土壤遮挡带来的影响。其次，对雾和雨的抵抗能力是通过模拟的图像损坏情况来评估的，这可能无法完全再现实际的恶劣天气状况。尽管如此，外部田间……

结论
在这项研究中，我们通过将CBAM与受OCC启发的辅助损失相结合，开发出了一种在多变收获环境中用于马铃薯检测的强大YOLO基础方法。CBAM用于优化通道级和空间级的特征强调方式，而紧凑性损失和描述性损失则有助于形成更为紧凑的马铃薯特征表示，并使其与非目标特征更清晰地分开。消融实验和特征分析表明，这些组件从不同方面促进了检测性能的提升。

作者贡献说明
Jung-sang Yoo：概念设计、方法论构建、初稿撰写。Joong Yong Rhee：概念设计、审稿与编辑工作。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
本研究得到了韩国首尔国立大学BK21 FOURH全球智能农场教育研究中心的支持。

Jung-sang Yoo | Joong Yong Rhee