强化学习引导的主动作物定位技术，结合CNN检测器和交互式决策控制面板，应用于精准农业

《Information Processing in Agriculture》：Reinforcement learning guided active crop localization with CNN detectors and an interactive decision dashboard for precision agriculture

　　艾哈迈德·M·S·凯尔（Ahmed M.S. Kheir）、维诺特库马尔·科卢鲁（Vinothkumar Kolluru）、杰拉尔德·阿德里（Gerald Adli）、马尔瓦·G·M·阿里（Marwa G.M. Ali）、哲丽·丁（Zheli Ding）、阿尼斯·库巴（Anis Koubaa）、蒂尔·费克（Til Feike）

朱利乌斯·库恩研究所（Julius Kühn Institute, JKI）——德国克莱因马赫诺（Kleinmachnow）的联邦栽培植物研究中心及战略与技术评估研究所

**摘要**

在精准农业中，精确的作物定位是实现自动化田间监测的基础要求。然而，在光照变化、遮挡、复杂的冠层结构和异质植物形态下，传统的单次卷积神经网络（CNN）检测器经常会产生错位或不完整的边界框。为了克服这些限制，我们提出了一种基于强化学习（RL）的主动作物定位框架，该框架将作物定位问题重新定义为顺序决策问题，通过学习的几何变换来优化初始检测器的预测结果。该框架整合了三个CNN主干网络YOLOv12、VGG16和ConvNeXt-V2，以及三种深度RL代理（DQN、PPO和SAC）。代理的状态结合了视觉嵌入、标准化的边界框坐标和检测器置信度，优化过程由连续的ΔIoU奖励函数驱动。在九种主干网络与代理组合上的广泛实验表明，基于RL的优化方法一致性地优于静态检测器。YOLOv12 + DQN配置实现了最高的定位精度，平均IoU为0.969 ± 0.071，定位成功率为100%（IoU ≥ 0.5），且通常在一个优化步骤内即可收敛。相比之下，基于VGG16和ConvNeXt-V2的配置平均IoU值在0.60到0.75之间，但计算成本显著更高。重要的是，YOLOv12 + DQN模型保持了高运行效率，每个样本的推理时间约为0.09秒，适用于实时农业应用。除了算法性能外，我们还将提出的模型部署在一个交互式决策支持面板中，该面板可视化了边界框优化轨迹、Grad-CAM注意力动态和类别级别的定位统计信息，便于农业从业者理解和实际应用。总体而言，这种基于RL的主动定位框架显著提高了定位精度，降低了延迟，并确保了操作可解释性，为下一代精准农业系统提供了可扩展和可行的解决方案。

**1. 引言**

精确的作物检测和定位是许多精准农业工作流程的基础，包括产量估算[27]、疾病监测[15][4]、机器人收割[18]和自主田间侦察。尽管深度学习[16][17]取得了快速进展，但大多数操作系统 masih 依赖于静态的一次性CNN检测器，这些检测器仅通过单次前向传播就直接生成边界框[26][14]。虽然像YOLO（You Only Look Once）变体[23]、VGG衍生检测器[6]和现代ConvNeXt架构这样的模型具有令人印象深刻的速度，但它们本质上缺乏人类感知所具有的迭代视觉推理和自适应空间细化能力。因此，在存在遮挡、异质冠层结构、变化光照和复杂植物几何形状的情况下，它们的边界框经常会发生错位，最终限制了实际农业环境中下游决策的可靠性。这个持续存在的错位问题是实现既准确又可靠的自动化的重大瓶颈。

近期文献试图通过更深的CNN架构[1][19]、多尺度特征金字塔[25][32]和基于注意力的机制[5]来改进对象定位；然而，这些改进仍然基于一次性推理范式，并未明确将定位问题建模为顺序优化问题。农业领域之外的一小部分研究探索了强化学习（RL）[30]用于主动对象定位，结果表明RL代理可以通过多步骤与图像交互来细化边界框。然而，这些方法很少被应用于农业图像，因为农业图像具有高类间相似性、不规则对象形状和大量环境噪声等独特挑战。此外，没有现有的农业研究系统地比较不同的RL算法或将它们与现代高容量检测器集成，以全面评估它们在鲁棒性和逐步定位方面的潜力。

最近的研究在应用深度学习技术进行作物检测和分析[7][22]方面取得了显著进展，而其他工作则探索了在复杂农业环境中使用轻量级CNN架构进行作物识别[12]。尽管有这些进步，大多数现有方法仍然依赖于单次推理模型，其中定位是在单次前向传播中完成的，不涉及迭代细化[37][20]。虽然这些方法提供了计算效率，但它们无法适应由遮挡、光照变化和复杂植物结构引起的边界框错位。因此，即使在性能优秀的基于CNN的系统中，定位错误仍然存在。相比之下，本研究将作物定位问题重新定义为顺序决策问题，强化学习使得边界框的迭代细化超越了静态检测框架的限制。这种差异突显了需要新一代作物检测系统的必要性，这种系统结合了强大的视觉表示和闭环空间推理。为了解决这一缺陷，我们将作物定位问题形式化为一个顺序决策过程，并引入了一个基于强化学习的主动定位框架，能够通过迭代几何变换来细化初始边界框提案。我们的方法整合了三个代表性的主干检测器YOLOv12[8]、VGG16[11]和ConvNeXt-V2[28]，以及三种不同的RL代理（即DQN、PPO和SAC），从而揭示了检测器能力和RL学习策略如何共同影响优化质量。通过设计一个由视觉特征、边界框坐标和检测器置信度组成的RL状态空间，并优化一个连续的ΔIoU奖励信号，代理学会逐步将边界框向真实目标移动。

因此，本研究的目标有四个：（Ⅰ）将作物定位问题表述为RL驱动的顺序决策问题，而不是静态回归任务；（Ⅱ）开发和实现一个统一的主动定位框架，该框架整合了现代CNN主干网络和多种RL代理；（Ⅲ）定量评估和对比九种主干网络-代理组合，以揭示它们的优势、局限性和相互作用效果；（Ⅳ）通过开发一个交互式决策支持面板来展示该系统的实际价值，使农业从业者和政策制定者能够可视化RL优化行为、检查分类结果，并将模型洞察融入实际操作工作流程。这些贡献共同为精准农业建立了一个现代化且可操作的范式，在这个范式中，自适应的RL驱动的定位解锁了新的精度、可解释性和决策效率水平。

**2. 材料与方法**

**2.1. 提出的框架概述**

本研究使用了一个公开可用的多类别农业图像数据集，其中包含在不同环境和成像条件下拍摄的标记图像，代表了多种作物类型。该数据集广泛用于基准测试农业计算机视觉模型，可通过以下链接访问：https://kaggle.com/datasets/mdwaquarazam/agricultural-crops-image-classification。它在作物生长阶段、背景复杂性、光照和相机视角等方面提供了丰富的类内多样性，非常适合评估鲁棒的作物定位框架。所提出的基于强化学习的主动作物定位框架被设计为一个模块化的两阶段系统，结合了高容量CNN检测器和通过深度RL进行顺序决策。该框架由两个主要部分组成：

1. 基于CNN的检测器，处理输入的农业图像并生成初始边界框提案以及目标作物的高级视觉特征表示和置信度分数。
2. 强化学习代理，将检测器的输出视为初始状态，并通过一系列学习到的几何变换（包括平移和缩放操作）来逐步细化边界框。

在第一阶段，CNN检测器使用标记的农业图像进行全监督训练，以确保可靠的特征提取和基线定位性能。一旦检测器训练完成，其参数将被冻结并在RL阶段重新使用。这种设计选择明确地将检测与细化分离，确保RL代理学习到真正的定位改进策略，而不是补偿检测器重新训练或特征漂移。

在第二阶段，RL代理在受控的 episodic 环境中进行训练，每个阶段都以检测器生成的边界框作为初始状态开始。在每个时间步骤中，代理观察一个状态表示，该表示结合了（i）从当前边界框区域提取的视觉特征，（ii）边界框的标准化空间坐标，以及（iii）检测器的置信度分数。基于此状态，代理选择一个离散的几何动作来修改边界框。然后环境通过计算与真实值的交并比（ΔIoU）的变化来评估更新的定位结果，这作为指导策略优化的主奖励信号。

图1展示了完整流程的高分辨率示意图，说明了从原始农业图像到最终细化作物定位的整个过程。流程从输入图像和CNN主干检测器（YOLOv12、VGG16或ConvNeXt-V2）生成的初始边界框预测开始。提取的视觉特征（可选地添加了额外的嵌入）与空间和置信度信息连接起来，以初始化RL环境，并在适用的情况下启动重放缓冲区。然后，一个深度RL代理（DQN、PPO或SAC）依次应用几何细化动作，每个步骤都通过ΔIoU奖励进行评估。最终细化的边界框及其细化轨迹在一个交互式决策支持面板中可视化，支持实时检查、模型比较和操作推理。总体而言，该框架将作物定位问题形式化为一个闭环的顺序优化过程，而不是一次性回归任务。通过结合强大的基于CNN的感知能力、自适应的RL驱动的空间推理和可解释的可视化层，所提出的系统为精准农业应用提供了一个强大、可扩展且可部署的解决方案。

**2.2. 数据集描述和探索性分析**

本研究中使用的农业图像数据集包含了在各种现实世界栽培和成像条件下拍摄的多种作物图像。为了直观地了解数据集的视觉多样性，图2展示了六个选定作物类别的代表性图像样本，包括樱桃、咖啡植物、黄瓜、狐坚果（Makhana）、柠檬和橄榄树。这些示例展示了明显的类内多样性，涵盖了从早期营养发育到成熟和可收获作物的不同生长阶段。图像来自不同的环境，如室内盆栽、温室行、露天种植园以及专门用于狐坚果生产的水生栽培系统。背景复杂性、光照条件、相机视角和场景组成也存在显著差异，包括水果的特写宏观图像和更广阔的景观视角。在某些情况下，可以看到收获过程中的人类互动，进一步反映了数据集的真实性。这些特征共同表明，数据集涵盖了广泛的农业场景，这对实现鲁棒和通用的作物定位提出了非平凡的挑战。为了确保可靠的训练和无偏评估，数据集被划分为训练集（70%）、验证集（15%）和测试集（15%）。由于30个作物类别之间存在类别不平衡，在分割过程中采用了分层采样，以保持每个子集中各类别的比例代表。这种策略有助于防止模型学习偏差，并确保性能指标反映数据集的真实类别分布。

图2展示了六个代表性作物类别（樱桃、咖啡植物、黄瓜、狐坚果（Makhana）、柠檬和橄榄树）的五个随机选择的样本图像。这些样本展示了作物外观的显著类内多样性，涵盖了不同的生长阶段（幼苗期、营养期、开花期、结果期和可收获期）、植物结构和物候条件。图像是在不同的栽培环境中拍摄的，包括室内盆栽植物、温室系统、露天种植园和专门用于狐坚果生产的水生生态系统。数据集还在光照条件、背景复杂性、相机视角和场景组成方面表现出显著差异，包括水果的特写宏观图像和广阔的景观视角。在某些情况下，还可以看到收获过程中的人类互动，进一步反映了数据集的真实性。这些例子共同突显了数据集的真实性和多样性，强调了在无约束的农业环境中进行稳健的作物检测和定位所面临的挑战。为了进一步描述数据集的空间特性，图3展示了对图像尺寸和宽高比的探索性分析。图像宽度和高度的分布呈现出右偏态模式，大多数图像的尺寸都低于1000像素，而高分辨率图像的数量较少，最大可达到约5000像素。平均而言，数据集存在明显的横向导向偏倚，平均图像宽度为563像素，超过了平均高度418像素。宽高比分析进一步证实了这一趋势，显示出一个多模态分布，平均值为1.386，中位数为1.413。在常见的照片格式中出现了明显的峰值，包括方形图像（1:1）、标准4:3（约1.33）和宽屏16:9（约1.77），表明数据集主要由常规照片或屏幕截图组成，而不是统一调整大小的作物图像。这些空间分辨率和宽高比的变化强调了需要关注尺度和几何特性的定位方法。

下载：下载高分辨率图像（172KB）
下载：下载全尺寸图像

图3. 训练数据集中图像尺寸和宽高比的分布。
(a)面板显示了训练样本中图像宽度（以像素计）和高度的频率分布。分布呈右偏态，大多数图像的尺寸低于1000像素，而高分辨率图像的数量较少，最大可达到约5000像素。虚线垂直线表示平均图像宽度（563像素）和平均图像高度（418像素），显示出明显的横向导向趋势。
(b)面板展示了图像宽高比（宽度/高度）的分布，其特点是多模态分布，平均值为1.386，中位数为1.413。显著的峰值对应于常见的照片格式，包括方形图像（1:1）、标准4:3（约1.33）和宽屏16:9（约1.77）。这些分布共同突显了图像几何形状的显著变异性，强调了需要关注尺度和几何特性的作物定位方法。

图4通过多种互补的可视化手段检查了数据集内的类别平衡，它们共同展示了不同作物类别的图像数量分布。径向条形图、基于梯度的圆形条形图、平滑密度表示和带有注释的分类组合一致地揭示了明显的类别不平衡现象，其中珍珠粟（Bajra）和玉米等作物在数据集中占主导地位，而其他一些类别则相对较少。通过使用不同的径向可视化策略，图4不仅突出了主导类别和稀有类别，还提供了对数据集组成的细致视图。这种不平衡对于评估模型鲁棒性尤为重要，因为它影响学习动态、分类信心和下游定位性能。

下载：下载高分辨率图像（564KB）
下载：下载全尺寸图像

图4. 使用互补的径向表示法可视化的类别图像数量分布。该图展示了四种径向可视化策略，用于检查数据集中不同作物类别的图像数量分布。左上角面板显示了一个传统的径向条形图，其中条形长度直接代表每个类别的图像数量，突出了珍珠粟（Bajra）和玉米等主导作物。右上角面板采用了基于梯度的圆形条形图，其中颜色强度映射到图像数量，同时展示了数量和相对频率。左下角面板展示了一个带有平滑分布的圆形密度图，提供了类别频率的连续视图，并视觉上强化了高代表性类别的主导地位。右下角面板展示了一个带有注释的径向图，将类别分为主导、稀有和中间组，带有明确的标签以强调类别不平衡。这些互补的可视化方法共同提供了对数据集组成的全面评估，揭示了对于解释分类信心、定位性能和后续分析中的强化学习行为至关重要的显著类别不平衡。

2.2.1. 弱监督边界框生成
原始的农业作物图像分类数据集提供了图像级别的类别标签，但不包含定位任务所需的边界框注释。为了实现作物定位训练，我们使用基于梯度加权的类别激活映射（Grad-CAM）的弱监督定位方法生成了边界框。首先，使用可用的图像级别作物标签在数据集上训练了一个CNN分类器。训练完成后，为每张图像计算Grad-CAM热图，以识别与预测作物类别最相关的区域。然后将得到的激活图进行阈值处理，并通过提取最大的连通激活区域转换为边界框。这些边界框近似于每张图像中作物对象的空间位置。生成的边界框被归一化到图像坐标系中，并用作训练CNN检测器的伪真实注释，以及通过交并比（IoU）指标计算强化学习奖励。这种弱监督注释方法实现了定位学习，同时避免了完全手动标记边界框的需要。

为了评估基于CAM的弱监督注释的空间可靠性，我们进行了定量验证实验，使用了手动标注的边界框。选择了一个约占数据集10%的分层子集（79张图像），以确保多种作物类别的代表性。对于这些图像，使用LabelImg注释工具手动标注了真实对象边界框。注释以YOLO格式输出，并随后转换为标准边界框坐标表示形式进行定量评估。接下来，通过基于阈值的分割从每个热图中提取主导激活区域，将训练有素的分类器生成的Grad-CAM热图转换为定位边界框。这些基于CAM的边界框代表了训练流程中使用的自动生成的定位标签。为了评估它们的空间一致性，使用交并比（IoU）指标将基于CAM的边界框与手动标注的边界框进行了比较。IoU量化了两个边界框之间的空间重叠程度，被广泛用作对象检测任务中定位准确性的标准度量。比较是在同时具有手动注释和基于CAM的边界框的图像上进行的。结果显示的IoU统计量提供了关于基于CAM的解释图与作物对象真实空间范围的接近程度的定量估计，从而允许我们评估弱监督注释过程可能引入的空间偏差。这项验证实验的详细定量结果报告在补充表1中，补充材料中还提供了比较基于CAM的区域和手动注释的代表性视觉示例。在结果部分（第3.4节）中进一步定量验证了基于CAM的注释的空间一致性，其中严格评估了它们与手动标注的真实边界框的一致性。

2.3. 检测器组件（CNN骨干模型）
为了建立一个稳健且具有代表性的初始作物定位基线，我们采用了三种CNN检测器架构，这些架构涵盖了经典、现代和实时设计范式。这一精心选择使得能够系统地评估骨干容量、架构复杂性和计算效率如何影响基于强化学习的农业图像中边界框细化的效果。在这项研究中，我们使用了Ultralytics PyTorch框架（Ultralytics YOLO仓库）实现的YOLOv12检测器。该实现遵循了最近YOLO变体中引入的架构设计原则，包括多尺度特征聚合、无锚点边界框回归和解耦的检测头。由于其检测准确性和推理速度之间的良好平衡，YOLOv12x配置被用作主要的骨干模型。与早期的YOLO版本（例如YOLOv5和YOLOv8）相比，该模型包含了改进的特征融合层和优化的卷积块，增强了在复杂视觉场景中的定位鲁棒性。它通过密集的单阶段预测、多尺度特征融合和无锚点边界框回归进行了实时对象检测优化。在这项研究中，我们采用了Ultralytics发布的预训练YOLOv12x模型，并使用官方权重以确保可复现性和可比性。YOLOv12通过一次前向传播处理每张输入图像，并直接从学习到的特征图中预测边界框坐标和类别概率。其低延迟推理和强大的定位先验使其特别适合高吞吐量的农业应用，包括基于无人机的监测和实时田间侦察，在这些应用中准确性和速度都至关重要。

YOLOv12通过将高效的注意力机制集成到传统的基于卷积的检测框架中，扩展了早期的YOLO架构。与主要依赖于基于CSP模块的卷积特征提取的早期版本（如YOLOv8和YOLOv11）不同，YOLOv12引入了区域注意力块，减少了自注意力的计算负担，同时在实时检测流程中实现了更有效的长距离特征聚合。此外，YOLOv12引入了残差高效层聚合网络（R-ELAN），与之前的ELAN风格聚合模块相比，增强了梯度传播和特征重用。这些架构改进使得YOLOv12在保持竞争性推理速度的同时实现了更强的检测准确性，使其适用于高吞吐量应用，如精准农业。在这项研究中，我们使用了Ultralytics框架中实现的带有预训练COCO权重的YOLOv12x变体。

作为经典基线，我们采用了VGG16，这是一种最初为大规模图像分类开发的深度16层卷积架构。尽管VGG16缺乏现代架构组件，如特征金字塔、残差连接或注意力机制，但它仍然是评估定位性能的成熟参考模型。为了适应对象检测，我们在VGG16后添加了一个轻量级检测头，其中包括边界框回归层和用于区分作物和背景区域的二分类层。虽然其计算成本相对较高，且其特征表示不如较新架构层次化，但VGG16为评估基于RL的细化在补偿有限检测器表现方面的能力提供了一个稳定且易于解释的基线。

第三个骨干模型ConvNeXt-V2代表了一种与掩码自动编码预训练共同设计的先进卷积网络架构。ConvNeXt-V2集成了层次化的卷积块、现代的规范化和缩放策略以及训练增强，使其在ImageNet和COCO等大规模基准测试中表现出色。其高容量、上下文丰富的特征表示对于特征结构复杂、遮挡和背景杂乱的农业场景特别有利。因此，ConvNeXt-V2作为一个强大的现代基线，用于研究丰富的视觉嵌入如何与基于序列RL的定位细化相互作用。

所有检测器骨干都在包含30个作物类别的农业作物数据集上进行了微调，使用了针对对象定位的监督训练方案。优化目标结合了分类损失（实现为二分类交叉熵）和边界框回归损失，根据检测器架构的不同，使用平滑L1或基于IoU的公式。每个模型都训练到验证性能稳定为止，之后学习到的权重被冻结并在强化学习阶段重复使用。这种策略确保了后续的性能提升可以完全归因于RL驱动的细化过程，而不是底层检测器的进一步适应。

2.4. 强化学习公式
2.4.1. 环境定义
主动作物定位被构建为一个马尔可夫决策过程（MDP），其中边界框细化任务被建模为一个序列决策问题。每个剧集开始时，输入的农业图像通过预训练的CNN检测器进行处理，该检测器为目标作物生成一个初始边界框估计b0。这个初始提议定义了环境的起始状态。然后，RL代理通过在离散时间步骤中对边界框应用一系列几何变换与环境互动。当代理明确选择一个终止动作或达到预定义的最大细化步骤数时，剧集终止。通过这种交互循环，代理学习了一个策略，通过最大化累积奖励来逐步提高定位质量。
2.4.2. 状态表示
代理的状态st旨在共同编码空间、语义和置信度相关信息，确保决策受到几何对齐和视觉上下文的指导。在每个时间步骤中，当前边界框被用来裁剪相应的图像区域，该区域通过冻结的CNN骨干提取高级视觉特征。这些特征捕捉了与作物外观和结构相关的语义线索。此外，状态包括相对于图像尺寸归一化的边界框坐标x,y,w,h，使代理能够推理相对位置和比例。最后，加入了检测器对目标类别的置信度分数，提供了分类确定性的明确度量。这种混合状态表示使代理能够在空间精度和语义相关性之间取得平衡，从而做出明智和稳定的细化决策。
2.4.3. 行动空间
行动空间被定义为九种几何操作的离散集合，与先前关于主动对象定位的工作一致。这些动作允许代理水平或垂直地平移边界框，沿宽度或高度维度调整其大小，或终止细化过程。具体来说，代理可以将边界框向左、右、上或下移动；扩展或缩小其宽度；扩展或缩小其高度；或者选择终止动作，结束当前剧集并将当前边界框作为最终定位结果输出。总体而言，这些动作能够灵活控制平移、缩放和宽高比调整，使代理能够纠正与位置和大小相关的定位错误。

2.4.4. 奖励函数
为了促进定位精度的逐步提高，学习目标由一个基于连续时间步长间交并比（ΔIoU）变化的连续奖励函数驱动。形式上，时间步长t的奖励定义为：
(1)Rt=IoU(bt,b?)-IoU(bt-1,b?)
其中bt表示当前边界框，b?代表真实标注。这种公式直接激励增加与目标裁剪重叠的动作，同时惩罚降低定位质量的变换。此外，当代理选择以足够精确的定位（IoU≥0.5）终止时，会给予一个小的正奖励，以鼓励高效收敛到高质量解决方案。通过提供密集的、逐步的反馈，基于ΔIoU的奖励能够实现稳定的学习，并在整个细化过程中支持精细的空间优化。

2.5. 强化学习代理
为了全面评估强化学习在主动作物定位中的有效性，我们研究了三种广泛采用的RL算法，这些算法涵盖了基于价值和策略梯度学习范式的范围。这种选择使得可以系统地比较不同的优化策略、探索机制和样本效率属性如何影响农业图像中边界框细化的性能。深度Q网络（DQN）代表了一种基于价值的方法，它学习了动作-价值函数Q(s,a)的近似值，该函数估计在状态s中选择动作a的预期累积奖励。DQN使用Q学习进行训练，并伴有经验回放和定期更新的目标网络，这两者都有助于训练的稳定性和高效样本利用。DQN与离散动作空间的兼容性以及其重用过去经验的能力使其特别适合于几何细化任务，在这些任务中动作集是有限且有结构的。在主动定位的背景下，这些属性允许代理快速学习有效的细化策略，从而一致地改进边界框的对齐。

2.6. 主动定位循环
在每个时间步长，RL代理根据当前状态选择一个动作。环境修改边界框，重新计算IoU，提取新的视觉特征，并返回更新后的状态和奖励。这个过程重复进行，直到：（Ⅰ）代理选择终止；或（Ⅱ）达到最大步长预算（T=10步）。最终由代理产生的边界框被记录下来用于评估。

2.7. 训练协议
所有CNN检测器骨干都在作物数据集上以监督方式进行训练，持续100-150个周期，直到验证损失稳定且不再观察到性能提升。检测器收敛后，学习到的权重被固定并在强化学习阶段重复使用。对于每个检测器骨干，在episode式定位环境中训练相应的强化学习代理。DQN和SAC代理使用容量为50,000个转换的重放缓冲区来支持离策略学习，而PPO使用每个更新周期1024个转换的基于策略的批量进行策略更新。所有代理都使用Adam优化器进行优化，学习率为1×10^-4，折扣因子γ=0.99。训练进行直到收敛，收敛通过连续训练迭代中平均episode交并比（IoU）的稳定来确定。

2.8. 评估指标
使用一组互补的指标来评估每个骨干-代理配置的性能，这些指标同时捕捉定位精度和运营效率。定位质量通过计算所有测试图像的平均交并比（IoU）来量化，以及定位成功率，定义为至少达到0.5 IoU的样本比例。为了评估细化效率，我们报告了每个剧集所需的平均细化步数。此外，还测量了每个样本的计算时间，以评估每种方法是否适用于实时或接近实时的农业应用。这些指标共同提供了对精度、收敛行为和计算性能的平衡评估，这是精准农业系统中实际部署的关键考虑因素。
除了定位精度外，还通过平均每个样本的推理时间（Avg. Time (s)）来评估计算效率，这代表了在推理过程中处理单个图像所需的时间。这包括CNN检测器的前向传递和基于强化学习的边界框细化步骤。它不包括训练时间或RL策略收敛时间。N Samples列表示用于计算每个骨干-代理配置的报告评估指标的测试图像数量。

2.9. 部署和交互式仪表板
为了确保算法评估之外的实际适用性，最终的YOLOv12+DQN模型被部署在一个自定义构建的交互式决策支持仪表板中。该仪表板提供了一个直观的界面，用于可视化随时间变化的边界框细化轨迹，探索基于Grad-CAM的注意力图，比较检测器-代理配置，并检查按类别划分的定位和分类性能。通过使模型行为和结果透明化，仪表板弥合了方法开发与实际农业决策之间的差距，支持所提出的定位框架的可解释、高效和可操作的部署。

3. 结果
3.1. 策略行为和学习动态
强化学习代理在主动定位过程中表现出不同的策略行为，如图5所示。DQN代理展示了最平衡和稳定的动作分布，具有适度的方向偏好和频繁的早期终止，表明了高效的收敛。相比之下，PPO和SAC较少依赖于终止动作，而是执行更长的细化序列，反映出更具探索性但不那么果断的策略。学习曲线进一步显示，YOLOv12+DQN配置在单个细化步骤内迅速收敛到接近最优的IoU值，而PPO和SAC需要更多迭代并且表现出更高的方差。

3.2. RL代理之间的定位精度
三种RL代理的IoU分数分布如图6a所示。DQN实现了最高的峰值性能，IoU值主要集中在1.0附近，尽管偶尔有低值异常。PPO展示了更窄但中心较低的分布，约为0.6，表明了稳定但保守的细化行为。SAC展示了最宽的分布，反映了其基于熵的探索策略，有时会产生高质量的定位，但缺乏一致性。这些模式突显了RL范式之间在稳定性、探索性和峰值精度之间的权衡。

3.3. RL细化前的基线检测性能
为了量化基于强化学习的细化阶段的贡献，我们首先评估了每个CNN骨干在应用RL细化之前的定位性能。在这个基线评估中，直接由检测器预测的边界框被使用，而没有任何RL代理的迭代调整。如表1所示，YOLOv12由于其优化的检测架构和多尺度特征融合能力，实现了最强的基线定位精度。相比之下，VGG16和ConvNeXt-V2骨干产生的初始IoU值较低，反映了它们相对较弱的定位先验。应用基于RL的细化后，所有骨干模型都显示出了改进的定位精度，证明了所提出的序列决策框架有效地增强了初始检测器预测的空间对齐。

3.4. 骨干-代理性能比较
所有骨干-代理组合的定量比较在图6b和表2中呈现。在VGG16和ConvNeXt-V2骨架中，平均IoU值范围在0.60到0.75之间，SAC通常优于DQN和PPO。在当前实验设置下，YOLOv12+DQN配置实现了最强的定位性能，平均IoU为0.969±0.071，定位成功率为100%。然而，在进行跨骨干比较时应谨慎解释这一结果，因为YOLOv12基模型是在更大的测试集（N=182）上评估的，而VGG16和ConvNeXt-V2基模型是在较小的探索子集（N=10）上评估的。因此，当前结果表明YOLOv12+DQN是在报告的实验中表现最好的配置，但它们还没有在相同的评估条件下进行完全控制的骨干间比较。

表2. CNN骨架和强化学习代理组合的定量性能比较
模型 平均IoU 成功率 平均时间（秒） N样本
VGG16+DQN 0.603±0.00 100.0% 112.5
VGG16+PPO 0.658±0.16 90.0% 19
VGG16+SAC 0.736±0.14 100.0% 13
convnextv2+DQN 0.603±0.00 100.0% 14
convnextv2+PPO 0.735±0.16 100.0% 15
convnextv2+SAC 0.747±0.15 100.0% 18
YOLOv12+DQN 0.969±0.07 100.0% 0.09
YOLOv12+PPO 0.691±0.13 90.0% 0.08
Note: 平均时间（秒）表示每个图像的平均推理延迟，包括CNN检测和RL细化步骤。N样本表示用于评估的测试图像数量。VGG16和ConvNeXt-V2配置的结果（N=10）应被视为探索性的，而YOLOv12基配置是在更大的测试集（N=182）上评估的。因此，尽管表2提供了关于骨干-代理行为的有用见解，但跨骨干的比较并不完全受控，应谨慎解读。对所有九种配置进行相同的测试集评估仍然是未来工作的重要方向。为了评估基于CAM的定位在弱监督标注下的空间可靠性，我们使用了第2.2.1节中描述的手动标注子集进行了验证实验。计算了CAM生成的边界框与相应手动标注的真实边界框之间的交并比（IoU）指标。评估是在28张同时拥有两种标注来源的图像上进行的。结果显示平均IoU为0.89（±0.06），中位数IoU为0.88，证明了CAM生成的定位区域与手动标注的作物区域之间存在显著的空间一致性。最小和最大的IoU值分别为0.81和0.92，表明在不同的作物类别和成像条件下都有一致的较高空间重叠。此外，当IoU≥0.5时，定位成功率为91%；当IoU≥0.75时，定位成功率为89%，这表明大多数CAM生成的边界框与手动标注的物体区域高度吻合。尽管基于CAM的解释有时可能强调作物的最具区分性的部分而不是整个物体范围，但定量结果表明，自动生成的定位区域通常能够以高一致性捕捉到作物的主要空间位置。这次验证实验的完整统计总结在补充表1中报告，而CAM生成的定位与人类标注之间的代表性视觉比较在补充材料中提供。

3.5 分类性能
图中显示了表现最佳模型的类别分类性能，用标准化混淆矩阵表示。强烈的对角线优势表明大多数作物类别的召回率都很高，而在视觉上相似的作物之间几乎没有混淆。这些结果证实，所提出的基于RL的定位细化方法没有损害分类的可靠性，说明空间细化和语义预测仍然保持一致。

3.6 轨迹和注意力分析
图7展示了RL引导的定位细化过程的定性行为。轨迹分析显示，即使在涉及杂乱背景或部分遮挡的具有挑战性的场景中，DQN代理也能持续调整边界框以达到最佳对齐。最差、中等和最佳情况的例子展示了代理从次优初始检测中恢复并趋向于高IoU解决方案的能力。互补的Grad-CAM可视化显示了模型注意力从背景区域逐渐转移到特定作物结构的过程。早期的注意力图是分散的且部分不对齐的，而后期阶段则集中在目标作物区域上。这种时间演变提供了强有力的可解释性证据，表明代理学习了有意义的空间决策策略，而不是利用虚假的相关性。

图8. 在RL引导的作物定位过程中Grad-CAM注意力的时间演变。该图展示了YOLOv12 + DQN模型对代表性作物类别的视觉注意力进展，使用梯度加权类别激活映射（Grad-CAM）来表示。对于每个作物类别，展示了三个连续细化阶段（早期、中期和最终阶段）的图像快照，其中叠加的热图表示模型关注的区域（红色/黄色）和低关注区域（蓝色）。每个图像三元组下方的线图描绘了随时间变化的标准化注意力幅度，突出了RL代理如何逐步将注意力集中在特定作物结构上，同时抑制背景区域。在不同的作物形态和成像条件下，结果显示随着定位的改进，注意力一贯地转向语义上有意义的植物特征，提供了DQN代理学习了稳健的、基于空间的细化策略的可解释性证据，而不是依赖于虚假线索。

下载：下载高分辨率图像（2MB）
下载：下载全尺寸图像

图9. 基于RL的作物定位的Web基础部署界面。该图展示了为在现实世界场景中部署YOLOv12 + DQN框架而开发的交互式Web应用。顶部面板显示了用户上传农业图像、可视化初始检测器输出以及观察RL引导的细化过程的功能，该过程产生了最终的高精度边界框以及预测的作物类别和置信度分数。

部署集成了强化学习框架的完整状态-动作-奖励循环，提供了一个可解释且透明的决策支持工具。正如补充图5中所概念化的，每个推理步骤都将上传的图像和当前边界框视为环境状态。训练有素的DQN代理选择一个几何动作（例如平移或调整大小），这会更新边界框并触发奖励rt的计算，奖励rt定义为交并比（ΔIoU）的变化。这个迭代过程持续进行，直到终止，产生一个与目标作物区域空间重叠最大的细化结果。除了定位精度之外，该应用还通过提供关于细化轨迹的视觉反馈、基于置信度的预测以及在单一界面内的检测、细化和分类的无缝集成，强调了实际可用性。基于YOLOv12的轻量级推理时间进一步支持实时使用，使系统适用于农场决策支持、移动咨询平台和基于无人机或相机的作物监测系统。总体而言，这种部署证明了RL引导的主动定位可以从研究原型转化为一个稳健、可解释且可操作的工具，适用于现实世界的精准农业应用。

4. 讨论
本研究表明，将作物定位重新定义为序列决策问题从根本上改变了传统基于CNN的检测器所能达到的性能上限。在所有试验中，强化学习引导的细化一致性地改善了边界框的对齐，相对于静态的一次性预测有所改进，证实了农业图像中的定位错误不仅仅是表示上的问题，而是程序性的[36]。通过允许代理与图像进行迭代交互、评估几何调整并接收连续的ΔIoU反馈，所提出的框架引入了一种标准检测流程中缺乏的空间推理形式。结果首先揭示了主干特征质量和强化学习有效性之间的明确依赖关系。虽然所有三种CNN主干都受益于基于RL的细化，但改进的幅度受到检测器的表达能力和定位先验的强烈调节。基于VGG16和ConvNeXt-V2的配置获得了中等程度的提升，平均IoU值大致在0.60到0.75之间。相比之下，YOLOv12主干提供了决定性的优势，使RL代理能够在语义丰富和空间一致的特征上操作。这种协同作用在YOLOv12 + DQN配置中达到顶峰，实现了近乎完美的定位精度，平均IoU为0.969，成功率为100%。这些发现表明，强化学习并没有补偿弱的视觉表示，而是通过启用适应性空间校正来放大高质量检测器的优势[34]。同样重要的是强化学习算法本身的作用。DQN、PPO和SAC的比较分析表明，算法的适用性取决于动作空间结构和主干特性。当与YOLOv12配对时，DQN始终是最稳定和有效的代理[31]，收敛速度快，通常只需要一个细化步骤。其离策略学习机制和回放缓冲区特别适合离散的几何动作空间，在这些空间中，经验的高效重用加速了收敛。PPO虽然在许多连续控制任务中表现稳定，但表现出保守的行为和较低的峰值性能，这可能是由于其基于策略的学习限制和有限的样本重用[2]。SAC在较弱的骨干上展示了强大的探索行为和竞争性能，但受到更高方差的影响，反映了在精确确定性动作通常是最佳的任务中熵最大化所引入的权衡。总的来说，这些结果强调强化学习不是一个单一的解决方案；相反，代理设计、动作离散化和特征质量之间的协调对于成功至关重要。

与之前的研究相比，所提出的框架引入了一种从静态感知到适应性空间推理的明显方法论转变。现有文献中的工作，包括基于YOLO的检测系统[13]、[33]和CNN驱动的作物识别模型[3]、[21]，主要集中在单次推理范式内改进特征表示、检测准确性或部署效率。相比之下，所提出的强化学习引导的定位框架实现了闭环细化，其中边界框根据环境的反馈进行迭代调整。这使得模型能够动态纠正初始检测错误，而不仅仅依赖于改进的特征提取。此外，尽管之前的研究已经证明了在基于Web的农业应用中部署深度学习模型的可行性[35]，但它们没有结合可解释的决策轨迹或序列优化机制。因此，当前的工作通过结合（i）高容量CNN检测器、（ii）基于强化学习的迭代定位和（iii）交互式决策支持仪表板，建立了更加适应性强、可解释且操作上稳健的精准农业框架。

观察到的不同主干-代理组合之间的性能差异可以归因于检测器特征质量和强化学习优化策略之间的相互作用[9]、[24]。首先，CNN主干生成的初始边界框提案的质量强烈影响了RL细化的效果。YOLOv12由于其无锚点回归设计和多尺度特征融合，产生了空间一致且对齐良好的初始检测，为RL代理提供了一个强有力的起点。相比之下，VGG16和ConvNeXt-V2生成的初始边界框不太精确，这增加了细化任务的难度并限制了可实现的定位提升。其次，强化学习算法本身也起着关键作用。基于价值的Deep Q-Network（DQN）表现出优越的性能，因为它非常适合离散的动作空间，允许通过经验回放和稳定的Q值更新高效学习几何细化策略。相比之下，PPO依赖于基于策略的学习和随机策略更新，在确定性动作是最佳的任务中可能会减慢收敛速度。同样，SAC虽然在其稳定性方面表现良好，但由于其在离策略学习上的限制和有限的样本重用，表现出保守的行为和较低的峰值性能[2]。这些结果共同强调，强化学习不是一个单一的解决方案；相反，代理设计、动作离散化和特征质量之间的协调对于成功至关重要。

与先前的研究相比，所提出的框架引入了一种从静态感知到适应性空间推理的明显方法论转变。现有文献中的工作，包括基于YOLO的检测系统[13]、[33]和CNN驱动的作物识别模型[3]、[21]，主要关注在单次推理范式内改进特征表示、检测准确性或部署效率。相比之下，所提出的强化学习引导的定位框架实现了闭环细化，其中边界框根据环境的反馈进行迭代调整。这使得模型能够动态纠正初始检测错误，而不仅仅依赖于改进的特征提取。此外，虽然之前的研究已经证明了在基于Web的农业应用中部署深度学习模型的可行性[35]，但它们没有结合可解释的决策轨迹或序列优化机制。因此，当前的工作通过结合（i）高容量CNN检测器、（ii）基于强化学习的迭代定位和（iii）交互式决策支持仪表板，建立了一个更加适应性强、可解释且操作上稳健的精准农业框架。

在所有试验中，强化学习引导的细化一致性地改善了边界框的对齐，相对于静态的一次性预测有所改进，证实了农业图像中的定位错误不仅仅是表示上的问题，而是程序性的[36]。通过允许代理与图像进行交互式交互、评估几何调整并接收连续的ΔIoU反馈，所提出的框架引入了一种标准检测流程中缺少的空间推理形式。结果首先揭示了主干特征质量和强化学习有效性之间的明确依赖关系。虽然所有三种CNN主干都从基于RL的细化中受益，但改进的幅度受到检测器表达能力和定位先验的强烈调节。VGG16和ConvNeXt-V2配置获得了适度的提升，平均IoU值主要限制在0.60到0.75之间。相比之下，YOLOv12主干提供了决定性的优势，使RL代理能够在语义丰富和空间一致的特征上操作。这种协同作用在YOLOv12 + DQN配置中达到了顶峰，实现了接近完美的定位精度，平均IoU为0.969，成功率为100%。这些发现表明，强化学习并不是补偿弱视觉表示，而是通过启用适应性空间校正来放大高质量检测器的优势[34]。同样重要的是强化学习算法本身的作用。DQN、PPO和SAC的比较分析表明，算法的适用性取决于动作空间结构和主干特性。当与YOLOv12配对时，DQN始终是最稳定和有效的代理[31]，收敛速度快，通常只需要一个细化步骤。其离策略学习机制和回放缓冲区似乎特别适合离散的几何动作空间，在这些空间中，经验的有效重用加速了收敛。PPO尽管在许多连续控制任务中表现稳定，但表现出保守的行为和较低的峰值性能，这可能是由于其基于策略的学习限制和有限的样本重用[2]。SAC在较弱的骨干上展示了强大的探索行为和竞争性能，但受到了较高方差的影响，反映了在精确确定性动作通常是最佳的任务中熵最大化所引入的权衡。总之，这些结果强调强化学习不是一个单一的解决方案；相反，代理设计、动作离散化和特征质量之间的协调对于成功至关重要。尽管强化学习改善了模型的外观，但它本身并不能解决在形态差异微弱时如何区分密切相关的物种的问题[29]，[10]。本研究的一个关键优势在于它强调了操作的可行性。将YOLOv12 + DQN模型作为基于网络的交互式应用程序进行部署，证明了在实时约束下，基于强化学习的定位技术是可行的。由于每个样本的推理时间约为0.09秒，该系统满足了实际精准农业应用的延迟要求，包括田间巡查、咨询平台和基于摄像头的监控系统。在决策支持仪表板中集成轨迹可视化、注意力图和精细化反馈功能，进一步提高了透明度和信任度，从而克服了人工智能系统在农业实践中应用的一个常见障碍。

尽管有这些优势，但仍有一些局限性需要讨论。首先，强化学习环境依赖于离散的几何动作，这可能会限制在高度复杂场景中的精细化程度。连续动作的表述可以实现更平滑和更精确的调整，但这需要仔细重新设计奖励结构和策略架构。其次，虽然数据集涵盖了丰富的视觉多样性，但它仍然基于图像；不同生长阶段或多视角观察之间的时间一致性没有得到明确建模。第三，分类性能受到主干特征区分能力的影响，特别是对于那些类别间差异微妙的作物而言。强化学习提高了定位精度，但并不能替代更强大语义表示的需求。

本研究的另一个局限性在于使用了基于Grad-CAM的弱监督定位生成的伪真实边界框。尽管这种方法可以无需手动标注即可实现可扩展的注释，但生成的边界框只是近似的空间参考，并非完全精确的标注。因此，报告的IoU值应主要被视为模型间相对定位改进的指标，而不是绝对的定位精度。未来的工作将纳入手动标注的检测数据集，以进一步验证所提出的基于强化学习的精细化框架。

这些局限性指出了未来研究的几个有前景的方向。将框架扩展到连续或混合动作空间可以进一步提高精细化精度。结合来自视频或多日期图像的时间序列，可以使代理利用生长动态和空间连续性，这在农业环境中非常重要。整合多模态数据源，如高光谱图像、热信号或环境元数据，也有助于区分视觉上相似的作物。最后，调整奖励函数以同时优化定位和分类的置信度，可以在单一学习信号中统一空间和语义目标。本研究的另一个局限性是，并非所有主干-代理组合都在同一个大规模测试集上进行了评估。具体来说，基于VGG16和ConvNeXt-V2的强化学习配置在一个较小的探索性子集上进行了评估，而基于YOLOv12的模型则在完整的182张图像测试集上进行了评估。因此，尽管研究结果支持基于强化学习的精细化效果，并确定YOLOv12 + DQN是当前实验中最强的配置，但比较主干层面的解释仍应视为初步的。未来的工作将把相同的测试集评估协议扩展到所有九种主干-代理组合，以便全面评估主干能力和强化学习的贡献。

总之，这项工作将基于强化学习的主动定位确立为一种强大且实用的作物检测范式。通过结合强大的CNN主干网络、精心设计的强化学习代理和可解释的部署机制，所提出的框架超越了静态感知，向自适应的、基于推理的视觉系统迈进。这些发现不仅推进了农业计算机视觉领域的最新技术水平，也为精准农业中的智能化、可靠和可扩展的决策支持工具奠定了基础。

5. 结论

本研究引入了一个基于强化学习的主动作物定位框架，通过将定位重构为迭代决策过程，推动了传统目标检测的发展。通过将现代CNN检测器与深度强化学习代理相结合，所提出的方法能够对边界框进行序列化精细化处理，从而在多种农业条件下显著提高空间精度。在所有评估的配置中，强化学习始终提升了定位性能，其中YOLOv12 + DQN组合实现了近乎完美的精度，并保持了实时推理能力。除了定量上的提升，该框架还展现了强大的可解释性和鲁棒性。动作分布分析、精细化轨迹和Grad-CAM可视化显示，代理学习了有意义的空间策略，逐步关注与作物相关的结构，同时抑制了背景干扰。重要的是，分类性能保持稳定，证实了迭代精细化改进了定位精度而没有降低语义识别能力。该模型在基于网络的交互式决策支持系统中的成功部署进一步突出了其实用性和操作准备就绪的状态。总体而言，这项工作将基于强化学习的主动定位确立为精准农业中一个强大且可扩展的范式。通过在统一的流程中整合精度、效率、可解释性和部署能力，所提出的框架为未来的多模型感知、时间分析和自主农业监控系统扩展提供了坚实的基础。

6. 手稿准备过程中生成式AI和AI辅助技术的声明

作者声明，在撰写或准备本手稿时没有使用任何生成式AI或AI辅助技术。

伦理声明

本研究未涉及人类参与者或动物。研究完全基于基于图像的数据集和计算建模方法来开展精准农业中的作物定位。没有使用任何个人、敏感或可识别数据；因此，无需伦理批准。

CRediT作者贡献声明

Ahmed M.S. Kheir：撰写——原始草稿、撰写——审阅与编辑、可视化、软件、数据管理、概念化。

Vinothkumar Kolluru：验证、方法论、调查。

Gerald Adli：形式分析、数据管理。

Marwa G.M. Ali：方法论、形式分析、数据管理、概念化。

Zheli Ding：方法论、形式分析、数据管理、概念化。

Anis Koubaa：验证、软件、资源。

Til Feike：监督、调查、资金获取、数据管理、概念化。