《Image and Vision Computing》：YOLO-LGA: Enhance YOLO with local to global attention for multi-class insect pest detection
编辑推荐：
•基于卷积神经网络的检测器无法捕捉图像中的长距离依赖关系。•LGA将卷积局部特征与基于Transformer的全局特征耦合在一起。•YOLO-LGA是一种基于YOLOv5-S的轻量级卷积神经网络与Transformer融合检测模型。引言虫害是导致农作物产量显著下降的直接原因。
- •
基于卷积神经网络的检测器无法捕捉图像中的长距离依赖关系。
- •
LGA将卷积局部特征与基于Transformer的全局特征耦合在一起。
- •
YOLO-LGA是一种基于YOLOv5-S的轻量级卷积神经网络与Transformer融合检测模型。
引言
虫害是导致农作物产量显著下降的直接原因。根据联合国粮食及农业组织的数据，由于虫害和疾病的影响，每年农作物产量损失高达全球总产量的40%，造成巨大的经济损失，每年至少达到700亿美元。因此，自动化农业害虫检测在害虫监测和防治中起着至关重要的作用，受到了学术界和工业界的广泛关注。
事实上，多类别害虫检测一直被视为目标检测技术在农业领域的应用[1]。每种害虫可能包含卵、幼虫、蛹和成虫等不同形态，导致类内差异显著。因此，由于昆虫害虫物种的多样性以及文献[2]中报道的类内差异显著和种间相似性大的特点，它比常见的目标检测任务更具挑战性。例如，如图1所示，稻纵卷叶螟在不同生长阶段表现出截然不同的外观，而稻纵卷叶螟幼虫虽然体型相似，但颜色不同。在处理流程方面，昆虫害虫检测可以分为两个阶段，即害虫定位和害虫识别。前者旨在图像中定位害虫，而后者则专注于预测其对应的类别。在文献中，由于深度学习在图像识别领域取得了巨大成功，有许多研究专注于害虫识别并取得了良好的结果[3]、[4]、[5]、[6]、[7]。与处理流程相对应，早期的研究采用两阶段目标检测方法，首先获取高质量的害虫定位候选框，然后预测害虫类别[8]、[9]、[10]。近年来，目标检测的主导范式是将目标定位和识别任务结合到单一的端到端框架中，取得了优于两阶段方法的效果。在此范式下，许多单阶段检测方法被引入害虫检测中并取得了优异的性能[11]、[12]、[13]。它们大多基于卷积神经网络，已被证明在提取局部特征方面具有轻量级和高效性，但无法捕捉图像中的长距离依赖关系。近年来，Transformer在人工智能领域取得了显著成功，并在自然语言处理和计算机视觉等领域得到广泛应用[14]、[15]、[16]、[17]、[18]、[19]、[20]。尽管Transformer通过多头自注意力机制在捕捉全局特征方面很有效，但它们仍面临巨大的计算开销问题，并且由于缺乏归纳偏置，在训练时需要更多的样本。人们普遍认为，害虫定位和识别的关键在于有效地将害虫与背景区分开来，确保害虫的特征表示具有高度可判别性。因此，设计一个轻量级且高效的害虫检测模型仍然是一个未解决的挑战。
为了探索图像中的短距离和长距离依赖关系，在本研究中，我们设计了一种新颖的局部到全局注意力模块（称为LGA模块），该模块包含四个关键组件：一个基于C3块的局部特征提取器、一个基于Swin Transformer Block的全局特征提取器、一个基于Cross Window Transformer Block的局部到全局交叉注意力模块以及一个聚合模块。前两个模块以特征图作为输入，分别输出局部特征和全局特征。然后，这两类特征流入第三个模块，该模块旨在抑制前两个模块引入的噪声。最后，聚合模块将第三个模块的去噪特征与第二个模块的全局特征相结合，通过卷积和批归一化操作生成与背景差异更大的、可判别性更高的特征。
基于我们设计的LGA模块，我们提出了一种用于多类别害虫检测的轻量级卷积神经网络与Transformer融合检测模型，称为YOLO-LGA。对YOLOv5-S进行修改的关键在于，我们将原始YOLOv5-S中几乎所有的C3块（除前两个C3块外）替换为我们设计的LGA块，以确保生成昆虫害虫的高判别性表示。我们在具有挑战性的IP102数据集（一个权威的野外多类别害虫检测数据集）上进行了一系列对比实验，所提出的YOLO-LGA以最少的参数量取得了最先进（SOTA）的结果，如图2所示。
我们将本工作的主要贡献总结如下：
- 1.
我们设计了一种新颖的局部到全局注意力模块，称为LGA，该模块在耦合卷积局部特征和基于Transformer的全局特征方面效果显著，适用于多类别害虫检测。
- 2.
我们进一步构建了YOLO-LGA模型用于多类别害虫检测，通过将原始YOLOv5-S中部分C3块替换为我们设计的LGA块，该模型有效地将害虫与背景区分开来，同时保持了模型的轻量级特性。
- 3.
在IP102上的大量实验表明，YOLO-LGA以最少的参数量优于之前的SOTA方法。我们还进行了大量的消融实验，全面分析了LGA模块中每个组件对检测性能的影响。
本文其余部分安排如下。首先，我们在第2节给出简要的研究综述。然后第3节介绍设计的LGA模块并详细说明LGA如何捕捉图像中的短距离和长距离依赖关系，随后在第4节中详细描述我们提出的用于多类别害虫检测的YOLO-LGA。接下来，我们在第5节展示在IP102上的实验。最后，我们在第6节对本工作进行总结并展望未来。
各章节摘要
相关工作
首先，我们回顾目标检测方法和视觉Transformer的相关文献，因为我们的工作建立在这些技术之上。然后，我们研究害虫检测的相关研究。
局部到全局注意力模块
为了同时捕捉图像中的短距离和长距离依赖关系，我们构建了局部到全局注意力模块（称为LGA）。本节详细阐述了我们设计的LGA模块。图3(a)展示了LGA模块的整体结构，该模块由四个组件组成：一个局部特征提取器、一个全局特征提取器、一个局部到全局交叉注意力模块和一个聚合模块。接下来，我们将逐一介绍这些组件。
网络设计
YOLO系列已被证明在目标检测任务中提取图像局部特征方面具有轻量级和高效性。为了弥补在捕捉图像长距离依赖关系方面的不足，并为害虫生成更具可判别性的表示，我们提出了一种用于多类别害虫检测的轻量级卷积神经网络与Transformer融合检测模型。如图4所示，YOLO-LGA遵循YOLOv5-S的框架，由骨干网络、颈部网络和预测网络组成
实验
本节全面展示了大量实验，以验证我们提出的方法在多类别害虫检测中的有效性。我们首先详细描述实验设置。然后报告和对比分析结果。随后，我们进行了一些消融实验，以了解LGA模块中每个组件对检测性能的影响。接下来，我们对窗口大小进行参数敏感性分析。之后，我们进行可视化
结论
在本文中，我们提出了一种用于多类别害虫检测任务的轻量级卷积神经网络与Transformer融合检测模型（YOLO-LGA）。YOLO-LGA基于YOLOv5-S框架构建，其成功之处在于将原始YOLOv5-S中的C3块替换为我们设计的局部到全局注意力（LGA）块。LGA模块有效地将图像中的短距离依赖和长距离依赖耦合在一起，有利于将害虫与背景区分开来。通过与
CRediT作者贡献声明
曾江峰：写作——审阅与编辑，写作——初稿，监督，方法论，调查，资金获取，概念化。熊诚：写作——初稿，可视化，验证，项目管理，方法论，形式化分析，数据整理。卢慧敏：写作——审阅与编辑，写作——初稿，概念化。马晓：写作——审阅与编辑，写作——初稿，监督，方法论，调查，资金获取。
利益冲突声明
作者声明，他们不存在已知的可能影响本文所述工作的竞争性经济利益或个人关系。
致谢
我们要衷心感谢所有帮助我们完成本文的人。感谢以下基金的资助：(1) 国家自然科学基金委员会，项目编号 62102159；(2) 湖北省自然科学基金，项目编号 2023AFB1018 和 2024AFB957。
曾江峰|熊诚|卢慧敏|马晓
