基于图像的自动化识别方法：利用粘性诱捕器捕捉传播SBR病毒的飞虱

《Journal of Plant Diseases and Protection》：Image-based automated identification of SBR-transmitting planthoppers on sticky traps

　　**摘要**
准确监测昆虫媒介对于管理“Basses Richesses”（SBR）综合征至关重要，这是一种影响欧洲甜菜作物的疾病。本研究提出了一种深度学习（DL）方法，用于自动识别Cixiidae科的飞虫——这种昆虫是SBR的主要传播媒介。研究人员对比了多种DL架构，包括卷积神经网络（CNN）和视觉变换器（ViTs），最终选择了Inception-v3架构。基于该架构开发了两个互补模型：第一个模型用于区分Cixiidae科与其他昆虫类群，第二个模型用于分类Cixiidae科内的具体物种，即Pentastiridius leporinus、Hyalesthes obsoletus和Reptalus spp.。区分这些物种至关重要，因为它们在传播SBR方面的效率和作用各不相同。这些模型通过对2022年至2024年间在德国和塞尔维亚甜菜及葡萄园中设置的粘性陷阱收集的40,000多张高分辨率昆虫图像进行训练和验证。物种标签基于形态学鉴定，并通过DNA条形码进行验证，所形成的数据集已公开可供使用。统计和视觉评估证实了模型的高性能和生物学相关性。第一个模型对Cixiidae科的识别准确率为94%，召回率为99%；第二个模型的总体准确率超过99%。进一步在2024年的未见测试陷阱上评估模型性能，结果显示模型计数与手动计数的吻合度很高（R2 > 0.9）。图像分辨率分析表明，1,600 dpi是性能与计算效率之间的最佳平衡点。本研究展示了DL在可靠监测SBR媒介及可扩展整合到精准害虫管理策略中的潜力。

**引言**
“Basses Richesses”（SBR）综合征是一种影响甜菜（Beta vulgaris L.）的疾病，会导致高达25%的产量损失和绝对糖分含量减少5%（Sémétey等人，2007年；Bressan等人，2008年）。该疾病由两种原核、不可培养的韧皮部限制性细菌病原体引起：γ-3-变形菌属的“Candidatus Arsenophonus phytopathogenicus”（SBR-变形菌）和植原体Stolbur组（16SrXII）的“Candidatus Phytoplasma solani”（SBR-植原体）（Gatineau等人，2001年；Sémétey等人，2007年）。这些病原体由Cixiidae科飞虫（半翅目：Fulgoromorpha）传播，其中Pentastiridius leporinus被确定为SBR-变形菌的主要经济传播媒介（Bressan等人，2008年）。Cixiidae科中的其他物种，如Hyalesthes obsoletus和Reptalus quinquecostatus，也参与了SBR-植原体的传播，但传播效率不同（Bressan等人，2009b年；Jovi?和To?evski，2023年）。然而，由于P. leporinus能够在甜菜轮作后跟随冬小麦完成生命周期，其种群密度较高，因此成为德国的主要SBR媒介（Bressan等人，2009a年）。为了有效控制SBR并监测其传播，必须检测和识别田间存在的昆虫媒介（Eini等人，2024年；Lang等人，2025年）。粘性陷阱被广泛用于这一目的（Pfitzer等人，2022年）。对粘性陷阱上SBR传播飞虫的评估主要关注这些昆虫的独特形态特征，包括中胸背板上的肋突数量、后腿跗节最后一节的刺数量，以及盾片、头顶和前胸背板的特征（Ceotto和Bourgoin，2008年）。这种鉴定方法需要专家的分类学知识，并且容易对分类学上相关且形态相似的物种（如P. leporinus、H. obsoletus和R. quinquecostatus）进行误判（Bertin等人，2010年；Rahman等人，2023年）。此外，由于捕获位置的变化和标本可能受损，粘性陷阱上的昆虫鉴定更加困难（Grootaert等人，2010年）。为克服这一挑战，Pfitzer等人（2022年）成功开发了一种基于线粒体细胞色素c氧化酶I（COI）基因的聚合酶链反应（PCR）检测方法，用于区分甜菜田中同时出现的不同飞虫。然而，这种方法耗时较长且需要大量基础设施，不适合高通量应用。另一种方法是Eini等人（2024年）开发的等温核酸扩增技术，该方法在灵敏度方面与PCR相当，但所需时间和基础设施较少。尽管如此，这两种方法的分类学分辨率较低，只能区分P. leporinus和其他所有飞虫。更敏感的分子方法是扩增并测序COI基因，然后通过DNA条形码进行物种鉴定（Virgilio等人，2010年）。尽管这种方法准确，但仍耗时、通量低、资源密集，并且比PCR需要更多的专业知识（Rennstam Rubbmark等人，2019年）。

最近，深度学习（DL）模型，特别是卷积神经网络（CNN）和视觉变换器（ViTs）在图像分类领域取得的成功，促进了其在农业应用中的使用，包括但不限于疾病和胁迫检测（Mohanty等人，2016年）、量化（Ispizua Yamati等人，2024年；Okole等人，2024年）、杂草检测与鉴定（Khan等人，2021年）以及昆虫鉴定（Bjerge等人，2023年）。Popkov等人（2022年）使用CNN实现了对Adelphocoris属（半翅目：Miridae）中经济重要且多态性昆虫物种的高精度识别（94.4–99.4%）。同样，Buschbacher等人（2020年）报告了野生蜜蜂物种鉴定的F1分数为0.901。这些成功案例突显了DL模型在昆虫鉴定中的潜力。然而，针对某一分类群训练的DL模型在应用于另一分类群时往往效果不佳，这表明需要为SBR传播飞虫开发专门的模型。此外，DL领域的快速发展产生了多种模型架构，每种架构的性能因任务而异。对这些架构进行基准测试为系统、客观地评估和比较它们的性能提供了手段，从而选择最适合实际应用的架构（Bangalore Vijayakumar等人，2024年）。

DL模型的另一个常见挑战是它们被认为是“黑箱”系统（例如，Guidotti等人，2018年），因为这些模型是高度参数化的非线性系统，其学习的特征和决策边界难以解释。这使得追踪决策过程变得困难，从而影响了它们的可靠性（Popkov等人，2022年）。可视化技术（如Grad-CAM（Selvaraju等人，2017年）有助于解释模型决策，并确保它们与生物学相关特征一致。此外，图像分辨率的选择对模型性能至关重要。特别是在形态差异较小的近缘物种中，需要高图像分辨率才能进行准确区分。由于高分辨率图像通常需要更多时间和计算资源，因此需要评估输入图像分辨率与计算资源之间的权衡（Thambawita等人，2021年）。

在这项研究中，对比了几种CNN和ViT架构在昆虫分类任务中的适用性。表现最好的架构被用来训练模型，以识别德国甜菜田中主要出现的昆虫物种，并区分传播SBR的Cixiidae科飞虫，即P. leporinus、H. obsoletus和Reptalus spp. 模型训练使用的图像基于双目显微镜的形态学鉴定进行标记。与大多数使用DL进行昆虫分类的研究不同，本研究中形态学鉴定的准确性通过DNA条形码进行了验证，从而增加了对模型的信心。此外，还使用Grad-CAM对开发模型的性能进行了视觉评估，以确保模型与生物学和形态学相关特征的一致性。还评估了图像分辨率对模型性能的影响，以确定模型性能与计算资源之间的权衡。研究的最后阶段，用于训练DL模型的标记数据集已公开（https://doi.org/10.34740/kaggle/dsv/12794718）。开发的模型还被整合到一个用户友好的应用程序中，并提供了在线演示版本（https://cicadaopenapp-ht6quik5pqzdwjwbpzqmzd.streamlit.app/）。

**图1**
本研究中考虑的三种作为SBR媒介的Cixiidae物种在粘性陷阱上的代表性图像：
a. P. leporinus，其特征为头部和身体细长，颜色较浅，中胸背板有五条明显的肋突，翅膀脉络明显；
b. Reptalus spp.，其特征为头部和身体较宽，中胸背板有五条不太明显的肋突，翅膀脉络粗糙，脉络上有深色颗粒；
c. H. obsoletus，与其它物种相比体型较小，身体颜色较深，中胸背板没有明显的肋突，眼睛呈红棕色，前胸背板有白色或金色的纵脊。黑色刻度尺对应1毫米。

**材料与方法**
为了确保数据集的多样性和代表性，从不同年份的多个来源收集了含有昆虫标本的粘性陷阱（见表1）。进行了两次数据收集，分别对应两种模型验证水平：评估（针对训练数据集中保留的数据进行性能评估）和测试（针对独立收集的粘性陷阱进行评估）。
主要数据来源包括2022年、2023年和2024年收集的325个粘性陷阱，这些陷阱仅用于架构基准测试以及模型训练和评估。其中，212个黄色粘性陷阱（Aeroxon Insect Control GmbH，德国Waiblingen）来自德国K?nnern的甜菜田（51°40’16.3’’N, 11°46’14.46’’E），主要捕获P. leporinus及其他非Cixiidae昆虫。另外85个黄色粘性陷阱来自德国Siebeldingen的Julius Kühn Institute（JKI，49°13’05.82"N, 08°02’48.26"E）的葡萄园，那里H. obsoletus比甜菜田中更常见。此外，14个绿色陷阱（CSALOMON?，ATK N?vényvédelmi Intézet，布达佩斯）来自塞尔维亚Belgrade的甜菜田（44°51’06.08"N, 20°22’42.85"E），那里Reptalus spp.是最常见的Cixiidae物种。使用绿色陷阱使模型能够适应不同的陷阱颜色。为防止模型学习陷阱颜色而非昆虫特征，在对应绿色陷阱上采集图像后，将未受损的Reptalus spp.标本小心转移到14个黄色粘性陷阱中。
次要数据来源包括2024年在德国Gie?en的甜菜田中收集的72个粘性陷阱（35个黄色和37个透明陷阱，CSALOMON?，ATK N?vényvédelmi Intézet，布达佩斯，50°35’19.11”, 8°40’41.71"E），这些陷阱仅用于测试模型的泛化能力。

**表1** 本研究中使用的粘性陷阱概览

为了处理和分析这些数据集，建立了一个结构化的 workflows。从图像采集到模型测试的完整 workflows 如图2所示。该图概述了关键步骤，包括扫描、昆虫检测、标注、数据增强、模型训练、评估和测试。图2的替代文本可能是使用AI生成的。完整尺寸的图像。

卷积神经网络（CNN）模型开发工作流程如下：(1) 陷阱最初以每英寸3200点（dpi）的分辨率进行扫描。(2) 个体昆虫被检测到并在其中心点周围裁剪。（3) 使用双筒望远镜和鉴定钥匙对图像进行标注，随后进行分子确认。(4) 图像被降采样以测试不同的分辨率，并使用数据增强来提高模型的鲁棒性。(5) 使用预训练的Inception-v3模型来训练两个模型：一个用于区分Cixiidae与其他所有昆虫，另一个用于区分它们之间的不同种类。(6) 使用混淆矩阵对模型进行统计评估。(7) 使用Grad-CAM方法对图像信息的相关性进行视觉评估。(8) 在新数据上测试模型，以对粘性陷阱上的昆虫进行分类和计数。

图像采集、预处理和数据集准备：所有粘性陷阱均使用Epson Perfection V850 Pro平板扫描仪（Epson公司，美国加利福尼亚州长滩市）进行扫描，扫描分辨率为24位彩色。来自主要数据源的训练和评估陷阱的扫描分辨率为每英寸3200点（dpi），而来自次要数据源的测试陷阱的扫描分辨率降为1600 dpi，这是通过评估图像分辨率对模型性能的影响后确定的最佳分辨率。对于透明带，将白色背景纸放入扫描仪中以便于后续处理步骤。图像采集后，扫描结果经过一系列预处理步骤以分离出单个昆虫样本并准备数据集用于模型训练。首先，将RGB扫描转换为灰度图像，以增强陷阱明亮背景与较暗昆虫体之间的对比度。根据直方图检查，手动确定一个阈值175（8位范围内），用于将昆虫像素与背景区分开。接下来进行形态学操作，包括图像膨胀和侵蚀，以细化分割（Soille和Soille 2004）。分割完成后，应用连通组件分析方法，将相邻的前景像素分组为不同的标记区域，以识别单个昆虫实例。为了去除不需要的伪影，丢弃小于0.75 mm2或大于1 cm2的像素组，过滤掉灰尘颗粒、小碎片和大的重叠昆虫群体。对于重叠的昆虫群体，使用较低的阈值150进行第二轮分割，以进一步提高分离效果。最后，对于每个检测到的对象，确定其中心点，并在其周围裁剪出一个区域。对于训练和评估图像，提取一个1200×1200像素的区域，对应于3200 dpi扫描中的实际1 cm2面积。相比之下，对于测试图像，裁剪出一个较小的区域（600×600），以保持1600 dpi扫描中的相同实际比例。训练和评估集中的裁剪图像被分配了一个唯一的标识符，以便于标注和后续分析。

昆虫的形态学鉴定和图像标注分为两个独立的步骤进行。首先，对于训练和评估集，由一位专家单独标注每个昆虫，生成了超过40,000张带有形态学注释的图像，这些图像可在https://doi.org/10.34740/kaggle/dsv/12794718公开获取。其次，对于测试集，不同的专家通过手动计数每个粘性陷阱上的Cixiidae数量来进行标注。这些专家计数随后用于在测试期间评估模型预测。为了支持昆虫级别的标注，开发了一个自定义的Python接口，允许标注者将每个样本分配到几个预定义的类别中。形态学鉴定使用Stemi SV6双筒立体显微镜（Carl Zeiss Inc.公司，美国纽约州Thornwood市）进行，并结合了通用昆虫分类钥匙（Brues 1945）和专门的飞虫分类钥匙（Biedermann和Niedringhaus 2004）。当形态学特征不明确时，相应的图像被标记为未标记并从所有后续步骤中排除。

图像被分配到15个类别中：蓟马（Thysanoptera）、苍蝇（Diptera，不包括蚊子）、蚊子（Culicidae）、飞虫（Fulgoroidea，不包括Cixiidae）、蚜虫（Aphidoidea）、甲虫（Coleoptera）、蜘蛛（Araneae）、蚂蚁（Formicidae）、其他膜翅目昆虫（Hymenoptera，不包括蚂蚁）、鳞翅目昆虫（Lepidoptera）、草蛉（Neuroptera）、P. leporinus（Cixiidae）、H. obsoletus（Cixiidae）、Reptalus spp.（Cixiidae）、其他昆虫以及伪影（非昆虫物体，如灰尘、阴影或脱落的昆虫身体部分）。图中显示了这些组中标记样本的分布情况。

在这项研究中，用于训练深度学习（DL）模型的每组样本数量，共计41,702张标注图像。a 用于训练第一个模型的样本数量，该模型用于区分Cixiidae与其他昆虫群体。“伪影”组包括在粘性陷阱上检测到的非昆虫物体（例如，灰尘、阴影、脱落的昆虫身体部分）。b 用于训练第二个模型的样本数量，该模型用于区分Cixiidae内的不同种类。

为了验证形态学鉴定的准确性，进行了DNA分析。共选择了75个昆虫样本，每个目标Cixiidae物种各有25个样本。使用MagMAXTM Plant DNA Isolation Kit（Thermo Fisher Scientific公司，美国马萨诸塞州Waltham市）按照制造商的流程提取DNA。在PCR之前，使用分光光度计（‘DeNovix DS-11’，DeNovix Inc.公司，美国特拉华州Wilmington市）评估DNA的数量和质量。PCR反应在20 μL体积中进行，其中包含10 μL DreamTaq PCR Master Mix（2X）（Thermo Fisher Scientific公司，美国马萨诸塞州Waltham市）、每种引物各1 μL（0.5 μM）以及含有20–150 ng模板DNA的1 μL DNA提取物。所有P. leporinus样本以及大多数H. obsoletus和Reptalus spp.样本都应用了常用的通用引物Ron和Calvin（Simon等人1994；Lin和Wood 2002）。对于无法用Ron和Calvin扩增的样本，使用了替代引物对UEA3和UEA8（Lunt等人1996）。这两种引物都针对COI基因的约1000 bp区域。

PCR循环条件如下：初始变性阶段的温度为98°C，持续2分钟；30个循环，每个循环包括95°C 30秒、56°C 25秒和72°C 25秒；最后在72°C下延伸10分钟。PCR产物在1%琼脂糖凝胶上进行分离，并用GelRed（Biotium公司，美国加州Landing Pkwy）染色，然后与GeneRuler 1 kb DNA ladder（Thermo Fisher Scientific公司）进行对比观察。PCR产物的测序由Microsynth Seqlab GmbH（德国哥廷根）完成，所得序列与NCBI核苷酸数据库（美国国家生物技术信息中心，美国马里兰州Rockville Pike）进行比对。

在模型训练之前，从一系列现有的CNN和ViT模型中选择了最佳的架构，这些模型代表了用于图像分类任务的多种DL架构（见表S1）。这些架构的评估按照Bangalore Vijayakumar等人（2024）描述的方法进行，下面进行了少量调整。首先，将裁剪后的图像分为训练集、测试集和验证集，比例分别为70:15:15。训练集专门用于模型训练，其中代表性不足的组通过图像增强策略随机重复，以获得平衡的训练集。本研究中用于初步架构基准测试和最终模型训练的增强策略在“模型训练”部分有更详细的说明。高分辨率的裁剪图像（1200×1200像素）通过双线性插值降采样为较低分辨率（224×224像素）。这允许在不同架构之间进行标准比较。

对Bangalore Vijayakumar等人（2024）方法的进一步调整包括将随机梯度下降（SGD）优化器替换为自适应矩估计（Adam）优化器，经过初步试验后发现后者更适合我们的任务。在这一初步步骤中，最大迭代次数设置为30次，每次迭代的批量大小为32，允许每个epochs进行2000次迭代。因此，每个模型训练的总迭代次数增加到60,000次，这被认为是足够的模型基准测试次数。对于CNN和ViT，前五个epochs分别应用了恒定的热身学习率1×10^-3和1×10^-5。随后，按照Bangalore Vijayakumar等人（2024）的建议，应用了一个逐渐递减的学习率模式，最终在最后一个epochs的最后一次迭代时学习率降为零。训练完成后，所有模型都在保留的测试集上进行了评估。在这项研究中，评估了五个主要参数。这些参数包括top-1准确率，用作确定模型准确性的指标。此外，还考虑了浮点运算次数（FLOPs）、训练时间、中央处理器（CPU）延迟和图形处理单元（GPU）延迟作为模型效率指标。所有基准测试任务都在一个高性能工作站（PrimeLine Solutions GmbH）上完成，该工作站基于优化了GPU计算的ASUS ESC4000A-E12服务器，配备了AMD EPYC 9474 F处理器（48核心，3.6 GHz）、768 GB DDR5 ECC RAM和PNY NVIDIA A40 GPU（48 GB GDDR6 VRAM）。这一初步评估的结果选择了Mobilenet-v3-small和Inception-v3，因为它们在性能指标方面符合所有要求（图4）。最终，选择了Inception-v3架构，因为它适合多尺度特征提取（Szegedy等人2016）。因此，后续的所有建模任务都使用了Inception-v3架构。

模型训练：在架构基准测试之后，选择了Inception-v3作为模型的基础架构。与传统顺序CNN不同，Inception-v3在同一层中并行应用了多个卷积滤波器（1×1、3×3和5×5）（Szegedy等人2016）。这种多尺度特征提取提高了学习效率，同时减少了计算开销。此外，分解卷积用多个较小的滤波器（例如5×1 followed by 1×5）替换了大滤波器（例如5×5），有效地增加了网络深度，同时保持了较低的参数数量。为了利用迁移学习，Inception v3模型使用来自ImageNet数据集（Russakovsky等人2015）的预训练权重进行了初始化。为了更好地使网络适应本研究的具体需求，实施了几个架构修改。首先，将最后一个卷积块末端的全局平均池化（自适应池化）替换为标准平均池化层，以充分利用输入图像的更高分辨率（1200×1200），而不是Inception-v3期望的原始299×299分辨率。此外，池化滤波器的大小从8×8调整为9×9，以匹配前面的特征图的尺寸（36×36）。其次，增加了最终全连接层中的输入节点数量，以适应扩大的特征图，并将ImageNet分类使用的原始1000个输出节点分别替换为一般模型和飞虫模型的13个和4个输出节点。更多的实现细节和小的架构调整可以在GitHub上公开获取（https://github.com/nathanokole/Cicade_identification）。

采用了两阶段分类方法来训练模型。第一个模型用于区分Cixiidae与其他昆虫家族，而第二个模型专注于在同一Cixiidae家族内进行区分。仅使用主要数据源进行模型训练和评估。该数据集以80:20的比例分为训练集和内部测试集。训练部分又进一步按相同比例分为训练子集和验证子集。内部测试集来源于与训练数据相同的源，用于模型评估。为了减轻训练数据中的类别不平衡问题，对代表性不足的组别进行了随机重复抽样，直到训练集达到平衡。为了增强模型的鲁棒性，应用了一系列数据增强技术（Stevens等人，2020年），包括随机放大（最多+10%）、缩小（最多-10%）、水平和垂直翻转以及-30°到+30°之间的随机旋转。为了评估图像分辨率对分类准确性的影响，将图像调整为四种不同的分辨率：全尺寸（3200 dpi）、半尺寸（1600 dpi）、四分之一尺寸（800 dpi）和八分之一尺寸（400 dpi）。对于最低分辨率（400 dpi），图像首先被下采样，然后再次上采样回与800 dpi图像相同的输入尺寸。这样确保了模型与最小输入尺寸的兼容性，同时保留了用于评估的低分辨率内容。对于每种分辨率，都对池化滤波器大小和全连接层进行了调整，以保持与输入尺寸的兼容性。模型的计算效率是通过FLOPs、模型参数数量、内存使用量和GPU延迟来评估的，从而提供了关于性能权衡的见解。训练使用Adam优化器进行，这与之前的架构基准测试相同。由于内存限制，批量大小随输入分辨率而变化：全尺寸图像为12，所有较低分辨率图像为24。初始学习率设置为1×10^-5，每当验证损失连续三个周期没有改善时，学习率降低10倍（耐心参数=3）。为了防止过拟合，采用提前停止策略，耐心参数为10个周期。模型使用Python 3.9和PyTorch 2.4开发。为了确保可重复性，固定了随机种子。所有训练、评估和测试任务都在配备了Intel Core i7-12700KF（第12代）处理器、3.60 GHz主频、128 GB RAM和12 GB VRAM的NVIDIA GeForce RTX 4070 SUPER GPU的高性能工作站上完成。

模型评估和测试
模型评估使用了统计指标和视觉解释来确保准确性和可靠性。从统计上讲，模型是在内部保留的测试集上使用总体准确率、精确度、召回率和F1分数来评估的，如公式（1）至（4）所示，其中TP、TN、FP和FN分别表示真正例、真负例、假正例和假负例。总体准确率衡量了所有类别中正确分类实例的比例，提供了模型性能的总体指示。精确度量化了在所有预测为正的实例中正确预测为正的实例的比例，反映了模型预测的可靠性。召回率衡量了实际为正的实例中正确识别的比例，表明了模型检测相关昆虫类别的能力。F1分数是精确度和召回率的调和平均值，当类别分布不均匀时特别有用。这些指标共同提供了分类性能的全面视图，反映了模型正确识别昆虫种类的能力。

为了进行视觉评估，使用Grad-CAM方法（Selvaraju等人，2017年）生成了类别激活图（CAMs），以识别影响模型预测的图像区域。这有助于验证模型是否关注了生物学和形态学上的相关特征，如翅膀结构、前胸节或中胸节特征以及跗节配置，这些都是专家在视觉识别中使用的关键形态学特征。模型使用来自次要数据源的完全独立的粘性陷阱进行测试，以确保在未见数据上的稳健评估。在这种情况下，仅使用第一个模型来检测并计数陷阱上存在的Cixiidae的数量。同时，从次要数据集中随机选择了每种陷阱颜色的三个陷阱，并使用10^-7的低学习率对模型进行5个周期的微调。这种设置允许直接比较模型微调前后的性能。为了确保有效的比较，首先过滤模型预测的计数，只包括被自信识别的Cixiidae。然后使用简单线性回归将这些计数与专家验证的计数进行比较。使用决定系数（R2）和均方根误差（RMSE）来评估两种方法之间的一致性，如公式（5）和（6）所示，其中\({y}_{i}\)、\({\widehat{y}}_{i}\)、\(\:\stackrel{-}{y}\)、\(\:\stackrel{-}{\widehat{y}}\)和\(\:n\)分别表示观测值、预测值、观测值的平均值、预测值的平均值和样本总数。这些指标提供了模型在现实世界条件下泛化性能的定量衡量。

$$ {\text{总体}}\:{\text{准确率}}\,{\text{ = }}\,\frac{{{\text{TP + TN}}}}{{{\text{TP + TN + FP + FN}}}} $$ (1) $$ {\text{精确度}} = \frac{{TP}}{{TP + FP}} $$ (2) $$ {\text{召回率}} = \frac{{TP}}{{TP + FN}} $$ (3) $$ {\text{F1 - 分数}} = 2 \times \frac{{{\text{精确度}} \times {\text{召回率}}}}{{{\text{精确度}} + {\text{召回率}}}} $$ (4) $$ R^{2} = \left( {\frac{{\mathop \sum \nolimits_{{i = 1}}^{n} \left( {y_{i} - \bar{y}} \right)\left( {\hat{y}_{i} - \overline{{\hat{y}}} } \right)}}{{\sqrt {\mathop \sum \nolimits_{{i = 1}}^{n} \left( {y_{i} - \bar{y}} \right)^{2} \mathop \sum \nolimits_{{i = 1}}^{n} \left( {\hat{y}_{i} - \overline{{\hat{y}}} } \right)^{2} } }}} \right)^{2} $$ (5) $$ {\text{RMSE}} = \sqrt {\frac{1}{n}\mathop \sum \limits_{{i = 1}}^{n} \left( {y_{i} - \hat{y}_{i} } \right)^{2} } $$ (6) $$

软件应用程序开发和使用
训练好的模型被整合到一个名为Planthopper Detection & Analysis的用户友好型应用程序中，其演示版本可在网上获取（https://cicadaopenapp-ht6quik5pqzdwjwbpzqmzd.streamlit.app/）。该应用程序使用Streamlit（版本1.37.0）开发，用于粘性陷阱上昆虫的交互式识别和量化。它允许用户上传陷阱图像，自动检测感兴趣的昆虫区域（ROIs），并使用本研究中开发的两个模型对每个检测到的昆虫进行分类。该应用程序还提供检测结果的实时可视化、形态学特征摘要（例如，面积、圆形度、 solidity）以及分类结果的交互式编辑。用户可以将分析数据导出为.csv或.xlsx格式以进行进一步的统计分析。该应用程序可以在任何配备了Python 3.10或更高版本的工作站上本地运行，并通过PyTorch 2.2.0和CUDA 12.1支持自动利用可用的GPU资源。

应用程序界面的截图显示在图5中，展示了检测覆盖层、分类结果和摘要统计面板。软件实现代码可在https://github.com/nathanokole/cicada_open_app上找到。

图5
本研究中开发的软件应用程序的截图。界面允许用户上传粘性陷阱图像，自动检测和分类昆虫，并交互式地可视化结果。a 主面板显示了带有检测到的昆虫的边界框的上传陷阱图像，以及选定的感兴趣区域（ROI）以供详细检查。b 下面板总结了两个模型的分类结果：每个标签的检测数量（M1：所有昆虫；M2：Cixiidae子集）和形态学指标（平均面积、主要/次要轴）。用户可以过滤检测结果，编辑标签，并导出结果以供进一步分析。

结果
为了验证模型训练中使用的形态学标签的准确性，对一部分昆虫标本进行了COI条形码测序（图S1）。这个子集包含每个Cixiidae物种的25个个体。所有序列的质量都非常高，覆盖率超过98%，物种鉴定基于NCBI数据库中最高的核苷酸身份匹配。比较显示，在所有验证的P. leporinus、H. obsoletus和Reptalus物种中，形态学和分子鉴定之间有100%的一致性。

开发模型的性能
两个开发模型在测试集上的性能指标总结在表2中。第一个模型最初被训练为将昆虫分类为13个类别，后来通过合并相似的组别（即将苍蝇和蚊子合并到双翅目类别中，而蚂蚁和其他膜翅目昆虫归类到膜翅目类别中）进行了调整，最终形成了11个组别。尽管其性能很强，但该模型的整体准确率和精确度低于仅专注于Cixiidae内部区分的第二个模型。第一个模型的宏观精确度得分为88%，表明相对较高的误报率（12%），而其宏观召回率得分为96%，表明较低的漏报率（4%）。相比之下，第二个模型对密切相关的组别进行了分类，取得了接近完美的性能，所有指标都超过了99%。

表2 本研究中开发的两个CNN模型的性能

混淆矩阵（图6）的分析进一步揭示了各组的召回率得分。在第一个模型（图6a）中，除了‘双翅目’、‘其他昆虫’和‘伪影’之外，所有组的召回率得分都超过了0.9，Cixiidae的召回率为99%，表明该组的检测率为99%，漏报率为1%。然而，‘其他昆虫’组最为多样，召回率最低（89%）。第二个模型（图6b）表现出出色的性能，所有组的召回率得分都超过了99%，表明在区分密切相关的Cixiidae物种方面表现良好。

图6
本研究中开发的CNN模型的混淆矩阵，显示了召回率得分。a 第一个模型用于区分Cixiidae和其他昆虫组的混淆矩阵。‘伪影’组包含在黄色陷阱上检测到的所有非昆虫物质（例如，灰尘、阴影、脱落的身体部分）。b 第二个模型用于区分Cixiidae内部以及它们与其他植虫之间的混淆矩阵。

模型性能的视觉评估
Grad-CAM热图通过突出显示对分类最具影响的图像区域，提供了模型决策过程的洞察。对于第一个模型，区分Cixiidae和其他昆虫，为四个代表性组别（即Cixiidae、Fulgoroidea、Aphidoidea和Hymenoptera）生成了Grad-CAM热图，包括正确分类和错误分类的实例。对于正确识别的Cixiidae（图7a），热图显示了关键形态学特征周围的强烈激活，例如Cixiidae特有的前翅边缘拱形侧脉，以及特征的 pronotum carinae，表明模型利用了形态学相关特征进行分类。对于Fulgoroidea组（图7b），除了Cixiidae之外的其他植虫，激活区域位于它们的尖头上，与这个组的形态学特征一致。此外，与Cixiidae不同，这个组的整个翅膀表面都被激活了。对于Aphidoidea组（图7c），最高的激活位于头部以及蚜虫第六腹节背面的长而明显的结构 siphunculi 附近。其他激活较低的区域包括腿和触角。最后，对于Hymenoptera组（图7d），最高的激活位于第一和第二腹节之间的狭窄腰部，以及它们的长而细长的触角上。

另一方面，错误分类的Cixiidae示例（图7e）包含一个翅膀脱落的标本，图像中充满气泡，导致背景处的非特异性激活，从而造成错误分类。对于其他三个组，错误分类涉及包含多个昆虫的图像，导致模型关注了错误的昆虫。对于Fulgoroidea和Aphidoidea实例（图7f和g），模型关注了膜翅目昆虫。对于最后一个实例（图7h），虽然模型同时关注了膜翅目和双翅目昆虫，但最终结果支持了错误的双翅目组。

图7
表示第一个模型区分Cixiidae和其他昆虫的关注区域的类激活热图。示例激活图为四个组生成，包括Cixiidae（a和e）、Fulgoroidea（b和f）、Aphidoidea（c和g）和Hymenoptera（d和h）。顶部行（a、b、c和d）显示了正确分类图像的热图，带有白色标签，而底部行（e、f、g和h）显示了错误分类图像的热图，带有红色标签。

对于Cixiidae内部的分类，使用第二个模型为正确分类的P. leporinus、H. obsoletus和Reptalus物种生成了激活图。除了第一个模型强调的Cixiidae科昆虫的一般特征外，该模型还突出了头部作为区分P. leporinus和Reptalus spp.的显著特征（图8a和b），前者头部容器狭长，而后者头部容器宽而短。对于H. obsoletus，模型突出了前胸背板的金色基部（图8c和f）。该模型还略微强调了P. leporinus后腿的跗节部分，但在Reptalus spp.（图8e）和H. obsoletus（图8f）中这一区域并未被突出显示。

图8
该图像的替代文本可能是使用人工智能生成的。

全尺寸图像

类别激活热图显示了第二个模型在Cixiidae科昆虫内部进行区分时关注的区域。示例激活图包括P. leporinus（a和d）、Reptalus spp.（b和e）以及H. obsoletus（c和f）。顶部行（a、b和c）展示了直立的昆虫，而底部行（d、e和f）展示了侧躺的昆虫。

图像分辨率对模型性能的影响
为了确定模型性能和计算效率之间的最佳平衡，研究人员在四种不同的图像分辨率下对模型进行了训练和评估（表3）。训练和验证精度以及损失曲线展示了学习动态，见图S2。原始的3200 dpi图像虽然提供了最高的细节水平，但计算需求非常大，需要1040亿次浮点运算（FLOPs），大约1700 MB的峰值内存分配，以及大约800毫秒的推理延迟。将分辨率从3200 dpi降低到1600 dpi后，整体精度和损失都出乎意料地得到了改善，同时内存消耗、FLOPs和延迟也有所减少。值得注意的是，FLOPs和延迟分别提高了大约五倍和十倍。

然而，将分辨率进一步降低到800 dpi和400 dpi时，精度下降而损失增加，尽管内存分配有所改善。尽管FLOPs继续下降了大约五倍，但延迟的改善不那么明显，两种模型的延迟仅减少了约1.5倍。值得注意的是，这种性能降级在第二个模型中更为明显，该模型用于区分Cixiidae科内的物种，而在第一个模型中，该模型用于区分Cixiidae科与其他昆虫群体。

表3 图像分辨率对本研究开发的两个模型性能和计算效率的影响

全尺寸表格

在确定1600 dpi为最佳图像分辨率后，使用该分辨率测试了来自次要数据源的粘性陷阱，以评估模型对未见数据的泛化能力（图9）。展示了在进行微调（FT）前后，模型对粘性陷阱上Cixiidae数量的预测性能，分别针对透明陷阱和黄色陷阱进行了评估。FT之前，模型与专家观察结果高度一致（R2 > 0.8）。然而，它始终低估了实际数量，尤其是在黄色陷阱上。这反映在回归斜率上，透明陷阱为0.733，黄色陷阱为0.661，意味着每多观察到一个Cixiidae昆虫，模型分别只预测到大约73%和66个，表明遗漏率分别约为27%和34%。在对每种颜色的三个随机陷阱进行FT后，斜率分别提高到了0.87（透明陷阱）和0.85（黄色陷阱），遗漏率分别降低到了13%和15%。此外，RMSE从8.62降低到了5.24（透明陷阱），对于黄色陷阱从6.71降低到了2.68（Cixiidae实例），而R2在两种陷阱颜色上都有所提高或保持较高水平，这突显了微调在减少低估和提高模型精度方面的有效性。

图9
该图像的替代文本可能是使用人工智能生成的。

全尺寸图像

在对抗CNN模型对三种随机选择的陷阱颜色进行微调（FT）之前和之后，预测的与观察到的Cixiidae数量。每个点代表一个陷阱。线条显示了每种颜色陷阱的线性回归拟合结果，以及相应的方程式、R2值和RMSE（均方根误差）。N分别为35个和37个黄色和透明陷阱。

讨论
传统的昆虫鉴定方法，如专家通过肉眼进行的形态学分析或DNA条形编码，通常耗时且需要专业知识（Milo?evi?等人，2020年）。为了克服这些挑战，本研究利用深度学习（DL）的潜力来自动化识别粘性陷阱上的SBR传播的飞虫。多种DL架构，包括卷积神经网络（CNN）和视觉变换器（ViT），被用来寻找分类性能和计算效率之间的最佳平衡。基于变换器的模型，如Swin-Transformer，表现出强大的表现能力，但如文献中经常报告的那样，需要大量的计算资源（Han等人，2022年；Khan等人，2022年），这限制了它们适用于高分辨率昆虫图像。相反，轻量级的CNN，如MobileNetV2，提供了更快的推理速度，但分类精度较低。Inception-V3被证明是最合适的架构，在精度、可解释性和计算成本之间提供了稳健的折中。Ong和Hamid（2022年）的研究也得出了类似的发现，他们评估了几种CNN架构，包括VGG19、Xception、MobileNetV2和Inception-v3，在昆虫分类任务中的泛化性能。他们的研究确定Inception-v3是表现最好的架构，特别是在区分更高分类层次（如目和科）方面。与这些结果一致，Inception-v3在本研究中的强劲性能可以归因于其多尺度卷积模块（Szegedy等人，2016年），这些模块能够提取微妙的形态学特征，如翼脉和前胸背板结构，这些特征对于可靠的飞虫鉴定至关重要。

基于优化后的架构，开发了两个模型。这些模型相对于通用昆虫鉴定模型的一个关键优势是它们专门针对甜菜和葡萄藤害虫进行了训练，因此对于这些作物的农业害虫监测非常有意义。本研究开发的两个模型都实现了高的整体精度得分（> 90%），提供了一种可扩展、准确且客观的替代传统形态学鉴定和/或DNA条形编码的方法。值得注意的是，第一个模型对Cixiidae群体的召回率达到了99%，表明遗漏错误率仅为1%，确保了Cixiidae昆虫很少被遗漏。在害虫管理中，这种高召回率尤为重要，因为低估感染水平可能导致控制策略无效（Wang等人，2020年）。模型2通过能够区分密切相关的物种，进一步增强了分类的准确性，从而支持更精准的害虫管理决策。据报道，基于DL的飞虫分类的准确性通常在90%到99%之间，具体取决于物种多样性和成像条件。例如，Ibrahim等人（2023年）和Khairunniza-Bejo等人（2024年）分别报告了使用 controlled 条件下捕获的图像，对来自两个不同科的四种飞虫进行自动检测时的总体准确率为97.2%和98.8%。同样，He等人（2020年）在半自然环境中收集的图像中对棕色稻飞虫的DL模型进行了评估，总体准确率为96.5%。相比之下，我们研究中对于同一科内三种飞虫的高性能凸显了我们模型的竞争力。然而，数据集、成像条件和评估协议的差异限制了不同研究之间的直接可比性，模型的性能在野外条件或应用于新作物或新地理区域时可能会下降。这对于马铃薯作物尤为重要，因为P. leporinus的寄主范围已经扩大（Behrmann等人，2023年）。在这种情况下，昆虫群落组成的变化可能会降低模型精度，并增加训练数据中未包含的物种被错误分类的可能性。

为了确保模型预测的可靠性，使用Grad-CAM方法对两个模型进行了视觉评估，该方法确认了它们的分类基于生物学和形态学上相关的特征，增强了人们对决策过程的信任。此外，为了进一步提高对模型预测的信任，使用DNA条形编码对训练数据的标签进行了分子验证。结果显示形态学和分子鉴定之间有100%的一致性，确保了训练数据及后续模型预测的无偏见性。这种分子验证尤为重要，因为大多数关于自动昆虫鉴定的研究仅依赖于形态学标注，因为需要大量的标注数据（Hansen等人，2020年）。虽然形态学鉴定可能足以区分明确的昆虫群体，但在处理 order 或物种水平上密切相关的分类单元时，特别是在表型可塑性情况下，它的可靠性会降低（Tahir等人，2018年）。在这种情况下，如本研究所示，分子确认对于建立对模型预测的信任和防止潜在偏见至关重要。

在本研究中，DL模型在不同空间分辨率的昆虫图像上进行了训练和评估，以确定精度和计算效率之间的最佳平衡。本研究特别关注高图像分辨率，以捕捉足够的细节，从而准确分类密切相关的Cixiidae飞虫。令人惊讶的是，首先降低高分辨率图像的分辨率反而意外地提高了两个模型的精度和损失，这表明非常高的分辨率可能会引入复杂且多余的细节或噪声，这可能会阻碍模型的适当优化或特征提取（Sabottke和Spieler，2020年）。进一步降低分辨率导致分类性能下降，尤其是在区分Cixiidae科内密切相关的物种时。这种下降可能归因于丢失了一些细微但关键的形态学细节，例如Reptalus spp.翅膀脉络中存在的深色密集颗粒在P. leporinus和H. obsoletus中不存在，以及后腿最后一个跗节上的刺的数量，这些对于准确鉴定这些群体至关重要（Biedermann和Niedringhaus，2004年）。Kamei（2023年）也报告了类似的结果，他注意到当图像分辨率降低时，CNN模型对两种白粉虱物种的检测和分类准确性下降。然而，从计算角度来看，降低分辨率显著降低了计算成本，突显了计算效率和分类精度之间的权衡。

评估本研究中开发的DL模型的一个关键方面是将模型的计数与专家对不同年份和地点的未见粘性陷阱的计数进行比较。统计比较显示，专家和模型的计数之间有很强的一致性，决定系数很高（R2 > 0.8），均方根误差（RMSE < 9），表明模型有效地复制了专家的分类。然而，回归模型的斜率相对较低（< 0.75），表明遗漏率很高（> 25%）。在对次要数据集中的少量示例进行微调后，斜率提高（> 0.85），RMSE值显著降低（< 6），表明模型在识别和计数重叠或模糊的标本方面有所改进。这些发现突显了迁移学习的力量，正如其他研究（Hussain等人，2019年；Iorga和Neagoe，2019年）所展示的。特别是Fujisawa等人（2023年）报告称，在全球数据集上训练的昆虫分类模型在本地数据集上表现较差。他们还表明，全球数据集中的大量图像相对于本地数据集具有优势，后者更难以获得，结合使用这些数据集有助于开发更好的本地模型。我们的结果通过展示最初在大量昆虫数据上训练的模型可以在对一小部分感兴趣的图像进行最小限度的微调后，转移到未见陷阱上，并提高准确性，为模型的实际应用和维护铺平了道路。

然而，在一些拥挤的陷阱中观察到了差异，其中许多Cixiidae重叠，导致模型将多个昆虫误认为一个实例。本研究中重叠实例检测不佳的原因在于所选择的方法，该方法仅依赖于图像处理技术，如基于阈值的图像分割，然后是连通组件分析。一些关于昆虫检测的研究（Hong等人，2021年；Khairunniza-Bejo等人，2024年；Proen?a等人，2025年）通过在整个粘性陷阱图像上而不是在单个昆虫图像上训练模型来解决这个问题。尽管这种方法可以缓解重叠问题，但它也存在一些缺点：（i）它仍然会导致相当数量的遗漏，无论是对于重叠的昆虫（Khairunniza-Bejo等人，2024年）还是孤立存在的昆虫（Hong等人，2021年），而本研究中的模型能够更有效地处理这些问题；（ii）它在计算上要求更高，需要大量的处理能力（O’Mahony等人，2020年）。此外，常见的目标检测模型（如YOLO v8）通常在低分辨率图像（640×640像素）上运行（Hussain，2023年），这与本研究中使用的高分辨率陷阱图像（10,000×10,000像素）不兼容。一个更合适的替代方案可能是采用混合方法，将当前的对象检测和图像提取方法与一个轻量级的CNN模型结合起来，该模型经过训练可以预测之前提取图像中的昆虫数量和种类。这种方法不仅能够解决低估问题，还能在同一图像中存在多个昆虫群体的情况下减少误识别的情况，即使这些昆虫群体没有重叠。

尽管对架构和图像分辨率进行了优化，但本研究中开发的模型在所有测试分辨率下的计算要求仍然很高，内存分配超过400 MB，单次预测的GPU延迟超过40毫秒。相比之下，文献中的一些昆虫分类模型（Chen等人，2022年）的延迟值可低于10毫秒。本研究中显著的计算负担可能是由于输入图像尺寸较大，以及缺乏模型压缩策略（如剪枝或量化），而这些策略通常能够显著降低推理复杂性和内存消耗，同时不牺牲准确性（Choudhary等人，2020年）。对于大规模或设备上的昆虫监测应用来说，实施这些策略将特别有益，因为计算效率至关重要。

未来的研究应该致力于扩展模型的分类范围，以包括在气候变化和全球贸易背景下可能成为重要SBR（Spectral Biomass Radar）向量的其他飞虫或Cixiidae科昆虫物种。由于昆虫的分布会随着环境变化，自动识别系统必须能够适应新的害虫威胁。提高模型对实际部署场景的泛化能力同样重要。在本研究中，所有模型都是使用在受控光照和固定位置下捕获的高分辨率扫描图像进行训练和测试的。然而，基于摄像机的野外应用可能会引入相当大的变异性，例如光照不均匀、阴影、运动模糊以及陷阱放置的变化（Glover-Kapfer等人，2019年）。这些因素可能会显著影响模型的鲁棒性和预测准确性。为了应对这些挑战，未来的工作应结合先进的图像处理技术，并考虑在包含扫描图像和野外采集图像的更多样化数据集上重新训练或微调模型。这将有助于促进数字技术在精准农业SBR向量监测工作流程中的集成。