《Agronomy》:Reframing Weed Detection: From Feature-Based Vision to Crop-Guided Intelligence in Precision Agriculture
编辑推荐:
本研究系统探究了图像预处理、模型架构以及特征图分辨率对基于深度学习的瓦螨(Varroa destructor)检测中分类精度与Grad-CAM++可解释性的联合影响。研究人员从20群西方蜜蜂(Apis mellifera)的蜂巢表面图像中获取3400张感兴趣区
本研究系统探究了图像预处理、模型架构以及特征图分辨率对基于深度学习的瓦螨(Varroa destructor)检测中分类精度与Grad-CAM++可解释性的联合影响。研究人员从20群西方蜜蜂(Apis mellifera)的蜂巢表面图像中获取3400张感兴趣区域(Region of Interest, ROI)图像,通过12种预处理流程进行处理,该流程组合了去模糊、直方图归一化、形态保持缩放以及非形态保持缩放。研究筛选了19种卷积神经网络(Convolutional Neural Network, CNN)架构,包括一种具有可配置通道注意力机制(Channel Attention)的自定义轻量级模型VarroaNet,对所有预处理流程进行评估;随后对排名前六的架构在四种特征图分辨率(7×7至56×56)下进一步评估;两个阶段共计1548次分类训练运行,涵盖516种配置。结果表明,缩放操作一致性地提升了分类精度,而直方图归一化则降低了精度。VarroaNet(r=8)在所有配置中取得了最高的平均精度(97.28%)及最低的跨配置变异性(变异系数CV=1.47%)。28×28分辨率在最小计算开销下同时实现了分类与定位的最优效果,而56×56分辨率则导致性能下降。值得注意的是,分类精度与定位质量并不总是一致的——最高精度配置(ShuffleNet-V2-x1.0于14×14,97.34%)的IoU@30仅为0.160,凸显了进行显式定位评估的必要性。形态保持缩放(Morphology-Preserving Resizing, MR)以零形态失真的代价实现了更高的定位效率。推荐配置——VarroaNet(r=8)于28×28分辨率配合去模糊MR预处理——取得了最高的定位性能(Pointing Game=0.927),即在92.7%的感染测试图像中实现了对螨区的正确关注。
研究背景方面,养蜂业是关乎蜂蜜、花粉、蜂蜡生产以及农作物授粉的重要产业,但面临瓦螨(Varroa destructor)寄生的严重威胁。该外寄生螨干扰成蜂、蛹及幼虫的正常发育,显著加剧蜂群崩溃和蜂群数量下降。现有诊断方法如目视检查、糖粉滚动法和底板检查均需在获取瓦螨后进行人工计数,存在主观性强、劳动强度大等问题。鉴于瓦螨体型微小(1.6×1.1 mm)且具保护性红褐色,与蜜蜂体色相近,目视识别困难,常导致过度依赖定期杀螨剂施用,进而促进瓦螨抗药性发展并在蜂产品中留下化学残留。因此,开发快速、早期的诊断技术对控制瓦螨初期感染、减少杀螨剂使用至关重要。
近年来,蜂业研究日益关注蜂群数据数字化与自动化技术引入,其中基于计算机视觉和人工智能(Artificial Intelligence, AI)的蜜蜂健康监测与疾病诊断技术备受关注。尽管现有研究利用CNN和You Only Look Once(YOLO)模型实现了较高识别精度,但存在关键局限:模型预测是否基于瓦螨实际形态特征而非混淆性背景线索缺乏验证,且多数模型在简单均匀背景上训练,限制了其在复杂真实养蜂环境中的适用性和鲁棒性。此外,Grad-CAM等权重可视化算法虽能验证AI模型关注实际目标而非虚假背景信息,但缺乏客观量化的系统性分析框架。同时,蜜蜂快速移动导致的图像模糊也给准确识别带来挑战,而去模糊技术在蜂业中的应用研究仍然有限。
为此,本研究旨在开发和验证基于CNN的模型,以区分正常蜜蜂与瓦螨感染蜜蜂,使用真实养蜂环境中获取的蜂巢图像。研究构建了12种预处理流程(2×2×3因子设计:去模糊×直方图归一化×缩放方式),涵盖去模糊、直方图归一化以及三种缩放方式(无缩放、非形态保持缩放NR、形态保持缩放MR)。研究筛选了19种不同参数规模和结构设计的架构,包括CNN(ResNet、MobileNetV2/V3、EfficientNetB0、ShuffleNetV2、RegNetY-400MF)、基于Transformer的模型(Swin Transformer)以及自定义轻量网络VarroaNet(r=4, 8, 16),随后对表现最优的架构在四种特征图分辨率(7×7、14×14、28×28、56×56)下重新评估,以探究空间粒度与架构及预处理选择的交互作用,并应用Grad-CAM++评估分类最优配置是否同时关注实际螨区。研究共计系统化比较1548次训练运行,以确定预处理、架构、分辨率和注意力强度的最优组合。该论文发表于《Agronomy》。
本研究采用的关键技术方法包括:图像采集方面,使用Blackfly S GigE相机(FLIR,2048×1536像素,工作距离约300 mm)在韩国春川市和完郡市20群蜂群的蜂巢表面采集图像,经筛选获得3400张ROI图像(正常与感染各1700张);预处理方法包括MPRNet深度学习去模糊、通道独立最小-最大线性拉伸直方图归一化、形态保持缩放(MR,保持长宽比后填充)与非形态保持缩放(NR,直接拉伸压缩);模型架构涵盖19种CNN及基于ShuffleNet-V2改进的VarroaNet(配置SE模块缩减比r=4,8,16);通过修改步幅策略实现7×7至56×56四种特征图分辨率;采用3折分层交叉验证评估分类性能,固定7:2:1划分用于Grad-CAM++可解释性分析;使用AdamW优化器、ReduceLROnPlateau调度器及早期停止策略训练,基于ImageNet预训练权重迁移学习;可解释性评估采用Grad-CAM++生成类激活热图,通过IoU@T(T=0.50, 0.30)、Pointing Game、距离误差(Distance Error)和能量内部(Energy Inside)四种空间定位指标量化;统计方法包括Wilcoxon符号秩检验、Kendall和谐系数W、Kruskal-Wallis H检验、Friedman检验、Spearman秩相关、TOST等效性检验以及Holm-Bonferroni校正。
研究结果部分,首先关于预处理与图像质量:形态保持缩放(MR)在保持目标形态方面优于非形态保持缩放(NR),后者导致47.5%的平均长宽比失真。MPRNet去模糊有效改善纹理细节,但直方图归一化反转了R通道的类间差异(+1.08变为?2.72),压缩了G/B通道差异,增加了类内方差,对分类产生负面影响。
在CNN分类性能方面,19种架构聚为五类:A类(>97%)包括VarroaNet(r=8, r=4)、ShuffleNet-V2-x1.0、VarroaNet(r=16)、GoogLeNet,表现最优;B-C类包含多种高效轻量架构;D类方差较大;E类(<80%)包括VGG11-BN、MNASNet-1.0、AlexNet、VGG11、Swin Transformer-S和SqueezeNet-1.0,多数未能收敛。Kendall和谐系数W=0.617表明模型排名跨预处理条件具有中等至强一致性。方差分解显示架构解释46.5%的总方差,预处理解释21.7%。缩放产生最大单因素效应(MR:d=0.96;NR:d=1.06),而直方图归一化平均降低精度2.79±3.07个百分点(d=?0.91),此负面效应随分辨率增加而放大(7×7itating?1.67 pp至56×56的?8.50 pp)。去模糊未产生显著精度增益(p=0.068)。MR与NR之间无显著差异(p=0.376)。
多分辨率分析方面,相对于7×7基线,14×14提升+0.14 pp,28×28提升+0.25 pp,56×56下降?2.48 pp。28×28在分类和可解释性间取得最佳联合效果。56×56导致MobileNetV3-Small崩溃(训练精度仅86.09%),尽管EfficientNet-B0在56×56仍获增益(+0.73 pp)。推理延迟跨分辨率变化不足2毫秒,但56×56训练成本增加301%。
Grad-CAM++定位质量方面,28×28在所有五项指标上表现最优:IoU@50=0.2857,IoU@30=0.2686,Pointing Game=0.4381,Energy Inside=0.2885,距离误差=0.0804。56×56因激活过度分散而性能倒退。三种定位响应模式被识别:基于通道混洗架构(VarroaNet (r=8)、ShuffleNet-V2)在28×28达峰值;全SE模块(r=4)在14×14最优随后下降;EfficientNet-B0和MobileNetV3-Small表现异质。VarroaNet(r=8)以最低变异系数(CV=1.47%)成为最稳定模型。分类精度与定位保真度不完全对应:最高精度配置(ShuffleNet-V2-x1.0于14×14,97.34%)的IoU@30排名仅第21/24,而Pointing Game最高配置(VarroaNet (r=8)于28×28)精度排名第三,Spearman相关系数显示距离误差(ρ=?0.745)、IoU@50(ρ=+0.647)和Pointing Game(ρ=+0.565)具有显著相关性,但方差解释有限。在预处理效应方面,缩放对定位质量主导效应最大(NR: d=2.09; MR: d=1.61),NR原始IoU更高但源于边界框覆盖膨胀(2.61% vs 1.72%),面积归一化后MR效率高出29%。去模糊与缩放存在交互:去模糊缩小了NR与 MR的差距,对MR的Pointing Game提升更大(+24%)。最优MR配置为VarroaNet(r=8)于28×28配合去模糊+MR,Pointing Game达0.927。
讨论部分,研究人员指出三个一致发现:其一,更简单的预处理流程优于复杂组合,直方图归一化的负面影响源于R通道类间差异反转和类内方差膨胀,且此惩罚随分辨率增加而放大;其二,架构选择的影响超过预处理,轻量CNN(VarroaNet、ShuffleNet)表现最佳,而VGG11等大量参数网络和Swin Transformer-S未能收敛,反映小数据集下紧凑架构的泛化优势;其三,28×28的中间分辨率提供预测性能与定位质量的最佳平衡,存在与目标尺度相关的"分辨率甜点",过细特征图导致显著性响应碎片化。可解释性分析揭示分类精度不足以作为部署导向的模型选择依据,高准确度配置可能依赖上下文线索而非直接目标关注。SE模块与分辨率存在交互:全SE(r=4)改善14×14定位,中等压缩(r=8)在28×28更优,表明注意力强度应与特征图分辨率协同优化。研究局限性包括单数据集、受控成像条件可能低估去模糊价值,以及ROI分类较端到端检测简化。
研究结论部分,本研究系统评估了图像预处理、模型架构、特征图分辨率和通道注意力设计对瓦螨检测的分类精度、鲁棒性和可解释性的独立与交互效应,1548次运行的因子框架为精准养蜂深度学习系统设计提供了定量依据。第一条结论是预处理复杂度并未转化为更好性能:仅基于图像缩放的流程始终优于纳入直方图归一化或去模糊的组合,MR和NR分别产生大效应量(d=0.96和1.06),而直方图归一化平均降低精度2.79±3.07个百分点,且该惩罚随分辨率增加而增长(7×7的?1.67个百分点至56×56的?8.50个百分点)。对于受控采集条件下的农业成像工作流,不应未经实证验证即应用通用归一化。第二条结论是架构对分类精度的影响大于预处理:VarroaNet(r=8)以仅1.3 M参数在所有架构比较中取得最高平均精度(97.28%)和最低跨条件变异性(CV=1.47%),大量参数网络(VGG11:128.8 M;AlexNet:57.0 M)和Swin Transformer-S均未能可靠收敛。对于中小规模农业数据集,匹配数据规模的紧凑架构优于大型面向基准的网络。第三条结论是特征图分辨率是关键的优化变量而非简单最大化参数:28×28分辨率提供了分类精度、Grad-CAM++定位质量和计算效率的最佳联合平衡,56×56产生约四倍训练成本却无一致增益并导致MobileNetV3-Small收敛崩溃。通道注意力行为亦随分辨率变化:全SE(r=4)改善14×14定位,中等压缩(r=8)在7×7、28×28和56×56更优,表明注意力强度不能独立于空间尺度优化。实践者应评估匹配目标对象尺寸的中间分辨率,而非默认采用更高值。第四条结论是单独的分类精度不足以指导面向部署的模型选择,且基于重叠的可解释性指标本身需谨慎解读:若干高精度配置产生弥散的Grad-CAM++图,表明依赖上下文而非直接螨体线索。联合性能最强的配置为28×28分辨率去模糊+MR预处理的VarroaNet(r=8),该单一配置取得97.26%精度(跨配置均值97.28%)和Pointing Game得分0.927——即92.7%的感染测试图像(n=170)中激活峰值落入标注螨区,同时保持原始长宽比。NR预处理产生更高原始IoU,但此差异主要源于长宽比失真导致的边界框覆盖膨胀(NR:2.61% vs MR:1.72%);针对目标面积膨胀归一化后,MR产生29%更高的定位效率。对于需要生物学可解释性的应用,推荐采用MR流程并同时报告定位指标与精度;对于自动化筛查,若形态失真可接受,NR仍具竞争力。研究局限性在于所有分析均基于韩国两蜂场二十群西方蜜蜂在受控室外采集条件下的人工裁剪ROI图像;当前的预处理结论和ROI级分类精度可能无法直接迁移至端到端检测或具有异质光照、传感器或亚种条件的野外置。未来的前瞻性验证将跨越蜜蜂亚种(如东方蜜蜂A. cerana)、变化的光照条件(直射阳光、阴天、低光)以及多样化的成像硬件和工作距离展开。总体而言,稳健的农业深度学习系统并非通过最大化预处理强度、网络规模或特征图分辨率获得,而是将预处理简洁性、架构容量、表征规模与可解释性目标与目标任务的生物学特性联合对齐时,方能实现可靠性能。