基于冻结基础模型特征融合与特征选择的野外植物病害识别研究

《Applied Sciences》:Fusion and Feature Selection of Frozen Foundation Models for In-the-Wild Plant Disease Recognition

【字体: 大 中 小 】 时间:2026年10月23日 来源:Applied Sciences 2.5

编辑推荐:

  基于图像的识别技术可帮助种植者早期诊断植物病害。然而,在实验室叶片图像上训练的分类器在田间照片上的准确率会下降。冻结基础模型(frozen foundation models)可为田间照片提供特征,但融合多个模型会增加特征维度。本研究将来自五个预训练家族的十个

  
基于图像的识别技术可帮助种植者早期诊断植物病害。然而,在实验室叶片图像上训练的分类器在田间照片上的准确率会下降。冻结基础模型(frozen foundation models)可为田间照片提供特征,但融合多个模型会增加特征维度。本研究将来自五个预训练家族的十个冻结骨干网络(frozen backbones)的特征拼接为9472维向量,并通过特征选择或投影将该向量缩减至单个骨干网络的规模,随后使用线性探针(linear probe)进行分类。主要结果基于三个田间数据集的30次重复均值。在官方PlantWild测试集上,早期融合(early fusion)达到81.4%的准确率,晚期融合(late fusion)达到81.7%,而最佳单一骨干网络为76.7%。据研究人员所知,这是该测试集上迄今报道的最高准确率。将特征经L1惩罚特征选择(L1-penalized feature selection)缩减至1536维后达到80.6%的准确率,而此前最佳方法在2816维下为80.2%。在PlantWild上,L1选择从贡献最大的骨干网络中选取了最大份额的特征,而相关性过滤器(relevance filters)则集中于两个贡献较小的骨干网络。移除L1选择使用最少的两个骨干网络后,在任何数据集上的宏平均F1分数(macro-averaged F1 score)下降不超过0.002,推理时仅保留八个骨干网络。

论文解读

研究背景与问题

植物病害是植物正常生长、功能或结构遭受的持续干扰,其成因既包括真菌、细菌和病毒等生物因素,也包括温度极端、水分变化和营养缺乏等非生物因素。病原体与动物害虫共同降低作物产量和品质,威胁粮食安全。对五大主要粮食作物而言,病原体使全球产量减少17%至30%,且损失最严重的是人口快速增长的食物短缺地区。减少这些损失始于早期发现病害并正确识别。许多病害在叶片上呈现可见症状,但多数农场仍依赖人工肉眼识别,既费时又易出错。
基于图像的植物病害识别已成为广泛研究的课题。早期系统手工计算颜色和纹理描述符并输入经典分类器;随后在ImageNet上预训练并在叶片图像上微调的卷积神经网络成为最常用方法;近期工作则使用视觉Transformer、卷积与Transformer混合架构以及大型预训练基础模型。然而,实验室图像上获得的准确率并不能完全迁移到田间照片。对84项迁移学习研究的综述显示,模型在PlantVillage上平均准确率为94.4%,而在田间数据集上仅为85.2%。PlantVillage作为最广泛使用的数据集,其图像呈现均匀背景上的单张叶片;仅看到每张图像八个背景像素的随机森林即可对其38个类别达到49.0%的分类准确率,而随机水平仅为2.6%。为衡量田间条件下的性能,研究者构建了PlantDoc和规模更大的PlantWild两个数据集。在PlantWild中,不同病害可能外观相似,而同一病害在不同图像间可能差异显著。
冻结预训练视觉模型为分类此类田间图像提供了低成本途径。无需微调网络,每张图像仅需一次通过预训练模型,其特征向量被存储,仅需在存储向量上训练小型分类器。CLIP等语言-图像模型可通过将图像与文本提示形式书写的类别名称匹配实现零样本使用,但零样本准确率较低。零样本CLIP在PlantWild上仅达25.9%,而在单一冻结DINOv2-L特征上训练的分类器达到77.6%,高于MVPDR的76.2%。
以不同目标训练的模型对图像的编码方式不同,融合这些模型是直接利用这些差异的方式。El Karch等人拼接DINOv2-L、DINOv3-L和CLIP-L的特征后在PlantWild上达到80.2%。但融合带来两个实际问题:每增加一个模型都会延长特征向量和推理时间,且事先不清楚哪些模型值得其成本。在另一项研究中,VGG16、ResNet50和InceptionV3的拼接特征测试准确率为97.0%,反而低于VGG16和ResNet50各自单独达到的99%。
上述问题引出两个研究问题:其一,融合多个多样化模型相比最佳单一模型能增加多少性能,增益依赖于哪些模型;其二,当融合向量被缩减至单一模型的规模时,特征选择和投影方法表现如何。已有植物病害研究使用方差分析(analysis of variance,ANOVA)和最小冗余最大相关性(minimum-redundancy maximum-relevance,mRMR)过滤器以及元启发式搜索选择深度特征,但这些研究仅涉及单一网络或至多三个网络的融合。当融合多个模型时,不同模型的特征可能变得冗余。仅根据特征自身得分排序的过滤器可能选择大量冗余特征,而套索(lasso)倾向于保留相关组中的一个成员。

研究设计与方法

研究人员使用来自五个预训练家族的十个冻结骨干网络:语言-图像对比学习(SigLIP 2-B/16、SigLIP 2-L/16、BioCLIP)、自蒸馏(DINOv3-B/16、DINOv2-L/14)、掩码图像建模(EVA-02-B/14)、自回归预训练(AIMv2-L/14)和监督分类(ViT-L/16、ConvNeXt-L、ConvNeXt V2-B)。其拼接特征形成9472维向量,由多项逻辑回归分类。五种方法将该向量缩减至384至3072维:L1惩罚选择、主成分分析(principal component analysis,PCA)、行列式点过程(determinantal point process,DPP)、进化策略(evolution strategy,ES)和随机选择。ANOVA和mRMR被单独考察。为衡量每个骨干网络的贡献,研究人员评估了十个骨干网络的全部1023个子集。结果基于官方PlantWild测试集、PlantDoc仓库的测试文件夹以及Turkey Plant Pests and Diseases(TPPD)数据集的固定测试集,主要结果基于30次配对重复。三个数据集的样本来源分别为:PlantWild含18,542张89类网络图像,PlantDoc含来自网络的田间图像,TPPD含在土耳其两所农业院校田间研究中用单一相机拍摄的4447张15类图像。

研究结果

融合与降维。 在PlantWild上,十个骨干网络的早期融合超过DINOv2-L/14达+0.047宏F1,达到0.788宏F1和81.4%准确率,而DINOv2-L/14为0.742和76.7%。在TPPD上,全融合得分0.995,超过单一骨干+0.003。在PlantDoc上,其宏F1为0.773、准确率78.9%,与DINOv2-L/14无显著差异。晚期融合在PlantWild上宏F1为0.790,PlantDoc上0.764,TPPD上0.994。将融合向量缩减至1536维在PlantWild上保留了大部分增益:L1选择达到0.782宏F1和80.6%准确率,PCA为0.779和80.4%。五种方法在两个k值下均超过单一骨干网络。在PlantDoc上,缩减向量在1536维时不显著异于DINOv2-L/14。在TPPD上,所有差异不超过0.005,DPP在1536维时给出最高得分0.997宏F1和99.8%准确率。
融合空间中的相关性过滤器。 ANOVA和mRMR将大部分列集中于少数骨干网络。在PlantWild上,ANOVA和mRMR得分0.758和0.757,与随机选择的0.756相差不超过0.002,而L1选择达到0.767。ANOVA将55%的768列置于AIMv2-L/14和EVA-02-B/14上,mRMR将47%置于这两者,而这两个骨干网络按主效应分别排名第五和第十。L1选择将其两个最大份额给予主效应最大的两个骨干网络,23%给DINOv2-L/14,19%给SigLIP 2-L/16。块平衡变体的效果取决于非平衡过滤器放置其列的位置:平衡使mRMR在PlantWild上从0.757升至0.760,在TPPD上从0.993升至0.996,但在PlantDoc上从0.769降至0.764。
骨干网络贡献与剪枝。 在PlantWild和PlantDoc上,两个最大主效应属于大型骨干网络:PlantWild上为SigLIP 2-L/16(0.0153)和DINOv2-L/14(0.0139),PlantDoc上为DINOv2-L/14(0.0225)和ConvNeXt-L(0.0130)。TPPD上所有主效应介于-0.0008和+0.0046之间。PlantWild上的七骨干网络预言机子集得分0.792,而同一十次重复中全部十个为0.790。PlantDoc上SigLIP 2-B/16与DINOv2-L/14组合得分0.794,全部十个为0.773。在PlantWild上,平均子集得分随每个添加的骨干网络上升,从成对的0.745升至全部十个的0.790;45对或120个三元组均未匹配十骨干网络融合。九个最负成对交互中有八个涉及DINOv2-L/14或SigLIP 2-L/16。L1份额剪枝从十个骨干网络降至八个在任何数据集上最多降低0.002宏F1。EVA-02-B/14在每个数据集的每次重复中都是最先被移除的两个骨干网络之一。
与先前工作比较。 在官方PlantWild测试集上,十骨干网络融合给出迄今报道的最高准确率:早期融合81.4±0.3%,晚期融合81.7±0.3%。L1选择在1536维下为80.6±0.4%。此前最佳结果80.23±0.41%来自El Karch等人使用三个冻结骨干网络、2816维向量和混合线性原型头。在宏F1方面,El Karch等人报告其融合为0.775,而本研究的早期融合为0.788。

讨论与结论

骨干网络贡献与冗余。 主效应最大的骨干网络部分冗余。九个最负交互中有八个涉及DINOv2-L或SigLIP 2-L。在共享预训练家族的两对中,基础变体在大变体已存在时增益较小。融合在单一骨干网络主效应远大于其他骨干网络时增益最小。在PlantDoc上,DINOv2-L的主效应是次位骨干网络的1.7倍,全融合不显著异于单独DINOv2-L。在PlantWild上,两个最大主效应彼此接近,融合获得4.7个宏F1点增益。
融合空间中的特征选择。 相关性过滤器将选择集中于少数块,因为它们主要根据每个特征对标签的自身相关性排序。来自同一骨干网络的特征相互关联,因此个体预测性强的块会同时将许多冗余特征置于排名前列。套索倾向于丢弃此类组中除一个特征外的所有特征。在PlantWild上,过滤器将约半数选择特征置于主效应排名第五和第十的AIMv2-L和EVA-02-B中,而L1选择仅将12%置于此处。当集中落在主效应较低的骨干网络上时降低宏F1,落在主效应最大的骨干网络上时无害。随机选择在PlantWild上接近相关性过滤器,可能因为它按期望保持每个块的比例份额。
实践建议与成本。 研究结果支持简短流程:从不同预训练家族提取多个冻结骨干网络特征,有大型变体时取大型;在融合向量上拟合1536维L1选择并移除L1份额最低的骨干网络,数量在验证数据上设定;将剩余向量用L1选择缩减至约1536维;在缩减特征上训练多项逻辑回归探针。降维将探针权重从843,097降至136,793。剪枝移除两个推理骨干网络,十个骨干网络合计每图像需1518.3 GFLOPs,最常见的八骨干网络池在三个数据集上分别需1405.7、1316.3和1443.7 GFLOPs。
局限性。 所有骨干网络均为冻结状态,未与微调比较。骨干网络的预训练数据不完全公开,无法检查PlantWild和PlantDoc的测试图像是否出现在其中。PlantDoc测试集仅236张图像。剪枝移除的骨干网络数量从测试曲线读取,与预言机子集类似。结果仅来自三个公共植物病害数据集。
结论。 用L1选择或PCA将十骨干网络融合缩减至单一骨干网络的特征规模,在全部三个数据集上将宏F1保持在全融合的一个点以内。在PlantWild上,全融合超过最佳单一骨干网络,L1选择在1536维时保留了+0.047宏F1增益中的+0.040。选择方法决定了哪些骨干网络提供所选特征。L1份额还提供了剪枝排序,移除排名最低的两个骨干网络在任何数据集上最多花费0.002宏F1。对于新的田间数据集,研究人员建议:融合来自多个预训练家族的冻结骨干网络,按L1份额剪枝并以验证数据设定数量,将剩余部分缩减至约1536维后训练线性探针。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号