基于原型-能量开放集网络（PEOS-Net）的番茄叶片病害鲁棒识别：突破闭世界假设

《Frontiers in Artificial Intelligence》：PEOS-Net: a Prototype-Energy Open-Set Network for robust tomato leaf disease recognition beyond the closed-world assumption

　　

研究引言：深度卷积网络在PlantVillage等精选植物病害基准数据集上已取得较高准确率，但几乎所有已报道系统均假设闭世界条件，即所有测试图像均属于已知类别。在田间实际场景中，诊断系统会遇到训练分类体系之外的病害症状、作物种类、背景或损伤类型，闭集分类器会以高置信度将其错误标注，从而削弱自动化作物咨询工具的可信度。方法：研究人员提出原型-能量开放集网络（PEOS-Net），基于冻结的EfficientNet-B0主干网络，结合卷积块注意力模块（CBAM）及两个参数独立的共享表征头：一个指数移动平均（EMA）原型记忆用于驱动分类，另一个分类器头分支产生自由能分布外分数。两个分数融合为单一混合开放集分数；归一化范围、融合权重和拒绝阈值均在独立校准集上选取，从未在最终测试集上选择。在PlantVillage八类番茄子集上评估，其中两个病害类别作为未知类留出，并与共享同一主干的MSP、ODIN和OpenMax基线进行比较。结果：PEOS-Net达到93.87%闭集准确率（加权F1为0.9392）。在五个随机种子上，受试者工作特征曲线下面积（AUROC）为0.8695 ± 0.0202，精确率-召回率曲线下面积（AUPR）为0.8723 ± 0.0192，开放集分类率（OSCR）为0.8363 ± 0.0142，95%真阳性率下的假阳性率（FPR@95%TPR）为0.4853 ± 0.0645（均值 ± 标准差）。其在所有开放集指标上均优于三个基线，尽管基线具有更高的闭集准确率（96.5%）。在同模型消融中，混合分数（AUROC 0.8610）超过仅距离分数（0.7208）和仅能量分数（0.8413）；配对自助法给出相对仅能量分数的增益为+0.0198（95% CI 0.0134–0.0262）。讨论：两个分数之间的弱相关性（|r| < 0.06）及其错误低重叠表明它们携带互补信息。由于未知类来自同一PlantVillage来源，结果支持受控开放集研究而非经验证的田间部署。

研究背景方面，番茄作为全球广泛种植的蔬菜作物，受多种真菌、细菌及虫害相关叶片病害影响，及早准确诊断对粮食安全至关重要。基于PlantVillage等精选基准训练的卷积神经网络闭集分类准确率常超过95%，EfficientNet等高效主干网络使模型可部署于移动和边缘设备。然而，几乎所有已报道性能均在闭世界假设下测得，即评估集仅包含训练时见过的固定类别体系中的图像。实际部署的诊断工具无法保证这一条件：农民拍摄的番茄叶片可能包含训练集未出现的病害、不同作物、异常光照下的健康叶片、模型未展示过的虫害损伤或非叶片背景。Softmax分类器无机制表达"以上皆非"，数学上被迫在已知类上分配概率质量，且通常伴随高虚假置信度，直接损害系统可信度。这一过度自信问题催生了大量校准研究，包括简单softmax基线、温度缩放与输入扰动检测器、基于距离的马氏检测器及异常暴露训练。近期大规模基准测试表明，微调范式（全微调、线性探测或视觉提示调优）可显著改变植物病害模型区分已知与未知类别的能力，独立于原始闭集准确率；集成方法融合通用预训练主干与领域微调模型的对数空间和特征空间知识，可显著提升植物病害图像中的异常拒绝性能。这两项结果共同表明：植物病害开放集识别对架构和训练选择敏感，且融合互补证据是有效策略，前提是证据真正互补而非冗余——这正是PEOS-Net解决的设计问题。开放集识别（OSR）形式化要求系统正确分类已知类样本同时显式拒绝不属于任何已知类的样本。通用计算机视觉领域已涌现大量OSR工作，从softmax输出的极值重校准到分类器logits直接计算的自由能分数，以及基于度量/原型的利用到学习类原型距离作为几何可解释拒绝信号的方法。较新的OSR工作持续多样化这些家族，包括建模嵌入空间中各类补集的倒数点公式、直接在学得特征流形上运行的潜在能量模型，以及将这一快速增长文献整合为统一分类体系的广泛综述。然而，相对较少的OSR文献在植物病害图像上评估，尽管OSR在农业中的实践理由可以说比通用图像识别更强：田间条件本质上是开放世界的，错误但自信的诊断可带来直接经济后果。更微妙的动机在于本文的具体设计：融合多个开放集分数常被假定有益——直觉上，基于距离的分数和基于能量的分数以不同方式"看待"输入，应提供互补证据。在系统早期迭代中，研究人员发现当两个分数均源自同一底层原型距离logits时，这一直觉是错误的：原始距离分数和由同一距离计算的能量分数产生的分量AUROC差异小于0.001，即组合它们几乎不增加信息。本文架构通过设计直接解决这一陷阱，并将该失败模式的诊断与纠正视为方法论贡献本身。本文贡献包括：提出PEOS-Net开放集识别架构，将CBAM注意力的EfficientNet-B0特征提取器与两个结构独立分支耦合——驱动分类决策的原型记忆分支和驱动能量分布外信号并融合为单一混合开放集分数的独立学习分类器头分支；通过相关性和错误重叠分析实证证明两分支有效不相关（已知和未知样本的Pearson |r| < 0.05）并产生定性不同的错误——原型分支在已知样本上恢复能量分支100%的假拒绝——并通过配对自助法验证这种互补性产生融合开放集AUROC的统计显著提升（+0.027，95% CI排除零）；采用全面开放集协议评估PEOS-Net，包括AUROC、AUPR、FPR@95%TPR和开放集分类率（OSCR），以及完整混合权重敏感性扫描和嵌入空间判别性分析（t-SNE、UMAP、类内/类间距离统计）。在PlantVillage八类番茄叶片病害子集上，以2,000图像开放集测试分区，PEOS-Net在保持主干冻结的轻量条件下达到94.75%闭集准确率、开放集AUROC 0.8835和OSCR 0.8524。研究人员指出当前评估为数据集内开放集研究：未知样本来自与已知类相同的PlantVillage来源、成像条件和作物（番茄），仅病害标签不同。这一受控设置将开放集评分机制与混杂分布偏移隔离，但本身不能确立对更广泛田间部署场景（不同作物、非受控背景和光照、非叶片图像）的鲁棒性。主要关键技术方法方面：研究使用PlantVillage公开数据集的八类番茄叶片病害子集（训练集7,200图像，校准已知集800图像，校准未知集1,000图像即每类500，最终测试已知集800图像，最终测试未知集1,000图像即每类500；校准/最终测试未知划分以固定随机种子42生成一次且不在运行间重绘）；所有图像调整至224×224并采用EfficientNet特定预处理归一化；主干为ImageNet预训练且冻结的EfficientNet-B0；CBAM注意力模块及两个参数独立的任务头；使用Adam优化器（学习率1×10??）、批大小32、30个训练轮次；混合权重和拒绝阈值仅在校准集上选取。研究结果方面：闭集分类性能——在800图像已知类测试集上，PEOS-Net达到93.87%总体准确率和0.9392加权平均F1分数，Bacterial spot取得最高F1（0.9754），Target Spot（0.8826）和Spider mites（0.9119）表现最低，与PlantVillage数据集中Target Spot、Septoria leaf spot和早期螨害的视觉相似性一致；训练过程——两分支通过自定义TensorFlow训练循环联合优化，总体目标函数为L = Lproto + λLcls（λ=0.5），EfficientNet-B0主干全程冻结，仅CBAM模块、嵌入投影层、原型统计和两个分类头更新；多种子鲁棒性——五个独立种子重复训练、校准和评估，AUROC = 0.8695 ± 0.0202，AUPR = 0.8723 ± 0.0192，OSCR = 0.8363 ± 0.0142，FPR@95%TPR = 0.4853 ± 0.0645，混合分数相对更强单分支（仅能量）的AUROC改进在每个种子中均为正（均值+0.0190，范围+0.0128至+0.0266），表明融合收益跨独立训练运行一致而非依赖有利初始化；开放集识别性能——混合原型-能量分数的开放集ROC曲线AUROC = 0.8610，曲线在低假阳性率处陡升，FPR≈0.1时真阳性率约0.56，FPR≈0.2时约0.78，FPR≈0.4时约0.92，FPR≈0.6后接近1.0；OSCR曲线面积0.8267，在低假接受率处陡升，FPR≈0.2时正确分类率约0.77，FPR≈0.3后趋平并在0.90–0.94附近平台化，与闭集准确率上限一致；混合开放集分数分布显示已知样本分布较宽、众数约0.40–0.50，未知样本分布更尖锐、峰值约0.60–0.70，两分布在约0.3–0.7中间分数范围大幅重叠，该重叠区域是95%真阳性工作点残余假阳性率的直接来源；分支互补性统计分析——归一化原型距离与能量分数的Pearson和Spearman相关性幅度均较小（所有情况下|r| < 0.06，|ρ| < 0.10），Pearson相关性对两组均与零无统计可区分（p>0.09），已知样本Spearman秩相关弱但统计显著（ρ = 0.0968，p = 0.006），未知样本Spearman相关不显著（p = 0.796）；错误重叠分析显示能量分支单独漏检的741个未知样本中原型距离分支正确拒绝38个（5.1%），距离分支单独漏检的934个未知样本中能量分支正确拒绝231个（24.7%），能量分支单独错误拒绝的19个已知类样本中原型距离分支正确接受17个（89.5%）；融合改进显著性——对最终测试分区2,000次自助重采样，混合与仅能量的平均AUROC差距为+0.0198，95%置信区间[0.0134, 0.0262]排除零，2,000次重采样中零次显示非正差距；嵌入空间分析——类内距离集中在下值（均值≈19.8），类间距离均值≈22.8且上尾延伸至约48，判别比1.1530，Welch t检验t = 118.06（p < 0.001），Mann–Whitney U检验p < 0.001；t-SNE和UMAP投影一致显示八个已知类形成视觉上 distinct、良好分离的簇，未知样本主要散布在已知类簇边界之外和周围；消融研究——六个变体V1–V6逐步添加CBAM注意力、原型记忆和能量评分，V1（普通softmax）测试准确率91.25%、AUROC 0.7571、FPR@95%TPR 0.7450；V2（CBAM+softmax）测试准确率96.25%、AUROC 0.8507；V3（原型记忆无CBAM）AUROC降至0.7097、OSCR 0.6671；V4（CBAM+原型记忆）AUROC 0.7030、OSCR 0.6606；V5（仅能量门）测试准确率96.75%、AUROC 0.8177、OSCR 0.8047；V6（完整PEOS-Net）AUROC 0.8610、AUPR 0.8657、OSCR 0.8267、FPR@95%TPR 0.5375，闭集测试准确率94.00%、加权F1 0.9398；融合分数消融——同模型内原型距离单独AUROC 0.7208，能量单独0.8413，混合0.8610，相对仅能量提升1.97个百分点、相对仅距离提升14.02个百分点；混合权重敏感性——校准扫描在wd≈0.1–0.3时性能最强，选定配置（wd=0.20，we=0.80）取得最高校准AUROC 0.8447，应用于最终测试分区得AUROC 0.8711，最终测试扫描峰值在wd=0.4（测试AUROC 0.8772）略高于校准选定工作点，表明选定权重非通过观察测试分布选择；与基线开放集方法比较——MSP、ODIN和OpenMax共享PEOS-Net相同的CBAM增强EfficientNet-B0主干，所有方法在相同校准/最终测试协议下评估，方法特定超参数仅在校准集上选取，五种子平均PEOS-Net在所有开放集指标上优于三个基线：AUROC 0.8695 ± 0.0202领先最强基线OpenMax（0.8384 ± 0.0129）3.1个百分点，AUPR 0.8723 vs ODIN最强基线0.8536，FPR@95%TPR 0.4853 ± 0.0645 vs 基线0.6320–0.6430（降低约15–18个百分点），OSCR 0.8363 ± 0.0142 vs 基线0.8160–0.8185；所有三个基线闭集准确率高于PEOS-Net（0.9650 ± 0.0038 vs 0.9387），PEOS-Net优势非源于更优闭集分类，而是以适度闭集准确率换取大幅改善的开放集拒绝；计算效率——PEOS-Net原型和能量分支增加约483K可训练参数（相对普通分类头2.1倍增加），推理延迟增加5.6%（8.54–9.02 ms/图像），冻结的EfficientNet-B0主干在两个模型中均主导总参数数。讨论部分总结：本文局限性在于未知类分布范围——开放集测试分区仅从两个病害类别（Mosaic virus、Yellow Leaf Curl）抽取未知样本，来源与已知类相同的PlantVillage语料、成像协议和作物物种，构成数据集内类别留出评估，测试PEOS-Net能否拒绝训练分类体系中缺失的病害类别，但不测试对部署系统将遇到的更广泛分布偏移（不同作物、非受控光照和背景、PlantVillage缺失的虫害损伤或非叶片图像）的鲁棒性；未评估跨多个留出病害类别选择的留类扫描，也未评估外部田间条件OOD源（如PlantDoc），因此不能排除所报道开放集指标特定于Mosaic virus和Yellow Leaf Curl作为未知类的选择。结论部分翻译：本文提出原型-能量开放集网络（PEOS-Net），一种用于开放集番茄叶片病害识别的训练高效框架。该架构将CBAM增强的冻结EfficientNet-B0主干与两个互补分支集成：用于可解释距离分类的EMA原型记忆分支，以及共享同一主干的参数独立分类器头产生基于能量的不确定性分数，通过加权混合融合策略组合。在PlantVillage番茄数据集八类子集上，PEOS-Net在严格分离的校准/最终测试协议下（归一化统计、融合权重和拒绝阈值均在校准集上固定后最终测试分区仅评分一次）达到93.87%闭集分类准确率、AUROC 0.8711和OSCR 0.8394。消融实验确认混合融合一致优于任一分支单独，配对统计检验验证两分支捕获互补信息——支持架构设计并解决早期单分支实现中观察到的冗余。本评估在单一数据来源内进行，未知样本从两个留出PlantVillage病害类别在相同成像条件下抽取，因此研究人员将这些结果呈现为受控开放集识别研究而非经验证的田间部署。未来工作将聚焦于在更强正则化下对更深主干层进行选择性微调、引入显式度量学习目标（如三元组或对比损失）以进一步改善嵌入空间可分性、将当前校准协议扩展到跨更广泛未知病害类别的留类评估以探究对特定未知类选择的敏感性，并针对真正外部田间条件OOD源（如PlantDoc）评估以超越PlantVillage分布评估鲁棒性。总体而言，PEOS-Net证明将基于原型的几何表征与独立能量不确定性估计器结合为开放集诊断系统提供了有效、可解释的基础，推动面向田间部署精准农业应用的进一步验证。