《Frontiers in Plant Science》：Quantifying the reliability gap in cross-domain plant disease classification: benchmarking the limited efficacy of standard mitigation techniques under controlled-to-field shift
编辑推荐：
摘要：置信度校准（Confidence Calibration）、选择性预测（Selective Prediction）、分布外评分（Out-of-Distribution Scoring）及深度集成（Deep Ensembles）是机器学习中成熟的技术，但在
摘要：置信度校准（Confidence Calibration）、选择性预测（Selective Prediction）、分布外评分（Out-of-Distribution Scoring）及深度集成（Deep Ensembles）是机器学习中成熟的技术，但在植物病害分类器从受控实验室影像迁移至异质性田间影像所遭遇的严重域迁移（Domain Shift）情境下的效能尚未得到系统性基准测试。研究人员将基于PlantVillage数据集训练的模型在采用父图像感知划分协议的PlantDoc叶级作物影像上进行评估，并应用一系列标准缓解技术以表征可靠性差距。分析内容包括温度缩放（Temperature Scaling）与选择性预测在微调ResNet-50上的表现、定量影像级迁移分析、Grad-CAM可视化、简单目标感知适应基线、冻结特征骨干比较及集成基线。在主要案例研究中，微调ResNet-50在跨域迁移中准确率下降67.7个百分点，而平均预测置信度仍维持在79.76%。事后（Post-hoc）温度缩放将校准后的期望校准误差（Expected Calibration Error, ECE）降至0.3645，但在80%覆盖率下的选择性风险仍为64.30%。定量影像级迁移分析证实两域间在饱和度（Cohen’s d = 3.90）、边界边缘密度（d = 3.33）及前景占比代理指标（d = 2.48）上存在大效应量差异，同时Grad-CAM可视化显示模型注意力从PlantVillage中的病灶中心区域转移至PlantDoc中的背景主导区域。简单目标感知缓解方法（包括自适应批归一化与特征矩匹配）将准确率分别从0.321提升至0.343与0.366，而DANN式对抗适应则将性能降至0.252。五种骨干网络的冻结特征比较表明，在能量评分冻结骨干比较中，DINOv2-S/14取得了最高的未知检测AUROC（0.764）及80%覆盖率下最低的选择性风险（0.520），配对Wilcoxon检验证实各骨干网络间准确率与宏F1差异具有统计学显著性。两种集成基线中，热启动端到端ResNet-50集成将校准后ECE降至0.063，但AUROC仅为0.666；轻量级DINOv2线性探针集成在校准后取得0.779 AUROC，但认知多样性有限。讨论部分指出，两种集成均未达到可部署级的可靠性：所有配置在80%覆盖率下的最佳选择性风险仍高于0.51。本研究的主要贡献在于提供了一个可复现、面向部署的可靠性表征，表明在农业计算机视觉中，标准事后（Post-hoc）与轻量级适应技术在受控到田间迁移下虽能减少但不能消除严重的可靠性差距。
研究背景：全球作物病害每年造成约20%–40%的产量损失，威胁粮食安全并对小农户构成经济压力。过去十年，深度卷积神经网络（Convolutional Neural Network, CNN）在植物病害自动识别中受到广泛关注，PlantVillage等基准数据集上的分类准确率常超过95%，推动了智能手机诊断应用的预期。然而，这些结果多基于受控环境下的影像，田间真实场景包含复杂背景、光照变化、遮挡及重叠叶片，形成显著的域迁移（Domain Shift）。现有研究多集中于提升跨域准确率或单一域内的不确定性量化，却较少系统评估跨域迁移下的置信度校准、选择性预测及未知类别拒绝的综合可靠性。
研究人员针对上述问题，采用PlantVillage作为源域、PlantDoc作为目标域，构建了包含21个共有类别与7个未知类别的分类体系，并在父图像感知划分协议下防止数据泄露。研究通过微调ResNet-50作为主案例，结合温度缩放、选择性预测、定量影像统计、Grad-CAM可视化、自适应批归一化（Adaptive Batch Normalization, AdaBN）、特征矩匹配、DANN式对抗适应等方法，系统评估标准缓解技术的效能。此外，研究还比较了五种骨干网络（ResNet-50、ViT-S/16、DINOv2-S/14、CLIP ViT-B/16、CLIP ResNet-50）在冻结特征协议下的表现，并构建了两种集成基线（热启动端到端ResNet-50集成、轻量级DINOv2线性探针集成）以分析模型聚合对可靠性的影响。
主要技术方法：研究使用公开叶病影像数据集PlantVillage（受控环境）与PlantDoc（田间环境），通过类别对齐与父图像重建确保跨域评估的严谨性。主模型为ImageNet预训练ResNet-50，经端到端微调后在PlantVillage训练集上优化。校准采用温度缩放（Temperature Scaling），选择性预测基于最大softmax概率（Maximum Softmax Probability, MSP）、熵、间隔及能量评分（Energy-based Scoring）。域迁移量化通过提取17项影像级视觉统计量（如HSV饱和度、边界边缘密度、前景占比代理）并用Cohen’s d与Wilcoxon检验评估差异。Grad-CAM用于可视化模型注意力分布。适应基线包括AdaBN、特征矩匹配及DANN式对抗训练。骨干网络比较采用统一冻结编码器与线性分类头协议。集成基线分别基于权重空间多样性与共享特征空间的多分类头训练。
研究结果：
3.1 可靠性差距的严重性：微调ResNet-50在PlantVillage测试集准确率达99.73%，而在PlantDoc上降至32.05%，平均预测置信度仍维持79.76%。温度缩放虽降低ECE（Setting B下从0.4761至0.3651），但80%覆盖率下选择性风险高达0.643。未知类别检测中，MSP阈值τ=0.70时仅能拒绝45.71%的未知样本，同时误拒37.77%的已知样本。
3.2 差距成因的量化与注意力分析：影像统计显示PlantDoc相比PlantVillage在饱和度（d=3.90）、边界边缘密度（d=3.33）、前景占比代理（d=2.48）等方面存在大效应量差异。Grad-CAM可视化表明，模型在田间影像中将注意力从病灶中心转移至背景或边界区域。
3.3 简单目标感知缓解：AdaBN将准确率提升至0.343，特征矩匹配至0.366，DANN式对抗适应则降至0.252。特征矩匹配在未知检测AUROC（0.648）与选择性风险（0.594@80%）上表现最佳。
3.4 更强表征的影响：DINOv2-S/14在冻结特征协议下取得最高跨域准确率（43.19%）与未知检测AUROC（0.764），显著优于ResNet-50（28.02%，0.676）。所有骨干网络在80%覆盖率下选择性风险均高于0.51。
3.5 集成基线：热启动ResNet-50集成将ECE降至0.063，但选择性风险@80%为0.662；DINOv2线性探针集成校准后ECE为0.053，选择性风险@80%为0.517，为全研究最优，但其认知不确定性分解因共享骨干而受限。
3.6 跨方法综合：无任何方法在80%覆盖率下将选择性风险降至0.50以下，FPR95均高于0.78。
讨论与结论：研究证实受控到田间迁移导致严重可靠性差距，其根源在于模型依赖受控环境中的伪相关特征，在田间场景中失效。标准缓解技术可减少但未消除差距，更强的自监督表征（如DINOv2）与集成校准能提升部分性能，但仍不足以支持自主部署。未来需探索更丰富的域适应策略、全权重独立训练的深层集成及更多样化的源-目标场景，并结合终端用户试验验证技术改进的实际影响。该成果发表于《Frontiers in Plant Science》。
