《Frontiers in Artificial Intelligence》：Instance-level localization and similarity-aware contrastive learning for robust plant disease classification
编辑推荐：
**摘要**：真实田间图像中的植物病害分类仍面临复杂背景、叶片重叠、多重症状区域以及视觉相似病害类别等挑战，因此传统基于图像级分类器可能学习到混合表征，使病害特异性线索与健康组织、背景信息或共存症状相互混淆。为解决上述问题，本研究提出一种实例感知与相似性感知（
**摘要**：真实田间图像中的植物病害分类仍面临复杂背景、叶片重叠、多重症状区域以及视觉相似病害类别等挑战，因此传统基于图像级分类器可能学习到混合表征，使病害特异性线索与健康组织、背景信息或共存症状相互混淆。为解决上述问题，本研究提出一种实例感知与相似性感知（similarity-aware）的植物病害分类框架。该方法首先利用以粗粒度定位标签训练的轻量级YOLOv8n检测器对病害进行定位；随后提取与定位区域对应的图像块（patch），并将其输入混合CNN–Transformer架构，其中ResNet-18捕获细粒度局部病斑特征，Transformer分支建模更广泛的上下文依赖关系。这些互补表征通过跨注意力融合（cross-attention fusion）进行整合，并投影至共享嵌入空间。为提升类间可分性，研究采用动态更新的类原型（class prototypes）识别视觉上易混淆的病害对，并引入相似性加权对比损失（Similarity-Weighted Contrastive Loss）对混淆类边界施加分离压力；此外加入去相关正则项（decorrelation regularization term）以降低所学嵌入中的冗余。在重新标注的DiaMOS Plant叶片数据集上，采用源图像级划分协议（同一田间图像的所有图像块保持于同一数据分区）进行评估，结果表明所提框架在锁定留出测试集（locked hold-out test set）上达到97.49 ± 0.73%的准确率与94.82 ± 0.81%的宏F1分数（macro F1-score），显著优于在相同实验协议下重新实现的基线方法（p < 0.001）。利用t-SNE（t-distributed stochastic neighbor embedding）与归一化混淆矩阵进行的嵌入空间可视化进一步表明，该框架在四类病害上具有改善的类分离性与可靠的预测行为。
**一、研究背景与问题**
作物病害是全球粮食安全的主要威胁之一，各类作物病害每年造成20–40%的产量损失并带来数十亿美元经济损失（Savary et al., 2012），在农业为主要经济基础的发展中国家尤为突出（United Nations, 2019）。因此，植物病害的早期准确诊断对控制损害、维持农药合理使用具有重要意义（Kundu et al., 2022）。传统诊断依赖农民或农业专家的视觉检查，虽具一定价值，但耗时、主观、依赖人工经验，且难以在大范围农业区域推广（Upadhyay et al., 2025; Dong et al., 2023）。这些局限推动了自动化图像识别系统的发展，深度学习因其快速、可扩展和低成本而成为植物病害诊断的有前景方案（Hridoy et al., 2022; Mohanty et al., 2016）。
深度学习模型（如MobileNet、Inception、ResNet、DenseNet-SVM混合模型及多尺度卷积模型）在基准数据集上取得显著成功，但多数模型在受控数据集上训练与评估——即室内均匀背景下从正面拍摄单张叶片。这与真实农业场景差异显著，真实场景中存在多叶、遮挡、光照变化、复杂背景及单图多病害等情况。真实世界数据集带来两类实际挑战：其一为**多病害共存**，单一叶片可能感染多种病害或具有多个症状，多数模型聚焦最显著视觉模式而误判，虽有TC-MRSN（Wang et al., 2024）与DSTANet（Gao et al., 2025）等模型通过抑制背景或引入注意力机制应对杂乱背景，但未显式定位病害个体实例；其二为**类间视觉相似性**，不同病害在外观上相似（如病斑结构、褪绿模式、表面纹理），文献报道木薯花叶病与褐条纹病、小麦黄锈病与壳针孢病、大豆早期病害等均存在显著混淆。
已有解决方案包括注意力机制（Lee et al., 2020; Bera et al., 2024; Saini et al., 2022; Wang et al., 2021）以及少样本与度量学习方法（Argüeso et al., 2020）。然而这些方法仍存在不足：注意力方法虽聚焦病害特征，但仍将图像视为单一分类单元，当图像包含多种病害与症状时可能混合各区域视觉信息；少样本与度量学习方法对所有类对施加相同分离约束，可能不必要地拆分已良好分离的类，而对视觉相似类关注不足。
为此，本研究提出统一框架，采用实例级病害定位与相似性感知表征学习。轻量级YOLOv8n检测器定位病害区域并提取对应图像块；检测阶段将所有病害视为单一类别，避免同一图像多病害区域造成的特征混合，使分类器每次处理一个病害实例；随后设计混合CNN-Transformer架构提取局部病斑纹理、颜色变化、边缘细节及全局上下文信息，并通过跨注意力机制融合；最后利用动态演化类原型与相似性加权对比损失选择最易混淆病害对进行训练，并引入去相关正则项降低嵌入空间冗余。与既有框架相比，本框架的贡献在于：以先隔离再分类方式处理多病害；通过相似性加权对比损失先识别最易混淆类对再聚焦优化困难边界；利用混合CNN-Transformer与跨注意力融合捕获局部与全局特征；在DiaMOS Plant叶片数据集上以统一实验协议与多个重实现基线比较，取得更高平均准确率与宏F1分数。
**二、关键技术方法**
研究采用PyTorch在Kaggle云平台GPU上实现，随机种子固定为42。方法主要包括：（1）以粗粒度定位标签（病害区域/健康区域）训练的YOLOv8n检测器，输入640×640，训练50轮、批大小16，置信度阈值0.3，IoU匹配阈值0.3，仅用开发池图像训练；（2）源图像级分层划分（15%锁定测试集、85%开发池）与分组5折交叉验证，图像块缩放至256×256，分类输入224×224；（3）基于ResNet-18（ImageNet预训练）与Transformer分支的混合特征提取，经8头跨注意力融合并由全局池化与全连接层生成256维嵌入；（4）类原型动量更新（α=0.9）、Top-K（K=2）相似类选择与相似性加权对比损失，温度τ=0.1，每类对采样8个样本，相似性权重指数γ=1.0；（5）去相关正则项与总损失（λ1=0.5，λ2=0.1），AdamW优化器、学习率1×10??、余弦退火、早停耐心5轮、梯度裁剪5.0，类别不平衡以训练折逆频率类权重处理，最终采用5折模型logit平均集成。数据来源为DiaMOS Plant数据集（Fenu and Malloci, 2021）的叶片子集，共3006张叶片图像（健康43、斑点884、卷曲54、蛞蝓危害2025），经重新标注后形成9761个实例级图像块（开发池8020个，锁定测试集1741个），开发池与锁定测试集分别含2555与451张源图像。
**三、研究结果**
**（1）评估协议**：以准确率与宏F1分数为指标，所有对比方法在相同源图像划分、5折与锁定测试集下重实现训练，结果为5折模型均值±样本标准差，反映各方法平均性能及跨训练分区的稳定性。
**（2）与重实现类间相似性方法的比较**：所提框架达到97.49±0.73%准确率与94.82±0.81%宏F1分数，最强基线Egusquiza et al.（2022）为89.93±1.34%与87.08±1.60%，提升分别为7.56与7.74个百分点，Welch t检验确认差异大于折间变异（准确率t=11.08，宏F1 t=9.65，p<0.001）。多数对比方法准确率远高于宏F1（如Sunday et al., 2025为86.16±5.41%准确率但宏F1仅43.91±0.47%），说明其偏向多数类；所提框架宏F1折间差异不超过1个百分点，而Gao et al.（2025）与Khan et al.（2025）偏差超10个百分点，表明实例级图像块降低了输入阶段变异，为对比学习提供更清晰信息。
**（3）消融研究**：仅CNN（ResNet-18）+CE损失为0.882准确率与0.869宏F1，仅Transformer（ViT）+CE为0.867与0.866；ResNet-18+ViT+CE准确率反降至0.860、宏F1微升至0.874；再加SWC损失进一步降至0.823与0.856。这表明若输入表征仍含混合视觉信息，更强的度量学习目标并不自动带来收益；完整框架达0.980准确率与0.939宏F1，说明最大增益来自将全图学习重构为实例级病害区域学习，而非单纯叠加架构组件。文中给出不同配置预测可视化对比（红色为卷曲、黄色为蛞蝓、青色为斑点）。
**（4）逐类性能分析**：基线配置中斑点类F1最低（0.78–0.81）；所提框架将健康、蛞蝓与斑点类F1提升至0.97–0.99，斑点类提升最明显（至0.98）。卷曲类F1为0.82，低于仅CNN与混合基线的0.88，其精确率与召回率分别为0.83与0.81，错误分布于漏检与被误判为卷曲两侧；卷曲类锁定测试集仅25个图像块，召回率95%置信区间约[0.61, 0.91]，而蛞蝓类810个图像块对应区间约[0.98, 0.99]，故0.82属不稳定估计，与基线0.88的差异在该样本量可分辨范围内；卷曲类原始数据集仅54张源图像，训练与测试样本均稀缺。
**（5）混淆矩阵与嵌入空间分析**：t-SNE可视化显示四类嵌入形成紧凑且清晰分离的簇，表明相似性感知目标促进类内紧凑并减少易混淆类重叠；归一化混淆矩阵呈强对角线主导，多数样本被正确归类，与高宏F1及逐类F1提升一致，共同表明框架改善了嵌入空间结构与最终预测可靠性。
**四、讨论与结论**
讨论部分指出，实验结果表明当输入图像含混合视觉信息时，仅在特征或损失层面处理类间相似性可能不足：消融显示CNN与Transformer特征各自有用，但直接组合未带来显著提升，且在无实例级定位时施加相似性加权对比损失反而降低性能，说明真实田间图像中输入表征质量是关键因素；先定位病害或健康叶片区域可减少背景与共存视觉模式影响，再对所得嵌入施加相似性感知对比目标以改善类分离。研究亦存在局限：仅在DiaMOS Plant梨叶片数据集上验证，对其他作物、病害类型及更大规模多类数据集的适用性尚待证明；数据集类别显著不平衡（尤其健康与卷曲类），可能影响少数类性能估计稳定性；分类阶段质量依赖定位阶段质量，错误或不完整定位会传递影响预测；实例级数据集由原始图像人工重新标注，标注质量与一致性差异可能影响定位样本及所学表征。未来将聚焦于在更多作物与更大规模多类数据集上验证框架、提升定位阶段鲁棒性，并探索对比学习中自适应选择视觉易混淆类对的策略。
**结论部分译文**：本研究提出了一种面向真实田间成像条件下植物病害分类的实例感知与相似性感知框架。所提方法从两个互补视角应对类间视觉相似性：首先，在分类前定位病害或健康叶片区域，使模型能够从实例级图像块而非包含混合背景、健康组织与多重症状区域的完整图像中学习；其次，利用动态更新的类原型识别视觉上易混淆的病害类别，并施加相似性加权对比损失以增强嵌入空间中困难类对之间的分离。在重新标注的DiaMOS Plant叶片数据集上的实验结果表明，所提框架在锁定留出测试集上于5折模型间取得97.49±0.73%准确率与94.82±0.81%宏F1分数，logit平均集成取得98.0%准确率与93.9%宏F1分数，优于在相同实验协议下评估的重实现类间相似性方法。消融研究表明最大性能增益来自将任务重构为实例级病害区域分类，t-SNE可视化与混淆矩阵进一步支持所学特征空间可分性的改善。未来工作将聚焦于在更多作物与更大规模多类数据集上验证该框架、提升定位阶段的鲁棒性，并探索在对比学习过程中自适应选择视觉易混淆类对的策略。
