基于双头CNN-Transformer网络的马铃薯块茎病害表型鉴定与严重程度量化方法研究

《Postharvest Biology and Technology》：Dual-head CNN–transformer network for interpretable potato tuber disease phenotyping and severity quantification

　　

专业摘要翻译： 马铃薯（Solanum tuberosum L.）是全球最重要的粮食作物之一，在全球粮食安全中发挥着至关重要的作用（Abewoy, 2021）。其产量和商品品质受到真菌性和细菌性病害的制约，如黑痣病（Rhizoctonia solani）（El Bakali and Martín, 2006）和银腐病（Helminthosporium solani）（Tiwari et al., 2021）。这些侵染损害了块茎的外观、耐贮性和商业价值，使得可靠且可重复的病害评价对于采后分级、抗性筛选和损失管理至关重要（Abewoy, 2021；Liu et al., 2021；Singh et al., 2025a）。 传统的块茎病害诊断依赖于训练有素专家的目视检查，这种方法具有主观性、耗时且在不同观察者之间不一致。深度学习已彻底改变了基于图像的植物病害分析：在ImageNet上预训练的卷积神经网络（CNNs）能够以高精度区分RGB图像中的作物病理（Ferentinos, 2018；Mohanty et al., 2016），PlantVillage（Hughes and Salathé, 2015）和马铃薯病害数据集（Faria et al., 2023）等公共资源加速了这一进展。然而，大多数方法仅赋予病害标签，而未描绘病灶或量化感染程度，尽管病变组织比例是分级严重程度的关键指标。 已有若干研究通过添加分割来定位病害区域，例如基于U-Net的马铃薯叶片病灶检测（Arshaghi et al., 2023；Fu et al., 2023）。这些流程将分类和分割视为独立任务，在无共享表示的情况下分别训练，尽管自动化分级同时需要诊断（何种病害）和量化（严重程度）。针对马铃薯块茎的统一双头框架（在一个网络中同时执行两项任务）仍然稀缺。在架构上，CNN编码器捕获局部纹理但感受野有限，而视觉Transformer（ViTs）建模全局上下文但对边界描绘的空间分辨率较粗（Dosovitskiy et al., 2020）。将CNN编码器与Transformer瓶颈相结合的混合设计已被提出用于其他信号和图像（Chen et al., 2021；Li et al., 2020；Zhang et al., 2023；Zhao and Kusnierek, 2025），但其对块茎病害纹理的价值尚未确立。 另一个常被忽视的问题是捷径学习（Geirhos et al., 2020）：分类器可能依赖背景颜色、表面纹理或光照而非病灶。在大多数多任务框架中，分类和分割头也并行操作，尽管病害身份在生物学上由受感染组织决定。因此引入了分割感知池化（SAP），它以预测的病灶掩膜为权重对分类特征进行池化，使分类器从病灶区域获取证据。掩膜加权平均池化已被确立用于少样本分割中提取类原型（Wang et al., 2019b；Zhang et al., 2020）；此处它将该网络的分类头与其分割输出耦合。这种门控是否改变了模型所依赖的内容，而不仅仅是指标图指向的位置，必须通过行为测试来验证，例如替换图像背景（Xiao et al., 2021）。 可靠的结论还取决于评估协议。在数据分割前生成增强副本，或允许同一块茎的多张照片同时落入训练集和测试集，会虚增性能，这是应用机器学习中常见的一种数据泄漏形式（Kapoor and Narayanan, 2023）。在仅有数百张标注图像的情况下，架构间的差异也容易与随机种子间的变异大小相当，因此需要重复训练和配对统计检验。 本研究的目标是：（1）开发一种双头混合CNN-Transformer，对八种块茎病害类别进行分类并分割病灶以估计严重程度；（2）引入SAP并确定分割感知门控应作用于何处，比较对池化特征门控与对输入图像门控；（3）在旨在减少泄漏的协议下评估所有模型，包括定量归因和行为测试、不确定性估计、计算成本和跨源测试，并与CNN、U-Net、Attention U-Net和Transformer基线进行比较。工作流程概览见图1。

论文解读文章

一、研究背景与问题

马铃薯是全球重要的粮食作物，其产量和商品价值受到多种真菌性和细菌性病害的严重制约，包括黑痣病（Rhizoctonia solani）、普通疮痂病（Streptomyces scabies）、粉红腐烂病（Phytophthora erythroseptica）、粉痂病（Spongospora subterranea）和银腐病（Helminthosporium solani）等。这些病害不仅损害块茎外观，还影响其耐贮性和商业价值，因此可靠的病害评价对采后分级、抗性筛选和损失管理至关重要。

传统病害诊断依赖专家目视检查，主观性强、耗时长且不同观察者之间一致性差。深度学习技术已广泛应用于植物病害图像分析，基于ImageNet预训练的卷积神经网络（CNN）能够高精度区分作物病害，但大多数方法仅输出病害类别标签，未能描绘病灶区域或量化感染程度，而病变组织比例恰恰是分级严重程度的关键指标。虽有研究将分割引入以定位病害区域，但这些流程将分类与分割作为独立任务分别训练，缺乏共享表示，无法同时满足自动化分级所需的诊断与量化需求。

此外，分类器可能依赖背景颜色、表面纹理或光照等非病灶特征进行决策，即所谓的捷径学习问题。在大多数多任务框架中，分类头和分割头并行操作，而病害身份在生物学上由受感染组织决定，因此需要一种机制使分类器从病灶区域获取证据。评估协议方面，在数据分割前生成增强副本或允许同一块茎的多张照片同时进入训练集和测试集，会造成数据泄漏并虚增性能；在仅有数百张标注图像的情况下，架构间差异与随机种子间变异大小相当，需要重复训练和配对统计检验。

二、研究内容与结论

研究人员开发了一种双头混合CNN-Transformer网络，该网络由一个CNN编码器、一个Transformer瓶颈、一个分割解码器和一个分类头组成。CNN编码器采用在ImageNet上预训练的ResNet-34，提取多分辨率特征图；Transformer瓶颈将1/32分辨率的特征图展平为64个令牌，通过四个预归一化Transformer编码器块建模块茎表面的长程依赖关系；分割解码器通过五个跨步转置卷积阶段恢复输入分辨率，并采用U-Net式跳跃连接融合编码器特征；分类头则通过分割感知池化（Segmentation-Aware Pooling, SAP）从病灶区域提取分类特征。SAP以预测的病灶掩膜为权重对分类特征进行池化，使分类器从病灶区域获取证据，并采用停止梯度操作确保掩膜仅由分割目标定义，防止分类损失将掩膜移向有助于分类的非病灶区域。

数据集方面，研究整合了来自中国黑龙江省和挪威的原始图像（"in-house"）与公开基准数据集（"public"）的图像，涵盖八种块茎病害类别，共421幅图像。数据增强采用Albumentations库在训练过程中动态实施，仅应用于训练图像，验证和测试图像不作增强。评估采用分组分层五折交叉验证，在增强前进行数据分组，以降低数据泄漏风险。

三、主要技术方法

研究采用了以下关键技术方法：一是双头混合架构，将CNN编码器与Transformer瓶颈结合，同时执行病害分类和病灶分割任务；二是分割感知池化（SAP），通过预测病灶掩膜对分类特征进行加权池化，使分类器聚焦于病灶区域，并采用停止梯度确保掩膜由分割目标定义；三是分组分层五折交叉验证，在数据增强前按近重复图像和同一块茎的重复照片进行分组，降低数据泄漏风险；四是测试时增强（Test-Time Augmentation, TTA）不确定性估计，通过多次增强推理的预测一致性标记可能误分类的块茎；五是行为测试，通过替换图像背景检验模型是否依赖病灶特征而非背景线索；六是定量归因分析，采用Grad-CAM和LIME评估模型决策依据。

四、研究结果

分割感知池化提升Grad-CAM病灶占比但未改变LIME证据：研究发现SAP使Grad-CAM归因图中病灶区域的占比提高，表明分类器确实更多地从病灶区域获取证据，但LIME证据未显示相应变化，说明不同归因方法对门控效应的敏感度存在差异。

输入级门控在背景替换下显著提升准确率：仅病灶输入门控（将预测病灶以外的像素设为ImageNet均值）在背景替换测试中使准确率从38%提升至59%，表明输入级门控能有效阻断模型对背景特征的依赖，而特征级SAP虽改变归因分布但未同等程度地改变模型的实际决策依据。

分组交叉验证降低泄漏风险：在增强前进行分组并采用分层五折交叉验证，有效降低了由增强副本和重复照片造成的数据泄漏风险，使性能评估更加可靠。

测试时增强不确定性标记误分类块茎：TTA不确定性指标能够有效标记误分类的块茎，AUROC达0.89，表明预测一致性可作为分类可靠性的有效指示器。

五、讨论与结论

讨论部分指出，分割感知池化通过将分类特征与预测病灶掩膜耦合，使分类器从病灶区域获取证据，但归因分析显示这种门控改变了Grad-CAM的指向位置，却未同等程度改变模型实际依赖的特征，行为测试进一步证实仅输入级门控才能有效阻断背景依赖。研究还强调了评估协议的重要性，指出在增强前分组和避免重复照片跨集泄漏是获得可靠性能评估的关键。跨源测试和计算成本分析为模型的实际部署提供了参考。

研究结论认为，所提出的双头CNN-Transformer网络能够同时实现马铃薯块茎病害分类和病灶分割，为自动化分级提供诊断与量化双重输出；分割感知池化作为特征级门控机制可引导分类器关注病灶区域，而输入级门控在抵御背景干扰方面更为有效；分组交叉验证和TTA不确定性估计为模型的可靠评估和实际应用提供了重要保障。该研究为马铃薯块茎病害的自动化表型鉴定和严重程度量化提供了系统化的技术方案，对采后分级、抗性筛选和损失管理具有重要的实践意义。