ECTDSC-FPNet：一种高效的上下文变换器与深度可分离卷积特征金字塔网络，结合多种策略损失优化，用于苹果叶及病害分割

《Applied Soft Computing》：ECTDSC-FPNet: An efficient contextual transformer and depthwise separable convolutional feature pyramid network combining multi-strategy loss optimization for apple leaf and disease segmentation

　　贾俊豪|王建龙|徐兆兆|李珊|张亚科|冯文峰中国河南省焦作市河南理工大学计算机科学与技术学院，454003摘要在复杂环境中快速精准地分割苹果叶片及病害是一个重要挑战。现有高精度模型存在计算复杂度高的问题，且难以有效处理小型病害。为此，本文提出了一种结合不同损失策略的特征金字塔网络，该网络融入了高效上下文变换器与深度可分离卷积结构，命名为ECTDSC-FPNet。为在复杂背景中提取密集的小型病害特征，编码器采用了带有三重注意力机制的上下文变换器。为满足模型轻量化的需求，解码器则运用深度可分离卷积，并通过编码器跳接逐步恢复特征。考虑到像素分布不均、假阳性与假阴性之间的权衡以及边界模糊等问题，该损失函数整合了交叉熵损失、Tversky损失以及在线难例挖掘机制。实验结果表明，ECTDSC-FPNet在叶片分割和病害分割任务中的IoU值分别达到97.66%和84.17%，其病害分割领域的性能比轻量级CGNet高出15.77%，比高精度UNet高出1.03%。相较于主流分割模型，该网络在推理速度和FLOPs指标上也表现更优，为叶片及病害分割提供了高效的端到端解决方案。引言苹果作为最重要的水果之一，在农业市场中占据重要地位，其产量与质量直接关系到农民的收益以及消费者的健康状况[1]。根据《国际果蔬报告》的预测，2024年全球苹果产量将略微上升至8310万吨。中国是全球最大的苹果生产国，苹果产量达4500万吨，同时苹果也是帮助农民脱贫的重要作物[2]。由于环境因素影响，苹果叶片常常受到真菌感染，这不仅会影响苹果的质量和产量，还会给农民带来经济损失[3]。因此，准确快速地对叶片及病害进行分类，对于有效预防苹果叶片病害、减少农民的经济损失至关重要。传统的叶片病害分割方法通常依赖农民和专家的肉眼观察。这种方法需要经验丰富的专业人员通过目视观察叶片表面的病害情况，再手动进行分割[4]。一方面，这种做法在大规模农场中既耗时又费力；另一方面，经验丰富的专家也可能因视觉疲劳或主观判断失误而遗漏或误判病害[5]。因此，寻找一种更高效、更精准的自动化叶片病害分割方法已成为当务之急。随着图像处理技术的发展，苹果叶片及病害的自动分割技术也得到了快速发展。这些技术能够快速精准地完成苹果叶片图像的分割，提升了病害检测的效率和准确性。早期的基于阈值的分割方法有助于减少农民的损失[6]。Canny边缘检测算法[7]、[8]，Sobel[9]、[10]，Prewitt[11]、[12]以及Roberts[13]算子都是通过计算叶片和病害的边缘梯度来实现病害分割的，它们在叶片病害分割中发挥着重要作用。然而，这类方法在户外环境下的分割效果较差。区域生长算法则是通过合并种子点周围及其相似的像素来对叶片和病害进行分割[14]。基于颜色空间的叶片病害分割方法主要是通过颜色聚类实现的[15]。这类方法适用于叶片与背景对比度较高的场景，但在复杂背景中的叶片和病害分割效果往往不够理想。随着机器学习技术的不断成熟，人们开始利用提取的特征来实现叶片和病害的分割。支持向量机[SVM][16]、决策树[17]以及随机森林[18]也被广泛用于叶片和病害分割任务。SVM通过构建一个或多个超平面来分隔具有不同颜色、纹理和形状的数据点[19]。决策树则是通过评估各种特征的阈值来确定叶片和病害像素的类别[20]。随机森林则是通过构建多棵决策树并综合它们的预测结果来实现最终分类[21]。尽管上述算法在叶片和病害分割任务中取得了一定成效，但它们严重依赖于人工设置的超参数和特征提取步骤，因此在面对庞大的苹果叶片数据集时，其泛化能力和自动化程度都较为有限。近年来，深度学习发展迅速，为语义分割领域带来了诸多创新。全卷积网络[22]、UNet[23]、SegNet[24]、DeepLab[25]、PSPNet[26]以及HRNet[27]等经典语义分割网络已成为该领域的研究重点。这些网络的衍生版本也在叶片和病害分割方面取得了显著进展。有研究提出了半监督的作物条件分割架构，旨在在后续层中整合上下文信息以实现植物病害的量化分析[28]，但该架构在处理高分辨率图像以及密集分布的小型病害时表现不佳。还有研究提出了针对小样本数据集的集成型UNet，该网络通过结合残差块和扩张卷积来获取苹果轮廓以及多尺度上下文信息[29]。为了解决CNN架构设计中搜索空间复杂以及超参数优化困难的问题，有研究采用蚁狮优化器（ALO）自动构建CNN架构并确定最优超参数，从而在多种植物叶片病害数据集上实现了更出色的识别性能[30]。BorB分割技术则通过整合Lab色域和RGB色域的特征提取策略，有效实现了对病害叶片区域的隔离[31]。此外，RCSU-Net模型以ResNet-50作为编码器，并在解码器中加入了通道-空间注意力模块，有效解决了低级特征丢失以及边缘检测能力不足的问题[32]。MC-Unet则被用于番茄叶片病害分割，该方法首先通过三种尺寸的卷积核提取多尺度信息，再通过跨层注意力机制突出病害区域中的关键信息[33]。Ghost-HRNet则是为了解决树干、树枝与背景之间的像素级类别不平衡问题而设计的，它通过引入Ghost块并对模型进行优化，同时还使用了混合损失函数[34]。EFFS-Net和MDFS-Net则采用了基于路径的特征跳接结构以及高效分组卷积深度模块，提升了咖啡叶片病害图像的分割效率[35]。此外，两阶段架构在叶片病害分割中也发挥着重要作用。例如，有一种新型的两阶段DeepLabv3+架构，它通过融合感受野模块、逆向注意力模块以及自适应损失函数，显著提升了不同大小苹果叶片及其边缘的分割效果[36]。还有研究提出了结合DeepLabV3+与U-Net的两阶段模型，该模型利用DeepLabV3+对黄瓜叶片进行初始分割，再由U-Net对病害区域进行精细化处理[37]。尽管上述深度学习技术在农业图像分割领域取得了重要成果，但由于传统CNN的感受野有限，难以捕捉远距离的像素信息。虽然扩大卷积核尺寸[38]或采用空间金字塔架构[39]可以提升模型的感受野，但这些方法会增加计算资源和处理时间。变换器则弥补了CNN在捕捉全局信息及长距离依赖关系方面的不足，其在处理大规模数据集时，凭借并行计算能力展现出更高的效率，因此越来越多的研究人员开始探索其在农业领域的应用。有研究针对田间葡萄叶病害，提出了定制化的分割架构CRFormer，该架构通过引入大核挖掘机制与多路径前馈网络提升了分割精度[40]。FormerLeaf网络则通过采用注意力剪枝算法以及稀疏矩阵乘法，有效减少了木薯叶病害分割模型的参数数量[41]。还有一种方法是结合了卷积神经网络与变换器的结构，ConvViT模型通过融合视觉变换器与卷积神经网络，高效地识别了猕猴桃的病斑，该方法不仅使模型参数和浮点运算量减少了10%，还能保持较高的识别精度[42]。DualSeg并行网络架构则通过CNN和变换器分别实现局部与全局特征提取，从而展现了出色的葡萄藤分割性能[43]。UPFormer则通过快速令牌聚合以及并行像素感知广播机制实现多尺度特征学习[44]，但由于其针对葡萄作物的特殊设计，限制了其在其他作物上的通用性。BAF-Net则结合了CNN与Swin变换器，并通过全尺度特征融合来增强边界信息的识别能力，它通过自适应双向注意力模块实现多尺度融合特征与全尺度特征之间的优化，从而提升了辣椒叶病害的分割效果[45]。卢等人则通过引入双尺度重叠机制、超大尺寸卷积以及跳接卷积局部优化模块，提升了果树叶片病害的分割精度[46]。尽管基于SSM的GMamba算法已被应用于植物病害分割研究[47]，但其较高的计算复杂度以及缓慢的推理速度，使得它难以实现高分辨率农业图像的实时处理。EMSAM则通过多尺度提取方式动态融合CNN与ViT的特征[48]，但在复杂的户外农业场景中表现不佳。Sophia++则引入了包含感知融合机制（PFM）的多模态框架，用以解决标签信息不完整的问题[49]，但它过度依赖详细的文本描述，在处理复杂场景中密集分布的小型病害时效果不佳。上述各类网络虽然解决了传统CNN在复杂背景图像分割中存在的感受野限制问题，但由于自注意力模块的高计算成本，限制了它们在农业领域的广泛应用。因此，降低变换器对大规模数据集的依赖以及减少自注意力模块的高计算成本，成为推动其在农业图像分割领域应用的关键所在。为了解决CNN无法捕捉全局信息以及变换器计算成本过高的问题，本文提出了ECTDSC-FPNet。该网络的编码过程将高效的自适应权重标准化卷积与上下文变换器相结合，形成了ECoT模块。该模块虽然在构建全局上下文方面表现优异，但在提取详细特征方面存在不足，因此该模块又与三重注意力模块相连接，以此增强对小型病害局部细节的提取能力，二者共同构成了ECT编码块。这一设计确保了编码块既能捕捉长距离的全局信息，又能获取关键的局部细节，从而满足了在混合场景中提取叶片及病害特征的核心需求。在解码阶段，该网络采用了深度可分离卷积模块来减少模型参数的数量。特征金字塔结构则通过跳接机制将经过编码的ECT输出与解码后的DSC输出相互连接。这种特征金字塔架构通过跳接机制平衡了高级语义信息与低级空间细节之间的关系，从而构建了一个轻量级的端到端网络，用于叶片及病害的分割。图1展示了不同网络在病害分割任务中的IoU值与推理速度的散点图。图1(a)显示了不同网络的IoU值与每秒帧数，同时标注了各网络的参数数量；图1(b)则展示了不同网络的IoU值与推理时间，同时标出了相应的浮点运算次数。图1(a)和图1(b)中的颜色条分别表示每秒帧数和推理时间的大小。为了进行公平比较，我们将IoU值与推理速度作为衡量模型性能的直接指标。综合分析这五项评估指标后可以发现，所提出的ECTDSC-FPNet在IoU值与成本效益之间取得了极佳的平衡。最终实验结果表明，ECTDSC-FPNet在仅拥有17.344百万个参数以及每秒15.164亿次浮点运算能力的情况下，就能实现84.17%的病害分割IoU值，这一性能指标更接近于轻量级模型。本研究的主要贡献如下：•通过融合高效的自适应权重标准化卷积与上下文变换器所形成的ECoT模块，能够精准捕捉长距离的叶片及病害信息，从而以较低的计算成本实现多维度全局特征的有效提取。•三重注意力模块由于参数数量较少，提升了网络表达局部边缘特征以及精细化处理特征的能力。•特征金字塔结构是通过解码后的DSC输出与编码后的ECT输出之间的跳接机制构建的，这一结构有助于提升分割过程中的细节还原能力，同时也能显著减少模型参数的数量。•多策略损失函数则从多个角度优化了网络的梯度计算。该模型能有效应对类别像素不平衡、叶片与病害分割不连贯以及难以处理的像素问题。文章其余结构如下：第2节介绍数据集来源及数据处理方法；第3节详细阐述所提出的ECTDSC-FPNet架构；第4节说明实验设计、评估指标以及消融实验和对比分析；第5节从不同角度探讨所提方法；第6节总结该方法，并分析其意义、局限性及未来研究方向。

数据集
本研究使用的苹果叶病害数据集（ALDD）来源于西北农林科技大学，采集自中国陕西省白水县的白水苹果试验站、洛川县的洛川苹果试验站以及甘肃省庆阳市的庆城苹果试验站。为确保能够清晰捕捉到叶片及病害区域，这些数据是在特定条件下拍摄的。

方法
本节描述了所提出的ECTDSC-FPNet模型的编码与解码过程，以及多种策略结合而成的损失函数。ECoT和TAM被整合为一个ECT模块，在编码阶段使用多个ECT模块，而在解码过程中则运用多个DSC模块。最终的损失函数由三个互补的部分组成：（1）一种新提出的误差函数调制交叉熵（EF_CE）损失函数，它能动态调节梯度更新速度。

实验结果与分析
本节详细介绍了实验环境及超参数设置，如4.1节所述。4.2节阐述了研究中使用的评估指标。为评估ECTDSC-FPNet模型的性能，4.3节和4.4节分别通过消融实验和对比实验来验证该模型的效率与稳定性。4.5节展示了各模型在测试集上的混淆矩阵。

讨论
5.1节对主流注意力模块进行了主观与客观对比分析；5.2节对不同损失函数的结果进行客观比较；5.3节对损失函数参数的敏感性进行分析，分别比较不同损失函数的结果并分析其参数敏感度；5.4节进行了阈值像素敏感性分析；5.5节评估了在不同参数配置及架构下的模型性能。

结论
本文提出了ECTDSC-FPNet模型，可用于高效、精准地分割不同类型的苹果叶及其病害。该模型的编码器融合了高效上下文变换器和三元组注意力模块，使网络在特征提取过程中能够实现全局视觉捕获，让每个像素都能与图像中的其他位置相互作用，同时以更低的计算成本提取多尺度特征信息。解码器则采用反向特征金字塔结构。

作者贡献声明
贾俊豪：撰写——初稿、验证、软件、方法论。王建龙：撰写——审阅与编辑、资金获取。徐兆兆：指导、资源提供、资金获取。李珊：数据收集与整理。张亚克：指导、概念设计。冯文峰：项目管理。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究部分得到了国家自然科学基金项目（编号62201201和62303167）、中国博士后科学基金会博士后科研资助计划（C类，编号GZC20230707）以及河南省重点科学技术计划（编号242102211051）的支持。