结合几何感知变换器的级联深度胶囊神经网络，用于高效识别金谷营养谷物中的疾病

《Neurocomputing》：Cascaded Deep Capsule Neural Network with Geometry-Aware Transformer for Efficient Disease Identification in Golden Nutri Cereal

　　拉米亚·S|D. 普拉迪普
印度泰米尔纳德邦卡拉尔市塔拉瓦帕莱亚姆M. 库马拉萨米工程学院人工智能系

**摘要**
由于病斑形态的多样性、光照条件的变化以及背景的复杂性，珍珠粟叶病的检测仍然具有挑战性，这些因素常常限制了现有深度学习模型的泛化能力。为了解决这些问题，本研究提出了一种结合视觉几何基础变换器（C-DCapsNet-VGGT）的级联深度胶囊神经网络，用于多类疾病识别。该框架整合了保持边缘的预处理、多维特征提取、基于知识的分割以及几何感知的分类方法，以捕捉局部病斑特征和全局空间关系。研究不仅关注模型性能的峰值，还进行了广泛的消融分析和鲁棒性测试，以评估在不同条件（包括噪声、模糊和跨区域数据偏移）下各个模块的贡献。结果表明，该架构在处理实际场景中的变异性时表现出稳定的性能提升。尽管模型取得了较高的分类性能，但研究发现其优势主要归功于几何推理和关系上下文建模的整合。然而，由于其多阶段架构和大约1500万个参数，该框架的计算复杂性增加，这可能限制了其在资源受限的边缘设备上的直接应用（除非进行优化）。总体而言，所提出的方法为珍珠粟叶病的检测提供了一种鲁棒且可解释的解决方案，特别适用于实际农业环境中的泛化和可靠性需求。

**引言**
全球粮食安全在很大程度上依赖于农业，尤其是在人口压力不断增加和气候变化的情况下[1]、[2]。珍珠粟（Pennisetum glaucum）是全球第六大重要谷物作物[3]、[4]、[5]，因其耐旱性和耐热性而主要种植在干旱和半干旱地区[6]、[7]。然而，尽管适应性强，珍珠粟仍容易受到枯萎病、锈病、麦角病、黑粉病和霜霉病等疾病的侵袭，这些疾病对产量和营养价值有重大影响[8]。

传统的疾病检测依赖于人工田间调查[9]，这种方法劳动强度大、耗时且容易受到主观误差的影响。随着商业化进程的加速以及对高营养价值作物的需求增加[10]，迫切需要自动化和可靠的疾病检测系统[11]。人工智能（AI）、物联网（IoT）和深度学习（DL）的最新发展为通过图像实时监测作物并识别疾病提供了可能[12]、[13]、[14]、[15]。这些方法已被证明比传统的机器学习方法具有更好的分类性能。

然而，仍存在一些未解决的问题。首先，大多数现有系统专门针对特定类型的疾病或二分类任务设计，因此在实际应用中难以有效区分多类疾病。其次，基于卷积神经网络（CNN）的方法主要关注基于纹理的特征提取，未能充分描述病斑的几何形状和部分-整体空间关系。第三，这些方法需要具备对光照变化、背景杂乱和疾病形态变化的鲁棒性，才能在动态农业环境中应用。为了解决这些问题，本文提出了一种结合视觉几何基础变换器（C-DCapsNet-VGGT）的级联深度胶囊神经网络架构，以实现高效的多类珍珠粟疾病检测。

最近关于珍珠粟疾病检测的研究涵盖了基于图像的深度学习、传感器辅助监测和病原体基因组学等领域。尽管这些方法有所改进，但仍存在一些方法论上的不足。Divya等人[16]引入了一种混合分裂注意力机制（SANDNES），结合了解耦的非局部和边缘监督，从而提高了上下文特征的表示能力。该模型虽然有效，但需要复杂的模型和较高的计算资源，因此应用范围有限。Mishra等人[17]提出的基于传感器的监测框架结合了定制的卷积神经网络（CustCNN）来检测枯萎病和锈病，但由于依赖网络连接和硬件维护，在实际应用中存在局限性。Tiwari等人[18]开发了一种精确感知CNN（PACNN），该模型结合了多模态RGB和红外数据、自适应过滤及贝叶斯推理，尽管能够检测复杂模式，但计算成本较高。Singh等人[19]提出了基于人工神经网络（ANNs）的iCrop框架，虽然轻量级，但在处理复杂或难以察觉的疾病模式时表现不佳。

除了基于图像的技术外，Hadimani等人[20]、Ramathilagam和Haldar[21]还将传统机器学习分类器（RF、SVM、m-DT、k-DT）与SAR数据进行了比较，结果表明这些分类器在数据分类方面非常可靠，但预处理和计算资源需求较高。Rani等人[22]和Reddy等人[23]研究了基于全基因组分析和神经基因组序列编码器（NeuGSE）的基因组和病原体水平检测方法。尽管这些方法在生物学上具有信息价值，但无法直接应用于快速的田间疾病检测。Padshetty[24]提出了一种双视觉变换器模型，结合了深度可分离的VGG-16、可变形注意力机制和边缘改进技术来分类作物疾病，该模型在鲁棒性和分类准确性方面优于传统CNN方法。Prajwal等人[25]开发的MilletNet基于微调的迁移学习模型（如DenseNet121、VGG16和VGG19），在实时检测方面表现出色。

现有方法存在的三个主要弱点是：在处理实际场景中的多类疾病判别时缺乏鲁棒性；难以准确建模病斑的几何结构和空间部分-整体关系；以及缺乏用于区分视觉相似疾病模式的上下文关系推理。此外，大多数研究将分割和分类视为两个独立的过程，而没有将基于像素的定位和层次化几何推理结合起来。为了解决这些问题，所提出的C-DCapsNet-VGGT系统实现了保持边缘的预处理、多维光谱几何特征提取、基于ENet-B3-CNN-KGAT的上下文分割、基于变换器的空间注意力以及通过CarWeO进行的全局微调。这种整体设计直接针对多类疾病判别失败、几何信息保留和实际场景鲁棒性等问题。

表1总结了近期关于珍珠粟疾病检测和病原体基因组学的研究。研究人员使用的方法包括混合深度学习模型（如SANDNES和精确感知CNN）、基于传感器的监测以及病原体效应的全基因组分析。一些重要特征包括多模态成像、自适应数据过滤、特征融合和预测智能模型。尽管这些方法在检测准确性和早期疾病识别方面有效，但存在计算成本高、依赖硬件、可靠性有限以及无法处理复杂或难以察觉的疾病模式等缺点。

为了解决这些问题，所提出的方法结合了物联网信息收集、复杂的预处理、多维特征提取和有效的疾病分类。通过使用Carpet Weaver优化算法优化了可解释的深度学习模型，以实现准确、实时和可扩展的珍珠粟叶病检测。

珍珠粟的生产受到枯萎病、锈病、麦角病、黑粉病和霜霉病等疾病的严重影响，这些疾病威胁着全球粮食安全和农民的生活。传统的疾病识别方法手动、繁琐且不准确，导致干预延迟和生产力低下。随着农业商业化的加速和对高营养价值作物的需求增加，自动化、准确和实时的作物疾病检测系统变得至关重要[16]、[17]、[18]、[19]、[20]、[21]、[22]、[23]、[24]、[25]。为了解决这一问题，本研究致力于开发一种改进的智能疾病检测框架，该框架结合了物联网数据收集和更先进的深度学习方法。该框架利用无人机和田间传感器的高分辨率图像以及模型的可解释性（级联深度胶囊网络和变换器），实现早期、精确和可扩展的珍珠粟疾病检测，从而减少人力投入和检测延迟，并在各种环境条件下保持稳定性能，改善作物管理和产量保护，促进可持续农业发展。

本研究的独特之处在于作者使用了物联网驱动的数据收集系统和最新的深度学习技术来识别珍珠粟疾病。该系统利用无人机和田间传感器捕获图像，并结合级联深度胶囊网络（C-DCapsNet）和视觉几何基础变换器（VGGT）进行准确快速的疾病分类。模型采用了Carpet Weaver优化（CarWeO）和四元数及Clifford傅里叶变换（QCFT）等优化技术，实现了高精度和高效的珍珠粟疾病早期检测和管理。

**研究贡献**
- **端到端物联网数据采集**：设计了高分辨率的珍珠粟叶病数据集，包含3,441张由无人机和手持相机拍摄的图像，涵盖了多种类型的疾病和自然变异，有助于有效训练模型。
- **先进的预处理和特征提取**：应用了梯度域加权引导图像滤波（GDWGIF）去除噪声并保持叶片结构，并使用QCFT提取多维空间和光谱特征以更好地表示疾病。
- **准确的疾病分割**：考虑了细粒度纹理特征，并通过集成EfficientNet-B3卷积神经网络和知识图谱注意力网络（KGAT）结合语义信息进行像素级疾病分割。
- **鲁棒的疾病分类**：提出的C-DCapsNet-VGGT模型结合了VGGT，能够对病斑形状和几何关系进行建模，从而实现三种或更多疾病类别的旋转和变形不变识别。

**论文结构**
第2节对相关文献进行了详细评估。第3节扩展了本文使用的方法。第4节讨论了实验结果。第5节提出了个人见解和进一步研究的建议。

**提出的方法论**
该概念模型旨在准确检测和分类珍珠粟叶病。首先收集数据，包括3,441张健康和患病叶片（霜霉病、锈病、枯萎病、麦角病、黑粉病）的高分辨率图像，这些图像经过手动标注并调整为256×256像素大小。预处理过程中使用了梯度域加权引导图像滤波（GDWGIF）去除噪声并保持叶片结构。

**结果与讨论**
珍珠粟叶病检测的C-DCapsNet-VGGT模型使用TensorFlow框架在Python中实现。测试在具有足够内存处理高分辨率图像和模型参数的NVIDIA显卡上进行。训练和测试使用了256x256x3尺寸的输入图像，包含6个类别（健康叶片和五种疾病类型）。C-DCapsNet-VGGT模型以16-32批次的规模进行训练，并通过CarWeO算法进行了优化。

**结论**
本研究提出了一个C-DCapsNet-VGGT框架，用于珍珠粟叶病检测，结合了基于胶囊的层次化建模和基于几何的变换器注意力机制。实验评估表明，该设计在各种消融条件下均能提升性能，并在噪声、模糊和光照变化等干扰下保持稳定行为。跨区域评估进一步证明了该模型具有很好的泛化能力。

**资金情况**
本手稿的编写未获得任何资助。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文的研究结果。