《Smart Agricultural Technology》：Grapevine Disease Risk Assessment Through Multi-modal Data Analysis
编辑推荐：
为了解决葡萄栽培中灰霉病、白粉病和霜霉病等主要病害的早期、精准风险管理问题，本研究提出了一种创新的、基于深度学习的多模态数据分析方法。该研究利用气象站采集的天气数据和移动应用获取的葡萄与叶片图像，通过并行数据处理流，成功实现了对三种葡萄病害的风险等级评估，并融合了葡萄成熟度与叶片健康状况等关键信息。实验验证和体内（in vitro）分子生物学检测结果表明，该方法准确率高，为葡萄园的精准决策提供了高效、低成本的技术支持，推动了精准农业的发展。
在全球范围内，葡萄是极为重要的水果作物之一，然而，它们极易受到多种真菌、细菌和病毒性感染的影响，其中灰霉病、白粉病和霜霉病是三种最普遍、可导致葡萄品质严重下降的病害。在葡萄栽培中，及时识别和管理这些病害对于防止损失至关重要。虽然精准农业领域已提出了多种利用人工智能、大数据和机器学习技术的病害检测与预测方法，但大多数方法仅依赖单一的数据模态（如仅用天气数据或仅用图像数据）。此外，许多方法依赖于昂贵、专业的传感器设备才能达到高精度，且仅有少数研究通过真实世界的生物学样本分析结果进行验证，这使得其在实际场景中的应用效果和可信度存疑。
为了克服上述问题，一个由希腊研究与技术中心（CERTH）信息技术研究所的Martha Kotaidou等人组成的研究团队，在期刊《Smart Agricultural Technology》上发表了一项研究，提出了一种新颖的、基于深度学习的多模态方法，用于评估葡萄病害风险等级。该方法旨在通过整合互补的多种信息源，更加贴近专家的决策过程，实现更准确、成本更低的病害风险评估，从而支持葡萄园的精准管理。
该研究主要采用了以下几个关键技术方法：首先，构建了多模态数据采集与分析架构，通过移动应用（用于采集葡萄和叶片图像）和葡萄园内的气象站（用于采集温度、湿度、降水、叶面湿度等天气数据）获取数据，确保方案易于获取且成本低廉。其次，在方法学层面，研究者设计了一个并行数据处理模型，包含三个核心流：(1) 基于Mask2Former-MMA-Swin(S) Transformer的葡萄成熟度分类模型，将葡萄分为未成熟、半成熟和成熟三类，以捕捉物候期和作物生长信息；(2) 基于ResNet-18的叶片健康状况分类模型，区分叶片健康与否；(3) 基于长短期记忆网络（Long Short-term Memory, LSTM）的天气数据病害风险评估模型，利用连续T天（研究确定T=7天效果最优）的天气数据预测未来一天的病害风险等级，划分为最小、小、中等、最大四个等级。最后，模型将上述三个独立流输出的概率向量进行融合，再通过一个全连接层分类器，最终输出针对灰霉病、白粉病和霜霉病的整体风险等级预测。为了验证模型在实际场景中的适用性，研究还进行了体内（in vitro）验证，从希腊北部一处本地葡萄园采集了9个葡萄藤的生物样本（叶片和葡萄），并运用聚合酶链式反应（Polymerase chain reaction, PCR）等分子生物学技术，定量检测了相应病原体（Botrytis cinerea， Erysiphe necator， Plasmopara viticola）的浓度，并与模型预测的风险等级进行关联分析。
4.3.1. 葡萄成熟度评估结果
在葡萄成熟度估计任务中，所提出的Mask2Former-MMA-Swin(S)模型在CERTH葡萄数据集上表现优异。与先前的Mask R-CNN-Swin(S)和Mask2Former-Swin(S)模型相比，本模型在平均精度（mAP）、精确度、召回率和F1得分上均有提升。具体而言，在目标框和掩模预测上，mAP分别达到了87.3%和85.1%，F1得分均为0.97，展现了其卓越的性能。特别地，模型在“成熟”葡萄类别上的准确率提升最为显著，证明了多流形注意力（Multi-manifold Attention, MMA）机制通过在不同几何流形（欧几里得、对称正定、格拉斯曼）上处理特征，能够更全面地捕捉图像特征，从而提高分类准确性。
4.3.2. 叶片健康状态预测结果
在叶片健康状态分类任务中，研究比较了ResNet-18、ResNet-50、ViT（Vision Transformer）以及基于方向梯度直方图（Histogram of Oriented Gradients, HOG）和支持向量机（Support Vector Machine, SVM）的基线方法。在扩增后的葡萄叶病害数据集上，ResNet-18模型在“健康”与“患病”的二元分类任务中达到了100%的准确率，尽管数据集中存在类别不平衡（健康叶片2115张，病叶7138张）。然而，当尝试将模型扩展为包含灰霉病、白粉病、霜霉病在内的多类别病害诊断时，由于新增病害类别的样本数量过少（总计不足300张），导致模型在这些类别上的表现不佳（例如，白粉病的F1得分仅为0.33）。因此，研究最终采用了二元分类器，将其作为提供叶片整体健康状态上下文信息的模块，而非具体的病害诊断工具。
4.3.3. 葡萄病害风险等级评估结果
在核心的病害风险等级评估任务中，研究首先进行了消融实验以确定基于天气数据的最佳预测时间窗口。结果表明，使用连续7天（T=7）的天气数据来预测第8天的风险等级，模型平均准确率最高，达到93%。接着，研究在专门构建的多模态葡萄病害数据集上，对比了仅使用天气数据的方法与所提出的多模态融合方法。结果显示，多模态方法显著提升了风险等级评估的准确性：对于灰霉病，准确率从90.2%提升至97.5%；对于霜霉病，从92.6%提升至95.0%；对于白粉病，从94.7%提升至97.9%。混淆矩阵分析显示，模型的错误分类主要发生在相邻风险等级之间，表明其能够有效保持风险等级的序数结构。具体案例的可视化分析进一步证实，当各模态分支预测置信度高时，模型能做出与专家判断一致的正确分类；而在各分支预测置信度有所下降时，可能导致最终风险等级的轻微偏差。
4.3.4. 所提方法的鲁棒性
为了评估模型在现实条件（如传感器噪声或数据缺失）下的稳定性，研究引入了高斯噪声和随机丢失（Dropout）来模拟天气数据的损坏。实验表明，加入20%标准差的高斯噪声后，模型平均准确率降至约91%-94%。当天气数据随机丢失的比例从10%增加到50%时，模型性能呈渐进式下降，在50%数据丢失时，准确率降至约65%-69%。尽管如此，即使在严重的数据损坏下，模型仍能保持一定的性能，这得益于多模态信息的互补性，视觉数据在一定程度上缓解了不完整或噪声天气数据的影响。
4.3.5. 利用本地葡萄园生物样本进行的体内验证
最重要的验证来自对希腊北部一处本地葡萄园的实际考察。研究团队于2023年9月（临近采收期）采集了9个葡萄藤的葡萄图像、叶片图像、气象数据以及对应的生物样本（用拭子采集微生物群落）。通过PCR技术定量检测了病原体浓度。结果显示，在当时的天气条件下（平均温度22.5°C，平均相对湿度70%，无叶面湿度），灰霉病和霜霉病的病原体浓度极低（平均<3 DNA拷贝/毫升），而白粉病病原体浓度较高（叶片>19拷贝/毫升，葡萄>9拷贝/毫升）。这与模型预测高度一致：基于天气数据的风险评估显示灰霉病和霜霉病为“最小”风险，白粉病为“最大”风险。多模态模型在结合了成熟的葡萄图像和健康的叶片图像信息后，将灰霉病和霜霉病的风险等级从“最小”上调至“小”，同时保持白粉病为“最大”风险，这一调整与专家考虑葡萄高糖分利于病害发展的判断相符。斯皮尔曼相关性分析进一步证实，模型预测的风险等级与葡萄和叶片中病原体浓度的综合指标之间存在强相关性（相关系数0.817，p值=1.994e-07），有力证明了模型预测的生物学有效性。
综上所述，本研究成功开发并验证了一种高效、低成本的多模态深度学习框架，用于评估葡萄主要病害的风险等级。该研究的核心结论在于，通过融合天气数据、葡萄成熟度视觉信息和叶片健康状况这三种互补模态，能够显著提高病害风险评估的准确性，其性能优于仅依赖单一数据源的传统方法。模型不仅在各种数据集上表现出色，更重要的是，其预测结果与通过分子生物学技术检测到的真实病原体浓度具有统计学上的显著强相关，这为模型在实际农业场景中的可靠应用提供了坚实的科学依据。讨论部分强调，该工作的主要贡献在于提出了一种能够模拟专家综合决策过程的计算模型，它考虑了环境条件、作物物候和植物健康指标等多重因素。与文献中多数依赖单一模态或昂贵专用设备的研究相比，该方法利用移动设备和标准气象站，大大提升了技术的可及性和实用性。该研究为精准农业中的病害智能预警与决策支持系统提供了新的解决方案，有助于农民优化农药使用、降低成本、提高产量并促进环境可持续的作物管理方式。
