通过基于时空图的多模态数据融合技术实现荔枝霜霉病的早期预测

《Agricultural Systems》：Early prediction of litchi downy blight via spatiotemporal graph-based multimodal data fusion

早期预测模型研究|多模态融合|时空图神经网络|高光谱成像|农业病害监测

　　

Jianqiang Lu|Haiyang Tong|Zhengyang Zhou|Yubin Lan|Ting Wang|Weixing Wang

华南农业大学人工智能与低空技术学院，广州，510642，广东，中国

摘要

背景：

荔枝霜霉病是荔枝生产中最具破坏性的疾病之一，每年造成巨大的经济损失。

目标：

传统的单一模态方法在农业疾病预测方面存在感知能力有限和时空适应性差的问题。为了解决这些局限性，本研究提出了一个多模态协同感知框架，整合了高光谱、环境和生理数据，并设计了一个门控时空图融合网络（GSGF-Net），以实现疾病的准确早期预测。

方法：

以荔枝叶片为研究对象，收集了包括三时相高光谱反射率、SPAD值（相对叶绿素指数）和氮含量以及21天连续环境监测数据在内的多源数据集，并构建了统一的时间对齐策略。在特征建模阶段，提出了动态时空特征选择算法（D-SPA）来优化关键波段的选取；设计了SWATH-Net来解析环境因素的周期性波动和累积效应；并采用了门控循环单元（GRU）来模拟生理信息的动态演变，最终将多模态信息映射到一个共享的表示空间。在融合阶段，GSGF-Net通过门控交互模块和动态图注意力机制模拟了不同模态之间的复杂时空依赖性，实现了异构信息的深度融合。

结果与结论

在300个样本上的五折交叉验证中，所提出的模型取得了96.09%的平衡准确率（95%置信区间：94.38%–97.74%）、95.69的F1分数，以及≤5.11的漏检率，其性能优于相同实验条件下的九种代表性融合模型。模态消融实验验证了三模态整合的显著优势。

意义：

GSGF-Net能够有效捕捉复杂农业场景中的潜在跨模态相关性，为果园的非侵入式早期疾病预警提供了一个可扩展的范式。

引言

荔枝是一种热带和亚热带水果，由于其众多的健康益处而受到了广泛关注（Bishayee等人，2024年）。然而，荔枝霜霉病是影响荔枝生产最具破坏性的疾病之一，每年造成巨大的经济损失（Li等人，2024b；Situ等人，2023b）。该病原体的特点是症状出现迅速且爆发性强，在引发疾病之前可能潜伏在宿主体内。这种潜伏感染特性使得早期和准确的预测对于有针对性的疾病控制和减少化学农药的过度使用至关重要（Situ等人，2023a）。近年来，信息融合技术作为一种新的研究范式出现，通过整合来自异构传感器的跨模态数据并提取互补特征，应用于农业害虫和疾病监测（Wang等人，2025年）。 单一数据模态为荔枝霜霉病的早期监测提供了有价值的信息，但每种模态都有其局限性（Zhang等人，2024年；Ngugi等人，2024年）。高光谱成像（HSI）能够对作物在病原体压力下的生理和结构变化进行多维度分析（Zhang等人，2025年），通过光谱变化实现早期疾病检测（Hu等人，2022年）。机器学习和深度学习已广泛应用于HSI数据，以评估疾病严重程度、空间分布和发展趋势（Dasari等人，2024年；Siripatrawan和Makino，2024年）。例如，Yu等人（2025年）使用HSI获取了感染检疫真菌的柑橘类的光谱数据，通过改进的CARS算法提取了44个关键波长，实现了92.50%的识别准确率。Ban等人（2025年）确定了与生菜霜霉病相关的光谱区间和植被指数作为早期指标，PLS、RF和CNN模型表现出高诊断性能。在荔枝霜霉病中，早期感染会在绿峰（500–570 nm）和近红外波段引起显著的光谱变化，为早期诊断提供了可靠的基础（Lu等人，2024年）。总体而言，这些研究表明HSI在早期作物疾病检测中的有效性和广泛适用性，并为监测荔枝霜霉病提供了技术参考。 叶片生理参数作为植物代谢活动和健康的指标，为高光谱数据提供了补充信息（Marín-Ortiz等人，2020年）。病原体感染会在可见症状出现之前引起细胞代谢和结构的微观变化（Ku等人，2025年；Savi等人，2019年）。叶绿素是主要的光合作用色素，与疾病严重程度密切相关，是敏感的早期生物标志物（Li等人，2024年；Arafat，2024年）；例如，小麦白粉病会在疾病的不同阶段引起叶绿素的动态波动（Y. Liu等人，2024年）。氮是一种关键营养素，也会影响疾病进展和植物抗性，因为其运输和吸收会受到感染的影响（Guan等人，2024年；Martinez等人，2021年）。监测这些生理变化提供了关于植物应激反应的内部视角，补充了光谱数据用于早期疾病检测。 基于物联网（IoT）的环境监测系统提供了连续的高频时空数据，这对于早期作物疾病预测至关重要（Khan等人，2020年；Pan等人，2023年；Yu等人，2022年）。现代农业物联网系统在果园中部署了高精度传感器，以监测空气温度、湿度、光照、土壤温度和湿度以及降水量（Zerihun等人，2022年）。例如，Gawande等人（2024年）将温度、湿度和叶片湿度传感器与机器学习相结合，实现了98.85%的葡萄病害检测准确率；Sravanthi和Moparthi（2024年）将环境数据与深度学习结合，在公共数据集上达到了98%的准确率。荔枝霜霉病的爆发对环境条件非常敏感，高湿度和持续降雨会增强病原体的活性，导致叶片持续湿润和植物抗性减弱（Lu等人，2024年；Lu等人，2025年；Xu等人，2018年）。这些动态环境变化是准确疾病预测的关键驱动因素。 多模态融合有效地整合了异构数据，克服了单一模态的局限性，在智能作物疾病监测中受到了关注（Yang等人，2025年）。传统方法通常独立处理每个模态，限制了它们在复杂农业环境中捕捉跨模态关联的能力（Li等人，2024a）。通过深度学习，特征级和决策级融合方法改进了非线性疾病特征的表征，提高了诊断准确性和鲁棒性（Yang等人，2025年；Gao等人，2020年）。研究表明，结合作物图像和环境变量的模型将准确率提高了2.58%，而混合视觉-环境方法进一步提高了1.33%的性能（Lee等人，2024年）。在作物害虫和疾病命名实体识别中，CDP-MCNER框架（Liu等人，2025年）通过跨模态注意力整合了文本和音频，实现了91.32%的准确率、93.05%的召回率和92.18%的F1分数。这些结果证明了多模态融合的价值，并支持了高光谱、生理和环境数据在荔枝霜霉病监测中的整合。 尽管多模态融合具有广阔的应用前景，但在农业场景中的部署仍面临许多挑战（Singh等人，2024年）。模型性能不仅取决于融合策略本身，还受到模态异质性、信息冗余和跨模态耦合复杂性的限制（M. Liu等人，2024年；Li等人，2025年）。不同模态之间的表示空间、语义抽象和信息密度的差异使得实现高效的协同表示和深入交互变得困难（Zhou等人，2024年）。如何提高多模态数据的协同效应和利用效率仍然是该领域的核心挑战。 鉴于荔枝霜霉病早期诊断的复杂性——由病原体应激反应、作物生理变化和环境条件共同驱动——本研究构建了一个多模态框架，整合了高光谱数据、叶片生理参数和环境监测信号。使用现场光谱辐射计收集光谱特征，通过定量测量获取生理指标（叶绿素、氮），并通过物联网传感器网络获取实时气象变量，从而全面表征疾病的发展。基于深度学习的多模态建模用于捕捉跨模态关联并提高早期检测的敏感性。该框架克服了单一模态传感的局限性，为荔枝霜霉病的智能监测和精确管理提供了一种可扩展的方法。 本研究的主要贡献如下： （1）D-SPA（动态时空特征选择算法）通过时间加权和类意识机制扩展了SPA，实现了多时相高光谱数据的联合降维，提高了时间特征提取的特异性和区分度。 （2）SWATH-Net（环境时间建模模块）通过GRU捕获周内气象波动，并使用Transformer编码器对周间趋势进行对齐。 （3）GSGF-Net（跨模态融合框架）协调高光谱、生理和环境模态之间的信息流，实现统一的协同表示。 （4）在300个样本的多模态数据集上的综合实验表明，GSGF-Net在平衡准确率和F1分数方面显著优于主流的时间和图神经网络基线，证明了其在早期疾病预测中的有效性。

实验设计

本研究专注于荔枝叶片，并通过整合多源传感器数据和深度学习提出了荔枝霜霉病的早期预测模型。核心创新在于光谱、环境和生理领域之间的动态耦合机制，以及跨尺度特征融合架构。整体实验示意图如图1所示。实验系统基于物联网框架。使用ASD收集了高光谱反射率数据。

实验配置

补充表S3详细说明了实验超参数。使用了1e-3的学习率、16的批量大小和最多100个训练周期。为了降低300个样本数据集固有的过拟合风险，实施了多种有针对性的正则化策略：基于验证性能的提前停止（以确保稳定收敛并防止过度优化），以及dropout层（保持概率为0.7），在训练过程中随机停用部分神经元。

讨论

荔枝霜霉病的特点是具有明显的潜伏期和突然爆发的行为，由于可观察信号弱和复杂的时空依赖性，使得早期预测具有挑战性。现有研究主要依赖于单一模态数据或耦合较弱的多模态方法，这些方法不足以系统地捕捉内部生理反应、外部环境驱动因素和疾病进展期间的光谱表现之间的相互作用。

结论

本研究提出了一个门控时空图融合网络（GSGF-Net），用于智能早期作物疾病检测，解决了整合多源异构农业数据（高光谱、生理、环境）的核心挑战。该框架基于三个关键创新：（1）动态时空连续投影算法（D-SPA）用于多时相高光谱数据的联合降维和判别波长选择；（2）SWATH-Net

CRediT作者贡献声明

Jianqiang Lu：撰写——审稿与编辑、监督、资源获取、方法论、资金获取、概念化。 Haiyang Tong：撰写——初稿、软件、方法论、形式分析、数据管理、概念化。 Zhengyang Zhou：撰写——审稿与编辑、验证、形式分析。 Yubin Lan：撰写——审稿与编辑、监督、资源获取。 Ting Wang：方法论、调查、数据管理。 Weixing Wang：撰写——审稿与编辑、验证。

资助

本工作得到了宁夏回族自治区关键研发计划重大项目（项目编号：2025BBF01004）；广东省重点领域研发计划（项目编号：2023B0202090001）；广州市重点研发计划（项目编号：2023B03J1392）；111项目（项目编号：D18019）；国家重点研发计划项目（项目编号：2023YFD2000200）的支持。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。