RiceMultiModalNet：一种用于水稻病害检测的概念验证型生物学约束多模态深度学习，整合了物候阶段和环境风险

《Scientific Reports》：RiceMultiModalNet: a proof-of-concept biologically constrained multi-modal deep learning for rice disease detection integrating phenological stage and environmental risk

　　

摘要

基于视觉深度学习的稻米病害检测系统虽然实现了高分类准确率，但无法确保生物学上的合理性，无法提供症状出现前的风险预测，也无法提供具有农学可解释性的说明。本文提出了 RiceMultiModalNet，一个概念验证型的三支路晚期融合框架。该框架在一个通过计算合成、源自独立公共仓库的多模态数据集上进行评估，该数据集中的叶片图像、环境变量和物候阶段标签并非从相同的田间位置或时间点共同收集。结果证明了在受控条件下三项操作能力的可行性，不应将其解读为经过验证的田间部署或现实世界预警能力。它在单一流水线中整合了 ResNet-50 视觉分类器、物候生长阶段编码器和八变量气象风险（多层感知机）MLP，并在一个计算合成的数据集上进行评估，该数据集包含来自公共可用仓库（Mendeley, Kaggle）的 4804 张稻米叶片图像以及计算分配的 NASAPOWER 再分析环境数据。报告了三项操作贡献：(1) 一个基于文献的 8×3 物候易感性约束模块，在推理时抑制生物学上不合理的预测；(2) 一个无图像环境风险子模型，仅凭气象输入即可实现症状出现前的病害咨询；(3) 基于 SHAP 的农学可解释性，将预测与物候和环境驱动因素联系起来，并通过 Grad-CAM 进行空间验证（平均病斑能量集中度 80.2%，平均 IoU 46.6，指针游戏准确率 60–65%，每种病害的详细分解见表格 11）。该框架的主要贡献是三项操作能力：(1) 一个 8×3 物候易感性约束模块，抑制生物学上不合理的预测；(2) 一个无图像环境风险子模型（AUC = 0.99%, ECE = 0.0281），仅凭气象输入即可实现症状出现前的病害咨询；(3) 基于 SHAP 的农学可解释性，通过 Grad-CAM 进行空间验证（平均病斑能量集中度 80.2%，平均 IoU 46.6%, 指针游戏准确率（60–65%）。视觉分支在基准测试中达到了 99.58% 的分类准确率，确认了视觉分支功能的正确性，然而所有消融配置（包括单模型视觉基线）都达到了相同的准确率，这证实了多模态价值完全存在于上述三项操作能力中。所有三种模态都是计算合成的，而非在田间共同收集。AUC 和 SHAP 排名可能反映了合成过程中引入的算法相关性，应仅视为概念验证指标。使用共同收集的多模态数据进行纵向田间验证仍然是必要的下一步。