
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于多模态深度学习的稻田健康评估:通过分解双线性池化方法整合叶片图像与表格结构化数据
《Scientific Reports》:Multi-modal deep learning for paddy health assessment: fusing leaf imagery with tabular metadata using a factorized bilinear pooling approach
【字体: 大 中 小 】 时间:2026年06月27日 来源:Scientific Reports 4.9
编辑推荐:
摘要全球粮食安全在很大程度上依赖于对作物病害的准确及时诊断,而水稻则是全球超过一半人口的必需主食。传统的病害识别方法往往耗时费力,且需要大量的专业知识,这成为了农场高效管理的瓶颈。尽管深度学习技术——尤其是卷积神经网络,在基于叶片图像的病害自动分类方面表现优异,但它们往往忽视了农
全球粮食安全在很大程度上依赖于对作物病害的准确及时诊断,而水稻则是全球超过一半人口的必需主食。传统的病害识别方法往往耗时费力,且需要大量的专业知识,这成为了农场高效管理的瓶颈。尽管深度学习技术——尤其是卷积神经网络,在基于叶片图像的病害自动分类方面表现优异,但它们往往忽视了农业专家所依赖的重要背景特征。病害的视觉缺陷可能并不明显,而且会因植物品种和生长阶段等因素而有很大差异。为了解决这一问题,我们提出了一种新的多模态深度学习框架——多模态分解双线性池化模型(MFBP),该模型能够更全面、更精确地评估水稻的健康状况。所提出的方法是唯一一种同时结合了通过叶片图像获取的高层视觉信息以及相关表格信息,如水稻品种和生长天数的方法。MFBP模型采用分解双线性池化技术,而非简单的特征拼接方式,后者往往会丢失不同数据类型之间的复杂关联。这种系统化的方法能够有效编码视觉特征向量和表格特征向量中所有复杂的相互作用,从而帮助模型捕捉到细微的、与特定环境相关的模式。例如,只有通过具体物种在特定生长阶段的视觉缺陷来训练模型,才能让模型知道这种缺陷预示着某种特定的病害。我们在“水稻医生:水稻病害分类”数据集上测试了我们的模型,该数据集是一个包含10,000多张带标签的图像及相关元数据的详细公共数据集,非常适合开展多模态研究。通过一系列实验,我们证明所提出的MFBP模型比基于特征拼接融合的基准模型表现更好,这表明在此类任务中,深度的乘法式相互作用才是最佳建模方式。这些研究结果凸显了多模态人工智能在开发更为强大、精准且具备情境意识的诊断工具以及精准农业方面的巨大潜力,有助于实现更加可持续和高效的农业活动。
生物通微信公众号