今日动态 返回首页
会员注册 登录 生物通快讯免费订阅
  • 首页 今日动态 人才市场 新技术专栏 中国科学人 云展台
    BioHot
    • 定制我的BioHot
    • 进入我的BioHot
    • 进入我的集采
    • 肿瘤癌症研究
    • 免疫/基因/细胞疗法
    • 神经生物学
    • 健康与疾病
    • 衰老机制与长寿
    • 单细胞技术
    • 基因编辑-CRISPR
    • RNA研究
    • 肠道菌与人体微生态
    • 细胞代谢
    • AI生物信息学
    • COVID
    云讲堂直播 会展中心 特价专栏 技术快讯 免费试用

  • 生物通官微
    陪你抓住生命科技
    跳动的脉搏

生物通首页  >  今日动态  >  正文

基于多模态深度学习的稻田健康评估:通过分解双线性池化方法整合叶片图像与表格结构化数据

《Scientific Reports》:Multi-modal deep learning for paddy health assessment: fusing leaf imagery with tabular metadata using a factorized bilinear pooling approach

【字体: 大 中 小 】 时间:2026年06月27日 来源:Scientific Reports 4.9

编辑推荐:

  摘要全球粮食安全在很大程度上依赖于对作物病害的准确及时诊断,而水稻则是全球超过一半人口的必需主食。传统的病害识别方法往往耗时费力,且需要大量的专业知识,这成为了农场高效管理的瓶颈。尽管深度学习技术——尤其是卷积神经网络,在基于叶片图像的病害自动分类方面表现优异,但它们往往忽视了农

  

摘要

全球粮食安全在很大程度上依赖于对作物病害的准确及时诊断,而水稻则是全球超过一半人口的必需主食。传统的病害识别方法往往耗时费力,且需要大量的专业知识,这成为了农场高效管理的瓶颈。尽管深度学习技术——尤其是卷积神经网络,在基于叶片图像的病害自动分类方面表现优异,但它们往往忽视了农业专家所依赖的重要背景特征。病害的视觉缺陷可能并不明显,而且会因植物品种和生长阶段等因素而有很大差异。为了解决这一问题,我们提出了一种新的多模态深度学习框架——多模态分解双线性池化模型(MFBP),该模型能够更全面、更精确地评估水稻的健康状况。所提出的方法是唯一一种同时结合了通过叶片图像获取的高层视觉信息以及相关表格信息,如水稻品种和生长天数的方法。MFBP模型采用分解双线性池化技术,而非简单的特征拼接方式,后者往往会丢失不同数据类型之间的复杂关联。这种系统化的方法能够有效编码视觉特征向量和表格特征向量中所有复杂的相互作用,从而帮助模型捕捉到细微的、与特定环境相关的模式。例如,只有通过具体物种在特定生长阶段的视觉缺陷来训练模型,才能让模型知道这种缺陷预示着某种特定的病害。我们在“水稻医生:水稻病害分类”数据集上测试了我们的模型,该数据集是一个包含10,000多张带标签的图像及相关元数据的详细公共数据集,非常适合开展多模态研究。通过一系列实验,我们证明所提出的MFBP模型比基于特征拼接融合的基准模型表现更好,这表明在此类任务中,深度的乘法式相互作用才是最佳建模方式。这些研究结果凸显了多模态人工智能在开发更为强大、精准且具备情境意识的诊断工具以及精准农业方面的巨大潜力,有助于实现更加可持续和高效的农业活动。

相关新闻
生物通微信公众号
生物通新浪微博
微信
新浪微博
我要投稿
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热搜:水稻病害诊断|多模态深度学习|交叉特征整合|结合可视化信息|遗传标记应用|精准农业工具 摘要提到水稻是主食且病害诊断对粮食安全至关重要|指出传统方法耗时且缺乏背景知识。研究提出了一种多模态框架(MFBP)|旨在整合叶片图像的高层视觉信息(如品种、生长天数)相关表格信息|并证明其通过深层乘法式相互作用捕获更细微的模式。测试在包含10000多张图像和元数据的“水稻医生:水稻病害分类”数据集上进行|结果显示优于基于特征拼接融合的基准模型|表明深度交叉特征整合对于情境感知诊断工具开发的重要性。

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号