利用可解释的RGB光谱融合技术对玉米种子品种进行无损识别
《Journal of Stored Products Research》:Nondestructive identification of maize seed varieties using interpretable RGB-spectral fusion
【字体:
大
中
小
】
时间:2026年08月05日
来源:Journal of Stored Products Research 3.4
编辑推荐:
摘要准确识别玉米种子品种对于种子质量管控、育种管理以及市场监督至关重要,但由于形态相似性以及图像难以捕捉生理化学差异,难以实现精细区分。本研究提出了MMR-Net,这是一种可解释且轻量级的框架,结合RGB成像与非成像高光谱技术,用于无损识别玉米种子品种。研究人员从每个玉米粒获取R
摘要
准确识别玉米种子品种对于种子质量管控、育种管理以及市场监督至关重要,但由于形态相似性以及图像难以捕捉生理化学差异,难以实现精细区分。本研究提出了MMR-Net,这是一种可解释且轻量级的框架,结合RGB成像与非成像高光谱技术,用于无损识别玉米种子品种。研究人员从每个玉米粒获取RGB图像及对应的反射光谱。在图像处理部分,采用带有Ghost模块的MobileNetV4-Small来提取轻量级视觉特征;在光谱处理部分,则利用RIME算法进行波段选择,并结合Res-1D-CNN来减少光谱冗余并捕捉有用的光谱模式。随后通过自适应模态重加权方式将两种数据模式整合,实现逐样本的多模态融合,同时运用Grad-CAM++和SHAP工具来解释模型预测的空间与光谱依据。在11个类别的玉米种子数据集上,经过分层5折交叉验证后,MMR-Net的准确率为98.55±0.14%,比最佳单模态方法的准确率高9.42个百分点,且该模型的参数量仅为2.74百万,计算量仅为0.325吉次浮点运算。在独立的公共玉米种子数据集和枸杞数据集上重新训练并评估时,其准确率分别达到98.75±0.15%和99.20±0.04%,进一步证明了该架构在其他RGB-光谱配对分类任务中的适用性。Grad-CAM++显示模型关注点集中在胚芽区域、轮廓边界以及与纹理相关的结构上,而SHAP则识别出与淀粉、蛋白质、水分和色素相关的关键波段。这些结果表明,MMR-Net为无损种子品种识别及农业材料检测提供了一种准确、轻量且可解释的解决方案。
引言
可靠的玉米种子品种识别对于种质资源管理、育种材料筛选、种子真伪鉴定以及流通监管具有重要意义(Zhang等,2024;Qi等,2025;Tu等,2021)。然而,由于不同品种的玉米粒在颜色、形状和表面纹理上可能存在相似性,因此实现无损识别仍面临挑战。此外,同一品种内的玉米粒也可能因种植、采收和储存条件不同而出现表型差异。传统的识别方法主要依赖专家人工检查以及抽样复检,这类方法耗时较长,在大规模、多品种的应用中往往难以获得一致的结果。因此,机器视觉、光谱传感和深度学习领域的进展推动了快速自动化玉米种子品种识别方法的发展(Barbedo,2023;Wang等,2025;Li等,2024a)。
现有研究通过单独使用各类感知技术已取得了显著进展。RGB成像具有采集成本低、部署方便、推理速度快等优点,能够保留玉米粒的轮廓、胚芽形态、颜色和表面纹理等空间特征。但基于图像的方法主要只能描述外部表型,对于视觉特征高度相似的品种难以区分。高光谱技术则能够提供与水分、淀粉、蛋白质、脂质、色素以及组织结构相关的连续反射响应,因此可以揭示RGB图像中不易察觉的成分差异。不过,非成像光谱缺乏空间定位能力,且其密集采样的波段中存在大量冗余和共线性问题。表1总结了传统机器学习和深度学习方法在单模态研究中的典型应用。尽管这些方法在受控条件下能实现较高准确率,但单一模态无法同时反映空间表型与成分相关的光谱变化。
为弥补单模态方法的不足,越来越多的研究开始探索将RGB信息与高光谱信息融合用于作物种子分类。Fabiyi等人(2020)开发了一种水稻种子分类系统,将该系统的RGB图像空间特征与高光谱图像的光谱特征相结合。当水稻品种数量从6种增加到90种时,平均F1分数从98.17%下降到78.27%,这表明即便结合了互补的感知模式,实现精细区分依然困难。Bi等人(2024)将RGB图像提取的形态特征与选定的高光谱特征相结合,使用ZGWO-RF算法在11个玉米种子品种上的测试准确率达到了95.9%。Bu等人(2024)通过RGB-高光谱融合框架实现了97.6%的准确率,这一数值分别比仅使用高光谱或仅使用RGB的模型高出4.0%和7.2%。Li等人(2024b)则通过高级特征融合方法实现了大豆种子分类93.13%的准确率。总体而言,这些研究都证明了整合互补的视觉与光谱信息对于作物种子识别的价值,不过改进的幅度和稳定性会因数据集、特征表示方式以及融合策略的不同而有所差异。
然而,仅有互补信息并不足以保证有效的融合。正如Baltrusaitis等人(2018)所指出的,多模态性能取决于表示学习、模态对齐以及融合设计。不同样本之间,RGB信息与光谱信息的可靠性也可能存在差异。例如,当不同品种外观相似时,图像特征可能变得模糊不清;光谱特征则可能受到表面散射、仪器噪声或局部反射率变化的影响。静态拼接和固定加权方法会对所有样本应用相同的融合规则,无法有效应对这类差异。相关的遥感研究也表明,异构信息源需要借助基于上下文的建模、自适应加权以及空间、时间和光谱信息之间的结构化交互才能发挥最佳效果(Zhang等,2023、2025、2026)。这些因素促使人们采用自适应融合策略,以体现RGB特征与光谱特征随样本变化的贡献程度。
除了融合精度之外,实际的多模态识别还要求光谱输入尽可能简洁、特征提取具备较高的计算效率,同时还需要明确的决策依据。光谱特征选择尤为重要,因为非成像高光谱数据包含数千个相邻波段,其中很多都是冗余的或高度共线的。CARS和SPA算法会根据回归系数或共线性标准降低光谱维度,而RIME则提供了一种基于群体的全局搜索策略(Li等,2009;Araújo等,2001;Su等,2023)。同时,在单一模型中处理两种模态会增加计算复杂度,因此需要采用轻量级的特征提取方法。明确的决策依据也有助于判断模型预测是否基于合理的视觉和光谱线索。近期的种子分类研究已经使用Grad-CAM++来可视化模型的空间注意力分布(Chattopadhay等,2018),并利用SHAP来量化各波段的贡献程度(Ran等,2026;Lundberg等,2020)。不过,仅基于单一模态的解释无法全面展现多模态预测的完整信息,将空间特征与光谱特征的解释相结合,才能更全面地了解模型所依据的信息来源。
基于以上考虑,本研究提出了MMR-Net,这是一种可解释的轻量级RGB-光谱融合框架,可用于无损识别11个玉米种子品种。该框架采用带有Ghost模块的MobileNetV4-Small来提取视觉特征,从而降低计算复杂度;同时利用RIME算法进行波段选择,并结合残差一维卷积神经网络得到简洁的光谱表示。此外,研究还引入了自适应模态重加权模块,以体现两种模态随样本变化的贡献差异。最后通过Grad-CAM++和SHAP进一步分析模型所使用的空间区域和光谱波段是否与相关的形态学和生理化学知识相一致。本研究旨在评估,通过整合互补的RGB与光谱信息,是否能够在保持计算效率的同时,提升玉米种子品种的精细识别能力,并为决策提供可解释的依据。
章节节选
样本准备
为全面评估所提出的多模态框架在玉米种子精细识别方面的性能,本研究选取了11个表型特征极为相似的常见栽培玉米品种。这些品种包括JD27(吉丹27)、JD50(吉丹50)、JD83(吉丹83)、JD209(吉丹209)、JD407(吉丹407)、JD436(吉丹436)、JD505(吉丹505)、JD626(吉丹626)、JD953(吉丹953)、LY9915(绿玉9915)以及ZD958(正丹958)。所有样本均采集自
玉米样本的光谱特征
图7展示了11个玉米品种在350-2500纳米波长范围内的平均反射光谱。总体来看,不同品种的光谱曲线整体形态较为相似,均呈现出从可见光区域向近红外早期区域(约450-900纳米)迅速上升的趋势,在900-1150纳米范围内存在高反射值平台,1200-1500纳米区域则出现明显下降,而在1600-1900纳米和2000-2300纳米区域则存在一定的局部差异。在所测试的品种中,JD505和JD407
讨论
从机制层面来看,MMR-Net之所以能取得优异性能,得益于其在多个层面有效整合了互补的多模态信息。在融合层面,AMR Fusion通过样本级的动态加权,降低了静态融合对模态质量波动的敏感性,从而提升了那些图像和光谱特征不均衡的边缘样本的识别稳定性。在输入层面,RIME算法则能够去除高光谱数据中的冗余波段
结论
本研究提出了一种可解释且轻量级的多模态重加权网络——MMR-Net,旨在解决单一模态信息不足以及缺乏自适应融合机制所带来的问题,从而实现玉米品种的精细识别。该框架以MobileNetV4-Small+Ghost作为图像处理模块,采用Res-1D-CNN作为光谱处理模块,运用RIME算法进行高光谱波段选择,同时通过AMR Fusion实现样本级的动态模态加权。
资金支持声明
本研究得到了吉林省科技发展计划项目的支持(项目编号:YDZJ202502CXJD006)。
作者贡献说明
谢浩:概念构思、数据整理、方法设计、验证、论文初稿撰写、论文审阅与修改。季浩然:正式分析、研究指导、结果可视化、论文审阅与修改。毕新华:实验研究、资源协调、论文审阅与修改。王莫汉:资金筹集、项目管理、结果验证。毕崇光:项目管理、资源保障、软件应用、研究指导、结果验证、论文审阅与修改。
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益关系或个人关联关系。
致谢
本研究得到了吉林省科技发展计划项目的支持(项目编号:YDZJ202502CXJD006)。同时,作者也感谢吉林省光农业重点实验室提供的支持。
Hao Xie|Haoran Ji|Xinhua Bi|Mohan Wang|Chunguang Bi
中国长春市130118,吉林农业大学信息技术学院
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号