基于光谱数据和RGB图像融合结合深度学习方法的大豆品种鉴定

《Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy》：Identification of soybean variety based on spectral data and RGB image fusion combined with deep learning method

　　

刘伟|姜全|王浩|周欣然|吴晨晨|刘长红

中国合肥工业大学智能控制与计算视觉实验室，合肥230601

摘要

大豆品种的识别对于提高作物质量、稳定产量和调节农业市场具有重大意义。本研究提出了一种新颖的高性能大豆品种识别方法，该方法创新地将高光谱数据与RGB图像相结合，并引入了优化的深度学习框架。本研究对广泛使用的实时物体检测算法YOLO（You Only Look Once）进行了改进和优化。评估了不同的光谱预处理策略以提高数据质量，然后提出了一种新颖的线性插值方法来整合光谱和视觉信息，丰富特征输入。通过优化参数效率和增强空间注意力机制，改进了YOLOv11架构，提高了模型的表征能力。结果表明，移动平均和多次散射校正的结合预处理方法取得了最佳性能。所提出的改进型YOLOv11模型在测试集上的准确率为98.8%，显著优于传统的单模态方法。这些发现验证了光谱和成像数据的多模态融合是作物品种识别的一种高效策略，在农业产品分类和质量控制等更广泛应用领域具有广阔的潜力。

引言

大豆是世界上最重要的农作物之一，提供了人类大部分的热量摄入[39]。众所周知，不同的大豆品种适应不同的地理环境和气候条件，这些条件对生长习性和产量有着显著影响[6]。然而，为了非法牟利而对大豆品种进行掺假已成为一个严重问题，导致农民遭受重大产量损失和经济损失[4]。因此，开发准确高效的大豆品种识别方法对于大豆种植和保护农民的利益至关重要。

传统的品种识别方法主要依靠观察幼苗的形态特征（如生长状态、叶形和叶色等）来进行鉴定[41]，但这不适用于市场监督。为了提高识别效率，提出了电泳分析方法，通过分析种子蛋白质的电泳图谱来鉴定品种[27]。然而，基于电泳的品种识别方法严重依赖人工解释条带图案，实验条件可能会增加视觉判断的不确定性。因此，尽管传统方法比形态识别更有效地鉴定种子品种，但其缺点也很明显，如耗时、主观性强且具有破坏性等，无法实现在线检测。

近年来，基于计算机视觉（CV）的几种识别技术得到了逐步发展，并在其在自动化收割领域的应用方面进行了相关研究[22][32]。然而，CV技术通常使用可见光进行分析，只能获取检测对象的外部质量。光谱成像技术作为一种非破坏性检测方法，在农业领域得到了应用，因为它包含了丰富的光谱和图像信息[7]。特别是随着机器学习方法的发展，其应用范围不断扩大，包括用于农产品安全和质量检测[3][23]。例如，从1039?nm到1612?nm的高光谱图像中选取了12个最佳波长，构建了四种水稻品种的分类模型，鉴别准确率基本高于80%[18]。在草莓果实含水量估计中，选择了674和698?nm的波段，使用点光谱法创建了归一化差异。该模型用于含水量估计，相关系数为0.82，均方根误差（RMSE）为0.0092?g/g[26]。还提出了一种使用多通道高光谱成像系统的苹果品种非破坏性检测方法，结果显示NIR和全光谱区域的光谱组合比其他光谱区域的组合具有更高的准确率，达到了99.4%[14]。

尽管传统的光谱成像技术与传统的机器学习方法相结合在农产品检测中取得了可靠的成绩，但这些方法通常依赖于手动特征提取和模型设计，这在处理复杂的农业场景时可能限制其泛化能力和检测效率[5]。近年来，随着深度学习的快速发展，数据驱动的特征学习为光谱成像数据的智能分析提供了新的范式[37]。通过自动挖掘高维的光谱-空间特征而无需人工干预，深度学习模型逐渐成为高精度和实时农业检测任务的主流方法，从而推动了智能农业检测系统的进一步发展。随着利用光谱成像技术进行农业生产检测的发展，越来越多的深度学习方法被应用于农业领域并取得了显著进步。例如，改进的MobileNetv2模型被开发用于检测大豆表面缺陷，在遮盖数据集上的准确率达97.84%，并且在NVIDIA Jetson Nano板上实现了35FPS的推理速度[40]。SNet方法被开发用于自动识别大豆种子，准确率为96.2%[15]。YOLO（You looking only once）作为一种流行且被广泛采用的物体检测算法，逐渐被应用于高光谱图像分析任务[34]。YOLOv5则在准确性和实时性能之间取得了平衡，已被用于检测番茄果实的成熟度和损伤情况，预测准确率均超过97%[25]。

由于YOLO的架构本质上是为单模态2D图像任务设计的，在处理异构多模态数据时会导致维度不匹配和特征提取效果不佳。此外，原始的YOLO框架缺乏专用的跨模态融合模块，需要进行大量的结构修改，这使得处理来自两种不同模态的输入数据变得困难。随着YOLO模型的不断迭代和发展，其规模和计算复杂性不断增加，使得模型部署和在线监控变得困难。YOLOv11是YOLO的最新版本，擅长物体检测和图像分类。与其他版本相比，YOLOv11在网络架构、特征提取能力和检测效率方面都有所改进，从而在复杂任务中表现出更好的性能。然而，如何融合光谱和图像特征以及调整YOLO的结构以改进大豆品种识别性能仍需进一步研究，因为光谱特征是一维向量，而RGB图像是二维向量[13]。

本研究提出了一种基于线性插值的多模态特征融合方法，将高光谱图像的1D光谱数据和2D RGB图像数据集成在一起，为构建高效检测模型奠定了基础。同时，我们优化了网络结构并改进了YOLO框架内的注意力机制，从而提高了其识别性能。所提出的方法证明了其在非破坏性大豆品种识别方面的有效性。

章节摘录

实验样本

本研究使用的大豆样本来自中国黑龙江省的农业研究机构和种植基地。所用的大豆品种包括中黄909、中黄901、海农98、东升79和中隆清1号。共有480个大豆样本，每个品种有96个样本，详细信息见表1。

预处理结果

表2展示了使用BP、ELM、SVM和LSTM等不同模型对验证集和测试集的识别准确率[10][11][12][29]。从表中可以看出，不同的预处理方法对模型性能有一定影响。在测试集的准确率方面，MA在BP和ELM模型中的预测效果最好。在SVM和LSTM模型中，SNV在单模态预处理方法中具有最佳的预测效果。

讨论

对于光谱预处理方法，MA作为一种平滑滤波器，通常与MSC结合使用以减少高频噪声。SG同时具有平滑和差分功能，通常与SNV而不是MSC配对使用。因此，评估了MA?+?MSC和SG?+?SNV的组合。虽然理论上MA?+?SNV和SG?+?MSC的组合是可行的，但在本研究的光谱数据类型中，这些组合在文献中较少采用且物理意义不大。

结论

本研究提出了一种新的方法，采用改进的YOLOv11算法和融合图像（结合了高光谱数据和RGB图像）来分类大豆品种。该方法通过结合光谱数据和RGB图像作为深度学习方法的输入，捕获了更多信息。改进的YOLOv11网络结构能够处理融合图像，实现高检测准确率，并减少计算量，这对于大规模应用非常重要。

作者贡献

刘伟：概念化、形式分析、研究方法、审阅和编辑写作。姜全：撰写初稿、概念化、数据管理、形式分析、研究、可视化和方法论。王浩：数据管理、验证、研究。吴晨晨：研究。刘长红：概念化、研究、方法论、审阅和编辑写作。

资助

本工作得到了国家自然科学基金（U23A2081）、安徽省重点研发计划（2023n06020052、2023n06020010）以及苏州市科技计划重大专项（SZKJXM202310）的支持。

利益冲突声明

作者声明他们没有任何已知的财务利益或个人关系可能会影响本文报告的工作。

致谢

作者衷心感谢编辑和匿名审稿人的宝贵意见和建设性建议，这些都极大地提高了本手稿的质量。