高通量无损多模态深度融合技术在高粱籽粒品种鉴定中的应用

《Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy》：High-throughput and nondestructive multimodal deep fusion for variety identification of sorghum kernels

　　淄博国|徐卓平|张鹏飞|陈安静|王晓琴|饶强|万晓帅|张庆亮|王奇中国科学院合肥物质科学研究院，安徽合肥230031摘要对于智能农业和工业质量控制而言，准确、无损且高通量地识别高粱品种至关重要。然而，基于RGB成像或近红外光谱技术的单一模态方法在品种间差异较微小时往往缺乏足够的稳定性。本研究为六个代表性高粱品种建立了同步的近红外光谱–RGB多模态数据集，包含14,400对籽粒样本（每个品种2400个样本）。每个样本都包含覆盖901.467–1706.76纳米范围、具有256个参数的近红外光谱以及高分辨率RGB图像。研究提出了一种端到端的多模态注意力网络，通过双向交叉注意力实现深度特征融合，从而使光谱物理化学特征与视觉外观特征之间能够实现自适应交互。在训练集采用8:2比例划分并进行五折交叉验证的情况下，该网络结合Swin Transformer视觉分支，其准确率为0.9888，F1值为0.9889，相比最佳仅使用近红外光谱的基准模型，准确率高出8.40个百分点；相比最佳仅使用RGB图像的基准模型，准确率高出6.09个百分点。消融实验表明，交叉注意力是提升性能的关键因素，而双向交互和光谱SE注意力则进一步增强了区分能力。此外，通过独立的为期三天的重复验证，该模型的综合准确率为0.9758，F1值为0.9755，显示出良好的跨检测日通用性。这些结果表明，所提出的多模态注意力网络能够有效利用近红外光谱和RGB图像的互补信息，为高通量检测场景下的高粱品种精细识别提供了一种可靠且无损的解决方案。引言高粱是一种耐旱耐热性强的重要谷物作物，对于保障粮食安全、作为动物饲料以及酿酒行业都具有重要意义。在白酒生产中，高粱籽粒是富含淀粉的主要原料，不同品种在淀粉结构、蛋白质含量、单宁以及其他微量成分方面的差异，会影响到糊化过程、发酵效率以及酒的风味形成。因此，可靠的品种鉴定不仅对于种子纯度评估至关重要，对于酿酒行业的原料分级和工艺标准化也同样重要。在智能作物品种识别领域，精细分类/识别指的是在样本宏观结构和外观极为相似的前提下，精准区分高度同质的类别，如亚种、品种甚至更细分的等级。与传统图像分类不同，精细识别面临更大挑战，因为各类别之间那些细微但具有区分意义的差异（如表型特征、物理化学属性或遗传背景），往往会被较大的共性所掩盖。因此，仅依靠颜色、轮廓和形状等明显的低级特征，通常难以实现高精度区分。这一问题在高粱这类谷物作物中尤为突出，因为多个优良品种在籽粒形态、表面纹理以及光谱响应方面存在较大重叠。此外，实际检测环境中还存在采集条件变化、背景干扰以及样本老化等问题，这些都会进一步增加类别间的混淆程度，降低模型的稳定性。传统的高粱纯度评估主要依赖于人工检测、化学分析以及形态学特征分析。虽然化学分析的准确性很高，但由于需要复杂的样品前处理流程，耗时较长，因此并不适合用于高通量的工业应用。人工评估和基于形态学的方法则存在较强的主观性、效率低下且易受环境条件影响。近红外光谱技术能够检测样品在近红外区域的吸收和反射特性，这些特性主要与CH、OH、NH等含氢键的泛频和组合振动有关。因此，近红外光谱可以间接反映农产品中水分、淀粉、蛋白质、脂质以及其他化学成分的变化情况。由于其快速、无损且高通量的特点，该技术非常适合用于在线粮食检测。不过，近红外光谱通常包含宽泛且相互重叠的吸收带，且容易受到散射、颗粒大小、表面粗糙度、仪器漂移以及环境变化的影响。RGB成像则能够捕捉籽粒的可见表型信息，包括颜色、形态、表面纹理以及局部缺陷。与光谱仪器相比，RGB成像成本较低，操作直观，便于大规模视觉检测。深度视觉网络能够从原始图像中自动学习分层特征，因此RGB成像也适用于作物种子分类。然而，RGB图像主要描述的是表面外观，易受光照条件、拍摄角度、背景以及表面反射的影响，无法直接反映对品种鉴别至关重要的内部物理化学差异。不过，仅使用单一图像模态进行品种识别和分级存在若干固有局限性。首先，不同品种之间的视觉差异往往极为微妙，仅依靠外观特征（如颜色和形状）很难区分那些遗传背景或内在质量属性相似的品种。其次，图像特征极易受到光照、拍摄角度以及成像分辨率等外部因素的影响，这限制了其在复杂现实场景中的通用性。更为重要的是，RGB图像无法直接显示籽粒的内部物理化学特性，而这些特性却是品种分级和营养价值评估的重要依据。因此，当样本的形态极为相似但化学成分存在显著差异时，基于单一图像模态的模型的分类精度往往有限。为了解决这些局限性，近年来的研究越来越注重多模态信息融合，即将能够通过高维光谱特征反映物质成分的近红外光谱技术与图像数据相结合。结合深度学习及其他先进技术，多模态融合已被证明能够显著提升作物品种识别的准确性和稳定性。通过将纯粹的视觉信息与与化学相关的特征相结合，多模态方法还能提高模型在复杂农业环境中的适应性，已成为智能作物识别领域的关键发展趋势。不过，传统的融合策略，如简单的特征级串联，往往无法充分发挥不同模态之间的互补作用，从而限制了融合效果。近年来，深度学习技术，尤其是卷积神经网络，在分类任务中受到了越来越多的关注，因为它可以直接从原始数据中学习，并自动提取具有区分能力的特征，从而在一定程度上克服了手工设计特征提取方法的局限性。ResNet是一种典型的深度卷积神经网络，它通过引入残差连接来缓解梯度衰减问题，从而支持构建更深层次的模型。ResNet中的瓶颈残差块能够在保持合理计算成本的同时提供强大的特征表示能力，因此被广泛应用于图像分类和农业视觉任务中。近期，诸如Swin Transformer之类的视觉变换器则通过移位窗口自注意力机制和分层特征表示方式，展现出在建模局部和全局依赖关系方面的强大能力。这些核心模型为从高粱籽粒图像中提取精细的视觉特征提供了有效工具。例如，李等人利用深度学习将近红外光谱与高光谱图像融合，用于无损辣椒品质评估，在测试集上取得了R2?[0.9554, 0.9826]的优异效果。胡等人提出了一种多模态光谱–图像融合网络，通过整合高光谱成像获得的一维光谱数据与二维显微图像，实现了对12个高粱品种的快速精准识别，该模型的准确率为0.9333。萨尔瓦多等人则结合可见光、短波近红外以及宽谱近红外光谱，对128个葡萄品种进行了多模态无损识别，其性能优于偏最小二乘法等传统方法。此外，李等人还提出了一种新的不对齐红外–可见光图像融合框架，该框架无需严格对齐的图像对或显式的图像配准操作，其所设计的模块能够有效提取、对齐并融合特征，通过在合成数据集和真实数据集上的实验，证明了该框架的有效性。总体而言，这些研究表明，基于深度学习的方法相较于传统机器学习，能够显著提升品质和纯度识别水平，而多模态融合相比单一模态方案则能带来进一步的改进。受上述研究结果的启发，本研究引入了由工业相机拍摄的高分辨率图像，作为一维近红外光谱信号的补充。与近红外光谱相比，这些图像能够提供高粱籽粒的详细表面结构信息，包括纹理、颜色和形态特征。通过同时利用一维光谱数据与对应的二维图像数据，我们提出了一个多模态注意力网络，用于对六个高粱品种进行精准分类。该网络包含负责提取各自模态特征的光谱分支和视觉分支，随后通过双向交叉注意力模块实现特征层面的交互与融合。尽管目前已有越来越多研究探索将光谱技术、图像技术以及多模态技术应用于农产品识别，但在高粱品种的精细区分方面仍存在若干局限性。首先，许多现有研究仅依赖单一模态，而当高粱品种的外观极为相似且光谱响应也存在重叠时，这种做法显然不够充分。其次，大多数多模态研究采用简单的特征串联或决策级融合方式，可能无法充分利用物理化学光谱特征与视觉表型特征之间的条件关联。第三，很少有研究在高通量采集环境下构建严格配对的单个籽粒近红外光谱–RGB数据集，并通过独立的采集日重复实验来评估模型的通用性。与现有的高粱品种识别研究相比，本工作的创新之处体现在三个方面：首先，利用自主研发的高通量检测系统，为六个高粱品种构建了同步的籽粒级近红外光谱–RGB数据集；其次，提出了一个包含双向交叉注意力的端到端多模态注意力网络框架，用于明确建模光谱与图像之间的相互关系；最后，将该模型与单一模态、早期融合、晚期融合以及消融实验用的基准模型进行了系统比较，并在独立的为期三天的重复数据集上进行了进一步验证。这些设计使得所提出的方法在工业质量控制的场景下，为高粱品种的无损、高通量且稳健的鉴定提供了有力支持。数据来源与采集本研究所使用的六个高粱品种由泸州老窖股份有限公司提供，分别为国窖红、红缨子、青翘杨、郎诺红、银诺红和一壶红。每个品种共采集了2400颗籽粒，总计14,400颗籽粒。该数据集按照8:2的比例划分为训练集和测试集，随后在训练集上进行了五折交叉验证。除了用于模型开发的原始数据集外，还有一组独立的……结果与讨论本部分对所提出方法的实验结果进行了全面总结和分析。首先，报告了仅使用近红外光谱或仅使用RGB图像的单一模态模型的分类性能。接着，深入分析了多模态融合模型的有效性。最后，通过消融实验来验证各个关键组件的作用。结论本研究开发了一种端到端的多模态注意力网络，用于利用配对的近红外光谱和RGB图像实现高粱品种的高通量无损识别。该框架将针对不同模态的特征提取与双向交叉注意力相结合，从而使物理化学光谱特征与视觉外观信息之间能够实现有效交互。实验对比、消融实验以及独立的多人日验证均表明，所提出的多模态注意力网络具有出色的性能。资金声明本研究得到了固态酿造国家工程研究中心（编号2024HX21）、安徽省重点科技项目（编号202423m10050002）以及安徽省重点研发计划（编号2023n06020016和2023n06020028）的支持。利益冲突声明作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。