《Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy》：Defective wheat kernel classification using dual-range hyperspectral imaging and an interpretable spectral-spatial fusion convolutional neural network
编辑推荐：
Dianyang Sun|Weijie Lan|Kang Tu|Jun Liu|Leiqing Pan中国江苏省南京市210095，南京农业大学食品科学技术学院摘要快速且无损地筛选出有缺陷的小麦籽粒对于保证质量与控制加工流程至关重要，但由于有缺陷籽粒与正常籽粒在光谱和空间特征上存
Dianyang Sun|Weijie Lan|Kang Tu|Jun Liu|Leiqing Pan
中国江苏省南京市210095，南京农业大学食品科学技术学院
摘要
快速且无损地筛选出有缺陷的小麦籽粒对于保证质量与控制加工流程至关重要，但由于有缺陷籽粒与正常籽粒在光谱和空间特征上存在细微差异，要实现可靠识别仍面临挑战。本研究构建了一种光谱-空间融合卷积神经网络（SSFCNN），旨在整合高光谱图像中的光谱信息与空间信息，用于对五种类型的小麦籽粒进行分类。该模型采用了端到端的融合框架，通过挤压激励（SE）、混洗注意力（SA）和高效通道注意力（ECA）分别实现光谱通道的校准、空间特征的优化以及融合特征的增强。实验结果表明，采用深度特征融合的SSFCNN在性能上优于传统特征融合方法构建的支持向量机（SVM）和卷积神经网络（CNN）。在可见光和近红外波段，该模型的整体准确率高达96.48%，在短波红外波段为95.61%，同时各类别的精确度、召回率、特异性和F1值也均有显著提升。此外，在外部验证集上对分类结果的可视化分析显示，SSFCNN的空间一致性及决策可靠性更强。总体而言，本研究为高光谱技术筛选有缺陷小麦籽粒提供了经过验证且易于理解的光谱-空间融合框架，为未来在真实分选场景及跨领域应用中的智能分级与在线质量监控提供了方法学基础。
引言
小麦是全球重要的粮食作物，在保障全球粮食安全与促进经济贸易方面发挥着关键作用[1]。每颗小麦籽粒的质量不仅决定其营养价值、加工效率和市场竞争力，还会直接影响整个供应链中的食品安全与质量稳定性[2]。在商业批次中，部分小麦籽粒可能因收割、搬运、储存或病虫害等因素而出现缺陷。此处所指的有缺陷小麦籽粒包括破碎、发霉、发芽以及被虫害损害的籽粒。这类籽粒的存在会降低面粉产量，增加面粉外观及杂质方面的差异，还会改变与淀粉和蛋白质结构相关的功能特性，进而影响制粉过程的稳定性及后续加工效果。此外，发霉的小麦籽粒还可能带来微生物风险和异味问题，增加批次间的不确定性，降低产品市场价值。因此，快速准确地识别有缺陷的小麦籽粒对于小麦行业的智能质量监测、加工优化以及出口检验具有重要意义。
目前，传统的小麦质量检测方法主要依赖人工视觉评估或实验室化学分析，这些方法不仅耗时费力，还受操作人员影响大，且具有破坏性[3]。这些局限性使得它们难以应用于大规模、实时的质量控制和自动化分选场景。近年来，高光谱成像技术的进步为无损、高通量的食品质量检测带来了新的可能性。相关研究进一步表明，高光谱成像与人工智能技术的结合正在快速发展，可在多种分类和质量检测任务中发挥重要作用[4]。高光谱成像将光谱技术与成像技术相结合，能够在宽波长范围内获取空间分辨率较高的光谱数据，从而同时提供连续的光谱特征和详细的形态信息[5]。因此，高光谱成像能够同时表征与化学成分相关的信息以及表面结构特征，有助于快速、全面地检测小麦籽粒的多种质量属性与缺陷。
越来越多的研究证据表明，高光谱成像与人工智能算法相结合，可有效用于小麦质量评估与缺陷识别。此外，卷积神经网络也被成功应用于高光谱数据分析，可用于智能识别任务，能够从复杂的高光谱数据中提取分层且具有区分度的特征[6]。例如，有人从高光谱图像中提取有效波长，作为输入传递给残差注意力卷积神经网络，最终实现了98.13%的分类准确率，可用于识别感染赤霉病的小麦籽粒[7]。还有研究将基于参考的图像超分辨率技术与时序残差网络相结合，提升了高光谱图像和RGB图像的空间分辨率，从而实现了92.78%的预测准确率，可用于小麦籽粒质量判定[8]。另外，还有研究将卷积神经网络与Transformer模型相结合，用于处理小麦籽粒的高通量表型数据，品种识别的准确率可达94.50%[9]。
尽管取得了这些进展，但目前许多研究仍采用传统的特征融合方法，即先通过特定方法选择有效波长并提取手工设计的特征，再利用传统机器学习模型或简单的集成规则将这些特征进行组合[10]。这类方法容易受到特征工程选择的限制，难以捕捉光谱特征与空间外观之间的复杂非线性关系。相比之下，深度特征融合方法旨在在端到端的网络中学习和整合光谱特征与空间特征，从而更灵活地建模不同特征之间的关联。然而，目前用于小麦籽粒检测的带有可学习注意力机制的深度特征融合模型仍然相对较少，这不利于识别那些细微、相互混淆或部分重叠的缺陷模式[11]。
为解决上述问题，本研究提出了一种光谱-空间融合卷积神经网络（SSFCNN），用于分类有缺陷的小麦籽粒。研究目标包括：（1）获取可见光、近红外波段以及短波红外波段的高分辨率高光谱图像；（2）系统比较不同的光谱预处理和特征选择策略；（3）构建一个端到端的深度特征融合框架，整合光谱特征与空间特征以实现更可靠的分类；（4）将SSFCNN与传统的基准模型，如基于传统特征融合的支持向量机（SVM）和卷积神经网络（CNN）进行对比测试。本研究提供了一种实用的光谱-空间融合解决方案，为智能、无损、高通量的小麦质量监控提供了科学依据和技术参考，有助于保障食品安全以及完善粮食贸易检测体系。
内容片段
样本准备
中国的主要小麦产区涵盖河北、河南、山东、江苏和安徽五个省份，这些地区的小麦产量占全国总量的很大比例。为确保样本的地理代表性，本研究选取了这些地区种植的10个主要小麦品种作为研究样本，包括恒麦29、马兰1号、正麦379、新麦26、吉麦22、河麦29、华麦21、莲麦186、皖麦22以及谷神麦19。本研究使用的样本包括正常籽粒、破碎籽粒、发霉籽粒以及被虫害损害的籽粒，这些样本均由
光谱分析
由于原始高光谱数据的两端存在明显的噪声，而这些噪声主要是由高光谱成像系统的限制所致，因此仅选取了中间的光谱带用于进一步分析[34]。具体而言，保留了400–1000纳米波段内的420个光谱带以及1000–2005纳米波段内的143个光谱带用于后续研究。
如图3(b)所示，400–1000纳米波段内所有五类小麦籽粒的平均光谱曲线均显示出
结论
本研究通过构建一种光谱-空间融合卷积神经网络，充分利用高光谱图像中所包含的互补信息，实现了对有缺陷小麦籽粒的多类分类。该模型采用了双分支架构，分别独立学习光谱描述符与空间特征，然后通过端到端的方式将二者整合在一起，从而实现了比传统特征融合方法更为全面的特征利用。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
致谢
本研究得到了中国国家重点研发计划的支持（项目编号：2022YFF1100801）。
