利用近红外光谱结合多模态数据融合和深度学习技术，快速且无损地检测山核桃中的空洞缺陷

《Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy》：Rapid and non-destructive detection of hollow defects in pecans by near-infrared spectroscopy combined with multimodal data fusion and deep learning

本研究利用近红外光谱（NIRS）结合多模态数据融合和深度学习技术，非破坏性检测腰果空心缺陷及其严重程度。通过融合光谱预处理数据与物理参数，构建CNN-MLP双流模型，显著提升检测准确率至97.67%（二分类）和90.7%（三分类），为腰果品质评估提供可靠方法。

　　

王海航|杜园|侯斌彦|李伟峰|吴家胜|孙彤|宋莉莉

浙江农林大学光学、机械与电气工程学院，中国杭州311300

摘要

空洞缺陷严重影响了山核桃的质量和经济效益，因此需要将有缺陷的山核桃从正常批次中剔除。本研究提出了一种结合近红外光谱（NIRS）与多模态数据融合和深度学习的方法来检测山核桃中的空洞缺陷及其严重程度。首先，应用了不同的光谱预处理方法，并对预处理后的光谱数据进行了融合以提高检测精度。此外，还结合了山核桃的物理参数，构建了一个“光谱特征–物理参数”多模态融合数据集。然后采用传统的机器学习和深度学习方法开发了用于检测山核桃空洞缺陷的二分类和三分类模型。结果表明，多模态融合显著提高了模型性能。优化后的SVM模型在二分类和三分类中的总体准确率分别达到了94.19%和88.37%；基于多模态数据融合的CNN-MLP双流模型进一步提升了检测精度，其中最优的二分类模型总体准确率为97.67%，三分类模型的准确率为90.7%。这些结果表明，CNN-MLP双流模型结合多模态数据融合可以有效提高山核桃空洞缺陷的检测精度，为山核桃的质量评估提供了一种可靠且无损的检测方法。

引言

山核桃（Carya cathayensis Sarg.）是中国重要的优质特色坚果，因其丰富的营养价值和独特的风味而受到市场的青睐[1]。然而，在生长过程中，由于授粉不均、病虫害或环境压力等因素，可能导致果仁发育不完全甚至完全缺失，从而形成空洞缺陷，严重影响山核桃的质量和经济效益[2]。将含有空洞缺陷的山核桃与正常山核桃混合不仅会降低整体质量，还会影响其市场售价和消费者接受度，因此有必要去除这些有缺陷的山核桃。目前常用的检测方法是水浮选法，但该方法对于果仁发育受阻的山核桃检测率较低，且需要后续的干燥处理，增加了额外的加工步骤[3]。因此，开发一种快速、无损的智能检测技术对于提升山核桃的整体质量和产业竞争力具有重要意义。

近年来，近红外光谱（NIRS）技术在农产品内部缺陷检测领域展现出广阔的应用前景，其优势在于检测速度快、无损、绿色且能够原位检测[4]、[5]。该技术已被应用于马铃薯内部缺陷[31]、玉米虫害[32]、苹果霉芯病[6]的无损检测。国内外学者也利用NIRS技术对坚果内部缺陷进行了相关研究。de Carvalho等人[7]利用近红外光谱评估了澳大利亚坚果的内部质量缺陷，异常坚果的识别准确率达到100%；Nakariyakul[8]提出通过最优NIR波长带选择技术有效提高了杏仁内部损伤的检测精度；Farrar等人[9]结合近红外光谱和机器学习技术检测了坚果内部的隐匿变色现象，线性判别模型的准确率超过90%；Zan等人[28]融合了可见光和近红外光谱信息来检测黑托雷亚核桃（Torreya grandis）的果仁，SVM判别模型的准确率提高了6.45%。此外，还有其他学者也研究了坚果的内部缺陷[10]、[11]、[29]。然而，关于山核桃内部缺陷的研究仍然较少，尤其是对缺陷程度（如轻微缺陷和严重缺陷）的区分。现有研究往往仅关注光谱信息处理，导致数据融合类型较为单一。

数据融合是指综合处理和分析多源异构数据的技术。通过整合来自不同来源的信息，可以实现信息的互补和协同分析，从而提高信息的完整性、准确性和决策可靠性。Ren等人[12]采用三种融合策略，通过融合不同光谱仪的光谱数据对新鲜猪肉的主要成分进行了无损检测，PLSR模型的R_P值达到了0.971；Faqeerzada等人[30]融合了光谱和图像信息，将PLS-DA检测模型的分类准确率提高了10%；Ballabio等人[13]通过融合近红外光谱、拉曼光谱和电子鼻信号识别了蜂蜜的植物来源，融合数据在校正集和测试集中的判别准确率分别达到了99%和100%。

深度学习是机器学习的一个重要分支。通过构建具有多个隐藏层的复杂网络模型，深度学习能够从海量数据中学习和挖掘深层特征和模式。凭借其强大的特征提取和非线性建模能力，深度学习在农业复杂模式识别任务中取得了突破[14]。Han等人[15]比较了1D-CNN模型和传统PLSR模型对小龙虾新鲜度的检测效果，深度学习模型的$R_p^2$值分别提高了0.9397和0.9318；Rovira等人[16]设计的SIMCA模型结合了三个阈值区间，提高了腰果掺假检测模型的准确率，优于传统机器学习的单一阈值方法。

本研究利用近红外光谱快速、无损地检测了山核桃中的缺陷及其空洞程度。采用了不同的光谱预处理方法，并采用多模态数据融合技术将光谱数据与尺寸和重量数据结合。应用CNN、MLP、Transformer以及CNN?+?MLP双流模型建立了山核桃空洞缺陷的分类模型，克服了单一光谱信息的局限性，提高了检测精度。

样本

样本购自杭州临安的山核桃基地，选取了286个外观正常的山核桃作为实验样本。实验前，将样本从冷藏库中取出并在室温环境下放置12小时，以确保样本温度与室温一致，减少温度差异对光谱采集的干扰。样本按顺序标记后进行后续处理。

光谱分析

图4显示了正常山核桃及不同程度空洞缺陷的山核桃的平均光谱。从图4可以看出，光谱在900–1650 nm范围内呈现出三个主要吸收峰。970 nm和1450 nm处的吸收峰归因于水中的OH键的伸缩振动；水是山核桃的重要成分，其OH键的振动在特定波长处产生吸收。1200 nm处的吸收峰与CH的弯曲振动有关。

结论

本研究利用近红外光谱技术快速、无损地检测了山核桃中的缺陷及其空洞程度，并采用多模态数据融合和深度学习方法提高了检测精度。结果表明，在传统机器学习模型中，SVM的表现优于LDA和DPLS。最优SVM二分类和三分类模型在山核桃空洞缺陷预测集中的准确率分别为……

作者贡献声明

王海航：概念构思、方法论设计、数据分析、调查、数据整理、初稿撰写。杜园：方法论设计、数据分析、验证。侯斌彦：方法论设计、数据分析。李伟峰：方法论设计、数据分析。吴家胜：方法论设计、数据分析、资金筹集。孙彤：概念构思、可视化设计、监督指导、审稿编辑、项目管理、资金筹集。宋莉莉：数据分析、软件开发。

资助

本工作得到了杭州市自然科学基金（项目编号：2024SZRYBC130001）和浙江省高校基本科研经费（项目编号：2021TD002）的支持。

利益冲突声明

作者声明不存在可能影响本文研究工作的已知财务利益冲突或个人关系。