多模态高光谱-RGB融合用于林下人参入库前无损分级

《Journal of Stored Products Research》：Multimodal hyperspectral–RGB fusion for non-destructive pre-storage grading of forest-grown ginseng

　　

# 一种轻量级光谱–视觉融合网络(SVF-Net)用于林下参入库前无损质量分级

• 开发了一种轻量级光谱–视觉融合网络(SVF-Net)，用于林下参入库前的无损质量分级。
• SVF-Net 通过一种无参数门控交叉注意力融合策略，将高光谱响应与 RGB 形态学信息整合起来。
• 提出了一种等级感知不确定性损失函数，以改善相邻质量等级边界附近样本的辨别能力。
• SVF-Net 仅含 342 万个参数，准确率达到 98.05 ± 0.75%，可支持高效的质量筛选和批量分选应用。

## 引言

人参(*Panax ginseng* C.A. Meyer)是一种高价值药用植物，广泛种植于东亚地区，因具有多种生物活性成分及相关健康益处，被大量应用于制药和保健品领域 (Niu et al., 2025; Y.-z. Zhang et al., 2025)。林下参因其栽培周期长、产量有限及商业价值高而尤为珍贵 (Fang et al., 2025)。然而，采收样本之间在人参根形态、结构完整性、表面外观和内部光谱响应方面可能存在显著差异 (Du et al., 2025; Iqbal et al., 2025)。这种异质性使得产品在入库、加工和流通前的精确质量分级变得至关重要。有效的入库前筛选可提高批次均匀性，支持对不同质量等级产品的差异化处理，并减少对主观人工评估的依赖 (Gorde and Singh, 2026; Han et al., 2025; Mu et al., 2025)。

传统的理化检测方法如高效液相色谱(HPLC)、液质联用(LC-MS)和气相色谱-质谱联用(GC-MS) (Catarro et al., 2025; Patidar and Kamble, 2025)，虽然能够分析人参的化学成分，但由于有机溶剂消耗量大、检测周期长，方法复杂、耗时且对环境负担较重。随着技术进步，光谱技术与现代仪器、化学分析方法和智能算法相结合，为人参质量检测提供了新的机遇。近年来，大量研究应用深度学习技术，通过在图像上训练模型提取代表性特征，自动对人参进行分类 (J. Li et al., 2025; Yu et al., 2025; Zhang et al., 2024)。高光谱成像(HSI)融合了光谱与机器视觉技术，可同时分析与物体质量属性相关的光谱数据和图像数据 (Guo et al., 2026; Shang and Wu, 2026)。光谱技术在无损检测领域，特别是人参等药用植物领域的日益普及，为该领域带来了显著进展 (Ahmed et al., 2025)。

(Han et al., 2024) 引入了一种三步红外宏指纹技术，用于快速鉴别不同产地的人参，为溯源提供了新方法 (Ping et al., 2024)。将近红外(NIR)光谱与激光诱导击穿光谱(LIBS)结合集成学习方法，在独立测试集上达到 99% 的准确率，展现了多源数据融合在复杂检测任务中的巨大潜力 (Zhang et al., 2026)。提出了一种基于 LIBS 和高光谱成像(HSI)的多模态框架，利用主成分分析(PCA)进行降维，构建 PCA-RF 模型，实现 100% 的分类准确率，证明了多模态方法的优势 (Cheng et al., 2024)。利用近红外高光谱成像(NIR-HSI)，结合支持向量机(SVM)和光谱角匹配(SAM)，按生长年限区分人参，揭示了端元光谱在年龄鉴定中的关键作用 (Fu et al., 2025)。还采用延时发光(DL)技术结合高效液相色谱，评估不同年龄的林下参，并通过斑马鱼模型验证其免疫调节作用，丰富了人参年龄分类的生物学基础。在成分预测方面 (W. Zhang et al., 2025)，开发了基于决策树和集成学习算法的野生人参总皂苷含量预测模型，为传统中药材的定量分析提供了新见解。随着高光谱成像(HSI)及其他光谱技术在药材质量鉴定中的广泛应用，传统光谱数据分析方法已能有效提取材料特征。然而，这些方法仍面临大数据集、复杂样本和高度非线性问题的挑战。深度学习的引入为光谱分析带来了新的突破，尤其是在提高分类准确率和预测能力方面 (P. Li et al., 2025)。提出了一种混合多任务深度学习网络(MMTDL)，将近红外光谱(NIR)数据与残差和注意力机制相结合，以 99.21% 的分类准确率同步优化产地鉴别和皂苷含量预测 (Yang et al., 2025)。将高光谱成像(HSI)与多任务一维卷积神经网络(MMT1DCNN)融合，用于美国人参的产地溯源和皂苷含量预测任务，达到 95% 的准确率，进一步证明了深度学习与光谱数据结合的强大力。此外，近期研究提出了一种结合光谱-图像双尺度数字信息的方法，使用 PLS-DA 和 YOLOv5 算法对红参主根和芦头进行精确识别，mAP@0.5 超过 99%，证明了深度学习在光谱图像处理中的卓越能力 (Zhang et al., 2023)。尽管取得了这些进展，大多数现有研究聚焦于产地溯源、生长年限识别或单一化学指标预测。相比之下，基于全根外观和光谱响应联合表征的快速入库前分级关注较少。基于 RGB 的模型可能无法识别未被外部形态完全反映的质量差异，而仅使用光谱的模型则可能受到波段冗余、散射变化和人参根复杂几何结构的影响。视觉特征与光谱特征的简单拼接或固定融合也无法充分应对两种模态贡献的差异。此外，相邻质量等级往往高度相似，位于等级边界附近的样本可能产生不确定的预测结果。这些问题对于林下参尤为重要，因为其可用样本数量有限，且实际应用的分选和质量控制系统需要轻量级模型 (Golpayegani et al., 2024)。

为应对上述挑战，本研究提出 SVF-Net，一种用于林下参入库前无损质量分级的轻量级光谱–视觉融合网络。该模型采用带压缩-激励模块的多尺度一维卷积神经网络提取判别性光谱特征，并使用 ShuffleNetV2 表征 RGB 图像中的形态和纹理信息。开发了一种无参数门控交叉注意力模块(G-Cross Attention)，以促进两种模态之间的互补交互，同时不引入额外可学习参数。此外，引入等级感知不确定性损失函数，以强调模糊样本并改善相邻质量等级间的特征分离。通过这些组件，SVF-Net 旨在实现精确分类同时保持低计算复杂度，从而为入库前分选和批次级质量管理提供一种潜在的技术工具。

## 主要贡献

(1) **SVF-Net：轻量级光谱-视觉融合双流架构**：结合 ShuffleNetV2（视觉流）和多尺度 1D-CNN（光谱流），该架构以低参数量高效整合外部外观和内部化学特征，成功解决了小样本过拟合问题，可在边缘设备上部署。

(2) **增强光谱特征鲁棒性**：在光谱分支中引入 SE-Block 机制，自适应地重新校准波段权重，显著提高了模型在小数据集上的泛化能力，特别是在抑制环境噪声和聚焦关键光谱特征方面。

(3) **无参数注意力融合策略(G-Cross Attention)**：在 Cross-Attention 机制基础上，设计了一种无参数语义门控机制，解决了标准 Cross-Attention 缺乏显式语义调制的不足，显著增强了跨模态特征融合的语义一致性和精度。

(4) **等级感知不确定性损失函数(GAUL)**：开发了一种 GAUL 函数，结合不确定性加权与等级感知对比学习，强制模型关注高不确定性样本，同时扩大等级间特征距离，有效提高了边界分类准确率。

## 材料

材料部分截断，具体内容：实验样本采集自吉林省吉林市人参种植基地，采用分层随机抽样策略构建包含不同年龄、芦头形态和个体大小的多样化数据集。

## PCA 可视化分析

为直观评估不同人参等级间光谱数据的分布与可分离性，对预处理后的光谱数据进行主成分分析(PCA)，如图 10 所示。前两个主成分 PC1 和 PC2 分别解释了总方差的 76.52% 和 21.62%，累计贡献率达 98.14%。二维投影揭示了四个人参等级之间明显的分布模式。特级样品的分布较为集中……

## 讨论

所提出的 SVF-Net 整合了高光谱响应与 RGB 图像信息，解决了林下参入库前无损质量分级中单模态分析的局限性。需要强调的是，本研究聚焦于入库前的一次性质量分级，而非入库过程中质量退化的纵向监测。精确的入库前分级可为批次分选、差异化处理提供初始质量依据……

## 结论

针对单模态分析的局限性以及有限样本条件下的过拟合风险，本研究开发了 SVF-Net，一种用于林下参入库前无损质量分级的轻量级双流网络。通过整合高光谱响应与 RGB 提取的形态学特征，所提出的模型捕捉到了与内部光谱变化和外部根形外观相关的互补信息。无参数门控……

## CRediT 作者贡献声明

Yu Yu：写作–审阅与编辑，写作–初稿，可视化。Haohai You：写作–审阅与编辑，写作–初稿，可视化。Dongming Li：软件，资源。Jian Li：调查。Shaozhong Song：概念化。

## 同意声明

本研究不涉及任何需要特定同意方可发表的材料或内容，因此该声明不适用。

## 伦理与同意声明

本研究未涉及人类参与者、动物实验，也未收集任何需要伦理批准的数据，因此伦理审查和参与者同意不适用。

## 资助

吉林省科技厅项目；吉林省农业智能装备跨区域合作科技创新中心（筹建中）。

## 利益冲突声明

作者声明不存在可能影响本文工作的已知竞争性经济利益或个人关系。

**作者**：Yu Yu | Haohai You | Dongming Li | Jian Li | Shaozhong Song