《Journal of Food Composition and Analysis》:A Transformer-Based Framework for High-Resolution Hyperspectral Classification of Ginseng
编辑推荐:
手工分级森林人参高度依赖专家经验,可能导致主观性、重复性有限以及难以量化细粒度差异。高光谱成像(HSI)因可同时捕获空间纹理和光谱响应信息,为质量分级提供了一种有前景的非破坏性分析方法。然而,光谱波段的高维度和冗余性,加上有限的样本可用性和类别不平衡,可能降低
手工分级森林人参高度依赖专家经验,可能导致主观性、重复性有限以及难以量化细粒度差异。高光谱成像(HSI)因可同时捕获空间纹理和光谱响应信息,为质量分级提供了一种有前景的非破坏性分析方法。然而,光谱波段的高维度和冗余性,加上有限的样本可用性和类别不平衡,可能降低分类模型的稳定性。为应对这些挑战,本研究提出MSBA-Former,一种多尺度波段注意力Transformer模型,用于森林人参的高光谱等级分类。该模型集成了波段多尺度Transformer编码器(BMST-Encoder)、跨波段注意力融合模块(BAFusion)和特征空间增强策略(FS-Augment),以提取空间-光谱判别特征、建模波段间依赖性,并提升小样本条件下的训练稳定性。研究人员采用统一的四折分层交叉验证协议,结合折外预测聚合,使用森林人参高光谱图像对模型进行评估。与代表性骨干网络(包括ResNet50、VGG16、ConvNeXt-T、ViT-B16和Swin-T)相比,MSBA-Former在当前实验设置下表现出更优的分级性能。在训练折内引入波段视图增强后,模型达到83.53 ± 3.70%的准确率、79.93 ± 17.80%的宏F1和95.96 ± 1.47%的微AUC。可解释性分析揭示了波段组、空间尺度和深层特征层面的非均匀贡献模式,表明模型能够识别与等级判别相关的信息性光谱-空间特征。这些结果表明,在当前数据集和四折交叉验证设置下,MSBA-Former具有作为森林人参非破坏性分级高光谱分析框架的潜力。然而,跨折的宏F1相对较大的变异表明少数类识别仍不稳定,仍需更大规模、更平衡且外部收集的数据集进行进一步验证。
**研究背景与问题**
森林人参(Panax ginseng)作为珍贵中药材,其质量等级直接影响药效与市场定价。传统手工分级依赖专家经验,易受主观因素影响,且难以量化外部形态与内部品质间的关联,重复性差。高光谱成像(HSI)因能同时获取空间纹理与光谱响应信息,成为非破坏性分级的有力工具。然而,高光谱数据存在波段高维冗余、小样本及类别不平衡等问题,导致现有模型稳定性不足。为此,研究人员提出了MSBA-Former(多尺度波段注意力Transformer),旨在通过波段级多尺度空间编码、跨波段注意力融合及特征空间增强,提升森林人参高光谱分级性能。该研究发表在《Journal of Food Composition and Analysis》。
**主要技术方法**
研究人员采用以下关键技术:
1. **BMST-Encoder(波段多尺度Transformer编码器)**:将每个波段图像分解为双分支并行注意力——小尺度(8×8窗口)捕获根须末端、表皮纹理等高频细节,大尺度(16×16窗口)提取主根轮廓等低频结构,随后通过通道融合实现互补。
2. **BAFusion(波段注意力融合模块)**:基于自注意力机制构建波段间关联矩阵,引入温度参数τ调整注意力分布以软选择关键波段,并采用均值池化、最大池化与注意力加权三支融合策略,输出全局特征。
3. **FS-Augment(特征空间增强策略)**:在训练阶段对融合特征进行在线动态增强,包括高斯噪声注入(σ=0.01)、随机特征掩码(概率0.1)、类内线性插值(Beta分布)、PCA主成分扰动(α=0.05)及子空间旋转,并针对少数类(如特级、一级)提高增强概率,缓解类别不平衡。
4. **训练折内波段视图增强**:仅在训练折内对样本构建连续波段窗口与随机波段子集,将训练实例数从191–192扩展至3037–3057,验证折保持原始全波段输入,避免数据泄露。样本来源为吉林省集安市森林人参基地,共255个样本(特级8、一级22、二级118、普通107),采用四折分层交叉验证评估。
**研究结果**
**3.1 实验设置与指标**:统一四折分层交叉验证,每折训练集191–192个真实样本,验证集63–64个。报告准确率、宏F1、加权F1、Kappa及AUC等指标。
**3.2 训练策略与优化**:采用类别加权交叉熵损失,AdamW优化器(学习率1×10
?3,权重衰减1×10
?4),余弦退火学习率调度,早停机制(验证准确率20轮未提升则停止)。
**3.3 波段可视化**:对255个样本的归一化平均光谱分析显示,不同等级光谱曲线整体相似但局部形状存在差异(如380–1030 nm范围),表明需结合多尺度空间与波段注意力进行分级。八个代表性波段灰度图显示,中间波段根轮廓与纹理更清晰,支持波段级建模。
**3.4 不同方法比较**:与ResNet50、VGG16、ConvNeXt-T、ViT-B16、Swin-T相比,MSBA-Former在准确率(约83%)、宏F1(约73%)、加权F1(约82%)、Kappa(约0.70)上均最优,表明波段多尺度编码与跨波段融合有效提升了小样本与长尾分布下的分类性能。
**3.5 MSBA-Former详细性能分析**:折外预测聚合结果显示,准确率83.53%、平衡准确率77.42%、宏F1 82.81%、加权F1 83.42%、Kappa 0.7184。二级(107个正确)与普通级(86个正确)识别稳定;特级(8个样本中6个正确)F1达0.8571。ROC曲线显示微AUC 0.9593,宏观AUC 0.9589,各等级AUC均高于0.90,其中特级AUC为1.000(需结合混淆矩阵解读)。
**3.6 消融研究**:逐步消融实验表明:基线ViT-single准确率72.55%;加入BMST-Encoder后提升至79.60%(+7.05%),宏F1提升9.00%;加入BAFusion后略有下降(78.82%),表明单独引入需结合增强策略;加入FS-Aug后准确率升至82.74%(+3.92%),加权F1提升3.78%;进一步加入辅助波段视图增强后,准确率达83.53%,宏F1提升7.18%至79.93%,微AUC达95.96%。消融实验证实BMST-Encoder为性能提升核心,FS-Aug有效缓解小样本与类别不平衡,BAFusion在增强策略配合下发挥优势。
**3.7 可解释性分析:波段注意力与尺度权重**:波段注意力权重显示非均匀分布,部分波段组获得更高权重(含更多判别信息)。尺度融合权重显示中等尺度贡献最高,细尺度与粗尺度提供互补信息,表明模型具备自适应特征选择能力。
**3.8 SHAP特征重要性分析**:基于TreeExplainer计算SHAP值,发现决策主要依赖少数深度特征(如F553、F692、F711),这些特征在不同等级间贡献差异显著,表明模型学习了等级特定的深层表示。注意这些特征为融合后语义特征,非原始波长,需进一步实验验证。
**3.9 训练折内波段视图增强的鲁棒性评估**:引入增强后,平衡准确率从68.53%提升至77.77%(+9.24%),宏F1从72.75%提升至79.93%(+7.18%),表明该辅助策略增强了模型对波段冗余、局部噪声与长尾分布的鲁棒性,且未增加真实样本数。
**讨论与结论**
讨论部分指出,MSBA-Former通过BMST-Encoder与BAFusion实现了空间-光谱特征协同融合,FS-Aug与训练折内波段视图增强提升了小样本与类别不平衡下的训练稳定性。但当前数据集中特级样本有限,宏F1跨折标准差较大,少数类识别仍为瓶颈。结论部分翻译如下:
本研究针对森林人参手工分级主观性、高光谱数据波段冗余及小样本类别不平衡问题,提出多尺度波段注意力Transformer模型MSBA-Former。模型利用BMST-Encoder学习不同波段的多尺度空间纹理,BAFusion建模波段间依赖,实现空间-光谱特征协同融合;FS-Aug作为特征空间增强策略,缓解小样本与不平衡下的训练不稳定。在统一四折分层交叉验证下,MSBA-Former在准确率、宏F1、加权F1、Kappa及AUC上优于ResNet50、VGG16、ConvNeXt-T、ViT-B16及Swin-T。进一步引入训练折内波段视图增强作为辅助策略,提升了整体性能,尤其是平衡准确率与宏F1,表明该增强可能增强模型对波段冗余、局部噪声与长尾分布的鲁棒性。需强调,训练折内波段视图增强并非MSBA-Former结构组件,而是用于提升训练鲁棒性的辅助策略,未增加真实生物样本数。然而,宏F1标准差较大表明模型性能在折间仍存在波动,尤其是少数类。因此,当前结果应视为有限且不平衡数据集下的方法验证,而非广泛泛化或工业部署的证明。因样本主要来自单一产区且使用同一采集系统,高等级样本数量有限,所提方法跨产区、年份及仪器的泛化能力需进一步验证。