Explainable Deep–Shallow Feature Fusion of Two-Dimensional Encoded Vis–NIR Spectra and RGB Image Features for Chilled Lamb Freshness Assessment
《Foods》:Explainable Deep–Shallow Feature Fusion of Two-Dimensional Encoded Vis–NIR Spectra and RGB Image Features for Chilled Lamb Freshness Assessment
编辑推荐:
冷藏羊肉|新鲜度分级|可见-近红外光谱|二维编码|RGB图像特征|特征融合
冷藏羊肉|新鲜度分级|可见-近红外光谱|二维编码|RGB图像特征|特征融合
冷藏羊肉在贮藏过程中因微生物增殖、内源酶作用及脂质氧化而发生品质劣变,表现为蛋白和脂类降解、挥发性碱性含氮物质累积,以及颜色、气味、质构和食用品质变化。传统以总挥发性盐基氮(TVB-N)为依据的检测方法虽然能够表征腐败程度,但需要化学试剂、前处理和实验室操作,难以满足冷链流通中的快速、无损监测需求。因此,研究人员围绕冷藏羊肉新鲜度分级识别开展研究,旨在建立一种同时利用内部化学变化与外部外观变化的高效分类方法。
该研究提出将二维编码可见-近红外(Vis–NIR)光谱深层特征与RGB图像浅层特征相融合的深浅模型框架。研究人员先将一维光谱转换为Gramian angular summation field(GASF)、Gramian angular difference field(GADF)、Markov transition field(MTF)和recurrence plot(RP)等二维图像,再用预训练ResNet18提取深层特征;同时从RGB图像中提取颜色与纹理特征,并通过相关性筛选与递归特征消除(RFE)进行特征优化。结果表明,融合模型整体优于单模态模型,其中GADF(10%)+Image-SVM性能最佳,准确率、F1-score和MCC分别达到0.966、0.957和0.946。SHAP分析显示,GADF深层特征是主要贡献来源,RGB图像特征提供了有效互补信息。该研究表明,二维光谱编码与图像特征融合可用于冷藏羊肉新鲜度的快速、无损、可解释分类。
该研究采用的主要技术方法包括:Vis–NIR光谱与RGB图像同步采集,TVB-N测定与分级,GADF/GASF/MTF/RP二维编码,预训练ResNet18深层特征提取,Spearman相关性分析、RFE特征筛选,以及SVM和PLS-DA分类建模,并结合SHAP进行可解释性分析。
研究结果部分首先表明,TVB-N随冷藏时间持续升高,并据此将样品划分为新鲜、次新鲜和腐败三类,说明样品品质劣变具有明确阶段性。随后的一维光谱分析显示,不同等级样品在450、765、830和970 nm附近存在共同吸收特征,但三类样品光谱重叠明显,尤其是次新鲜与腐败样本难以区分,提示单纯依赖一维光谱建模存在局限。
在二维编码图像分析中,GADF图像较GASF、MTF和RP更能呈现不同新鲜度样品间的结构差异。进一步通过ResNet18提取深层特征并结合UMAP可视化后发现,GADF特征在类间分离度和类内紧凑性方面优于其他编码方式,因此被选为后续建模基础。特征提取器比较显示,ResNet18优于SqueezeNet和MobileNetV2,说明其更适合当前二维光谱编码任务。
RGB图像分析表明,随着贮藏时间延长,羊肉表面颜色变浅、光泽下降、干燥和纹理暴露逐渐明显。Spearman相关性筛选后保留27个有效RGB特征,这些特征主要反映表面亮度、色度、纹理粗糙度、边缘梯度和局部空间变化,可为新鲜度判别提供外观信息。
在分类性能比较中,一维光谱模型已具备一定识别能力,其中SG-NIR(1D)-PLS-DA最佳,但仍低于二维GADF深层特征模型。单独使用RGB特征时,筛选后的特征优于全部特征,说明去除冗余后更有利于分类。最终,GADF深层特征与RGB特征融合后性能显著提升,GADF(10%)+Image-SVM达到最佳效果,说明适当的深层特征压缩与跨模态互补能够增强判别空间的可分性。Bootstrap置信区间分析进一步验证了该模型在多项指标上的稳定优势。
最优模型的类别识别结果显示,其对新鲜、次新鲜和腐败样本均具有较高识别率,但次新鲜样本仍有少量误判为新鲜样本,反映该阶段处于品质转变的中间状态。SHAP分析表明,GADF特征贡献率为69.25%,RGB特征贡献率为30.75%,说明模型决策主要由光谱深层特征驱动,同时依赖图像特征补充外观信息。
讨论部分指出,二维Vis–NIR编码特征与RGB图像特征之所以能够提升分类性能,关键在于二者提供了互补信息:前者表征内部化学组成及其变化,后者刻画外观颜色与表面结构变化。GADF之所以优于其他编码方式,可能在于其更强调波长点之间的相对关系,更能捕捉与水分迁移、蛋白降解、脂质氧化及挥发性含氮物质积累相关的谱间结构变化。与既往仅依赖一维光谱或单模态图像的方法相比,该研究通过二维编码、深层特征提取与跨模态融合,实现了更高水平的新鲜度识别。
研究结论表明,基于二维编码Vis–NIR光谱与RGB图像特征融合的深浅模型可有效实现冷藏羊肉新鲜度快速无损分级,其中GADF(10%)+Image-SVM为最优方案。该方法兼具较高准确性与可解释性,对冷链监测和肉品品质控制具有应用价值。