《Foods》:Advances in Machine Learning and Deep Learning Algorithm-Assisted Hyperspectral Imaging for Food Quality and Safety Assessment
编辑推荐:
食品质量与安全已成为日益重要的公共卫生问题,而传统检测方法受限于繁琐的样品制备、冗长的分析时间和破坏性操作流程。高光谱成像技术(Hyperspectral Imaging, HSI)作为一种快速、无损的检测方法应运而生,该技术将空间信息与光谱信息协同融合,可实
食品质量与安全已成为日益重要的公共卫生问题,而传统检测方法受限于繁琐的样品制备、冗长的分析时间和破坏性操作流程。高光谱成像技术(Hyperspectral Imaging, HSI)作为一种快速、无损的检测方法应运而生,该技术将空间信息与光谱信息协同融合,可实现食品质量与安全的综合评估。然而,HSI数据的高维性和非线性特征对传统化学计量学模型构成了重大挑战。本综述全面梳理了机器学习(Machine Learning, ML)和深度学习(Deep Learning, DL)算法辅助HSI在食品质量与安全检测中的最新研究进展。研究人员首先介绍了HSI技术的基本原理及其数据处理流程;随后,对典型的ML和DL算法进行了全面且非数学化的介绍,重点阐述了各类算法的优势与权衡;进而,总结了HSI技术在不同领域的典型应用,包括果蔬品质评估、肉类品质评价、蛋品与茶叶品质检测、水分含量定量分析、品种与产地鉴别、掺假与添加剂检测、重金属污染评估、霉菌检测以及植物生长监测等;最后,讨论了当前面临的挑战,如数据瓶颈、模型可解释性与泛化能力有限、实际应用障碍等,并展望了面向智能化、系统化和实用化的食品质量与安全HSI检测系统的未来发展方向。
2. 高光谱成像技术基础
高光谱成像(HSI)是一种将成像技术与光谱分析相融合的检测技术,能够实时获取食品样品详细的光谱与空间信息,并以高灵敏度和高精度有效识别食品的外部与内部特征。该技术基于不同物质在特定波长处呈现特征性吸收与反射信号的物理原理(即光谱指纹)。在实际应用中,HSI可在可见光至红外光谱范围(通常为400–2500 nm)内,逐像素捕获连续窄波段(小于10 nm)的反射率或荧光数据,生成三维数据立方体(x, y, λ),其中x和y维度编码空间位置信息,λ维度承载详细的光谱信息。凭借高光谱分辨率,HSI技术能够检测微观的物理和化学变化,从而实现对目标组分的精确识别与定量分析。
典型的HSI系统集光学、机械、电子和数据处理模块于一体,主要包括光学成像与光谱单元、图像传感器、样品平台、光源、数据采集与控制系统以及数据处理与分析软件。光学成像与光谱单元由透镜和色散元件(如棱镜光栅或可调谐滤光器)组成,负责光谱分解;图像传感器通常采用高灵敏度硅基CCD/CMOS阵列或InGaAs基制冷传感器,用于捕获每个像素在众多窄波段上的空间图像和光谱数据;光源通常采用卤素灯或激光驱动宽带光源,以确保在宽光谱范围内实现均匀照明;数据采集与控制系统包含高速接口、同步控制器和运动模块,用于协调光谱数据采集、空间扫描和信号传输;软件套件则提供辐射校准、光谱校正、特征提取、化学计量学建模和可视化等功能。
在实际应用中,HSI数据处理流程对构建准确揭示食品样品化学成分与含量的模型至关重要。数据采集阶段需优化空间与光谱分辨率、曝光时间和扫描步长等参数,以提高HSI图像的信噪比。随后,可采用多种预处理方法抑制系统电噪声和环境噪声,包括Savitzky-Golay(SG)平滑、标准正态变量变换(SNV)、多元散射校正(MSC)、一阶导数(FD)和二阶导数(SD)等。此外,特征波长的提取对于降维和提升预测模型可靠性至关重要,常用方法包括统计方法(如变量投影重要性(VIP)和竞争性自适应重加权采样(CARS))、几何方法(典型如连续投影算法(SPA))以及基于模型稳定性的方法(如随机森林(RF)和支持向量机(SVM))。
3. 典型机器学习与深度学习算法的基本概念
3.1 典型机器学习算法
偏最小二乘回归(PLSR)通过在共享潜在子空间上投影光谱矩阵和响应矩阵来建立线性关系,能够有效应对HSI数据的高维性和多重共线性问题,但线性方法限制了对非线性光谱关系的建模能力。支持向量分类器(SVC)通过最大化特征空间中不同类别间的间隔来寻找最优分类超平面,借助核方法有效处理线性不可分问题,适用于小样本和高维特征空间的分类任务。支持向量回归(SVR)通过ε-不敏感管构建回归函数,在模型平坦度与训练误差之间显式权衡,在小样本非线性问题中具有较强泛化能力。最小二乘支持向量机(LSSVM)通过等式约束替代不等式约束,将二次规划问题转化为可解的线性方程组,加速了模型训练。K近邻(KNN)算法是一种基于记忆的实例驱动分类方法,对数据分布假设极少,但在高维数据中易受"维度灾难"影响。随机森林(RF)是基于决策树的集成学习算法,通过自助采样和随机特征选择生成多个决策树,对噪声特征和异常样本具有良好鲁棒性,并能提供内在的特征重要性排序。朴素贝叶斯(NB)基于贝叶斯定理,假设特征间条件独立,但在HSI数据中因波段间强相关性,该假设通常不成立。判别分析分类器(DAC)包括线性判别分析(LDA)和二次判别分析(QDA),假设各类别特征向量服从多元正态分布,但在高维场景下协方差矩阵可能奇异。极端梯度提升(XGBoost)通过二阶泰勒展开优化损失函数,并结合L1和L2正则化惩罚树复杂度,对高维HSI数据具有较强抗噪能力。极限学习机(ELM)随机初始化输入权重和隐藏层偏置,通过Moore–Penrose广义逆解析确定输出权重,训练速度快,但随机初始化可能导致性能波动。主成分分析(PCA)通过正交变换将高维数据投影到低维子空间,有效降低波段间共线性,但可能因优先保留方差最大的特征而丢失信息。
3.2 典型深度学习算法
卷积神经网络(CNN)通过卷积核滑动提取局部特征,权重共享和局部连接大幅减少可训练参数数量。一维CNN沿光谱轴提取深层特征,二维CNN处理HSI图像的空间维度,三维CNN通过三维卷积融合光谱与空间信息。多层感知机(MLP)由输入层、多个全连接隐藏层和输出层堆叠而成,通过反向传播和非线性激活函数建模光谱输入与品质属性间的复杂关系,但难以有效捕获局部光谱-空间特征。高效通道注意力(ECA)通过一维卷积建模局部跨通道交互,增强信息性光谱波段并抑制无关波段,通常作为即插即用模块嵌入CNN骨干网络。生成对抗网络(GAN)由生成器和判别器两个竞争网络组成,通过对抗训练使生成器逐步学习训练数据的潜在分布,可有效缓解数据稀缺问题。变分自编码器(VAE)将概率建模引入潜在空间,通过联合最小化重构误差和KL散度实现连续且规则化的潜在表征。图卷积网络(GCN)通过邻域聚合机制处理非欧几里得域中的不规则数据,将像素视为节点、空间邻接或光谱相似性定义为边,适用于不规则形状食品样品的精细分类。图注意力网络(GAT)在GCN基础上引入自注意力机制,根据特征相似性动态加权邻域节点。长短期记忆网络(LSTM)通过引入细胞状态和三个门控单元(输入门、遗忘门和输出门)动态调节信息流,有效缓解传统循环神经网络(RNN)的梯度消失问题。门控循环单元(GRU)通过更新门和重置门调节时序信息流,省略独立记忆单元,参数量显著减少。堆叠自编码器(SAE)采用逐层无监督预训练策略学习压缩表征,再通过监督微调优化分类或回归性能。
4. 机器学习与深度学习算法在高光谱成像食品质量与安全检测中的典型应用
4.1 食品品质评估
4.1.1 果蔬品质
HSI结合ML和DL算法在果蔬品质评价中受到广泛关注。特征选择可有效提升模型效率和精度,例如在苹果可溶性固形物含量(SSC)检测中,CARS提取特征波长后输入CNN建立的预测模型优于全光谱模型。非线性模型(如SVR、DBO、SABO和WOA)在预测复杂生化指标(如番茄中的番茄红素和紫叶生菜中的花青素)时普遍优于线性模型(如PLSR)。DL方法推动了从手工特征选择向端到端自动特征学习的范式转变,如1D-CNN-LSTM模型在草莓SSC在线检测中优于多校准CARS-PLSR模型,CNN-DotGRU-SelfAttention(CDGSA-Net)混合深度网络在猕猴桃早期冷害跨品种识别中达到99.17%的分类准确率。近期研究聚焦于模型轻量化、多任务学习和可解释性增强,如贝叶斯优化算法(BOA)自动搜索网络超参数、Shapley加法解释(SHAP)量化特征贡献。
4.1.2 肉类品质
传统ML方法(典型如PLSR)结合光谱预处理和特征波长提取,在肉类单一品质指标的定量预测中已趋于成熟,并可扩展至化学指标分布的可视化。在冻融猪肉研究中,PLSR用于预测蛋白质氧化(R2p = 0.9275)和水分含量(R2p = 0.9533),BOSS-GPR混合模型实现脂质氧化(TBARS)的高精度定量(R2 = 0.9726)。DL算法支持多任务学习和统一特征提取,如多任务CNN同时预测冻融猪肉中脂质氧化(R2 = 0.9724)和蛋白质氧化(R2 = 0.9602),CNN-LSTM混合模型在冻融循环鸡胸肉预测中达到R2 = 0.976。基于HSI逐像素光谱信息,预测模型可应用于每个像素,实现品质指标的空间分布图可视化,如猪肉中水分、脂质氧化、蛋白质氧化和盐分分布的直观展示。
4.1.3 蛋品品质
HSI结合ML和DL算法在蛋品内部组分定量预测和产品品质分级方面取得显著进展。在咸鸭蛋加工过程中,PLSR模型预测蛋白质水分、蛋黄水分、蛋黄脂质和蛋白质盐分含量,R2分别达到0.8200、0.8969、0.8709和0.9239。在鸡蛋新鲜度检测中,GA优化SVM结合IRIV实现97.87%的新鲜度分级准确率,HHO-SVR模型预测哈夫单位值R2达0.9523。多源数据融合策略增强检测性能,如电子鼻信号与反射高光谱和透射高光谱数据的融合将皮蛋不同成熟阶段分类准确率从88.89%提升至95.56%。
4.1.4 茶叶品质
HSI结合ML和DL算法已广泛应用于抹茶、绿茶、红茶和乌龙茶等多种茶叶产品的品质评估。在定性分类方面,VISSA-ABC-SVM模型在铁观音茶叶等级分类中达到97.4%的准确率。在定量预测方面,PLS和LSSVR模型用于评估茶多酚、粗纤维、咖啡因、游离氨基酸和叶绿素等重要化学成分。DL算法在利用HSI数据空间信息方面具有明显优势,如ResNet-50处理PCA提取的前三个主成分图像,在13个不同品质等级中达到92.3%的准确率,1D-ResNet18模型在14个茶树品种识别中达到99.6%的分类准确率。
4.2 水分含量检测
ML算法显著推进了HSI技术在小麦、水稻等谷物,生菜、紫薯、芒果等果蔬,以及面包、醋曲等加工制品中水分含量检测的应用。多种预处理方法(MSC、SNV、SG平滑、FD)用于消除噪声和基线漂移,CARS、MCUVE、MSLPP、SPA、PCA和WT等方法用于提取特征波长,PLSR、SVR和RF等模型用于定量预测。算法优化对提升模型性能至关重要,如MSLPP特征提取结合ESMA优化SVR模型在带壳稻谷水分预测中达到R2 = 0.9755。可视化技术用于监测静态和动态食品加工过程,如醋固态发酵过程中水分和总酸度的空间分布,以及面包口腔加工过程中水分含量、还原糖、硬度和咀嚼性的空间分布。
4.3 品种与产地鉴别
ML和DL算法显著推进了HSI在作物品种鉴别中的应用。早期研究主要将ML模型与人工特征工程相结合,如SVM结合光谱、形态和纹理特征确定大米产地,准确率达91.67%;BOSS特征选择结合AFSA优化SVM将水稻种子品种识别准确率提升至99.44%。DL算法的引入提升了物种鉴别的准确性和模型泛化能力,如SSAE提取深层特征结合CS-SVM实现玉米种子品种判别准确率95.81%,CNN-LSTM混合模型直接分类玉米种子品种达到95.27%的准确率,显著优于PLS-DA、SVM和ELM等传统化学计量学模型。
4.4 添加剂与掺假检测
ML和DL算法已广泛集成于HSI食品掺假检测中。在预处理和特征提取层面,MSC、SNV、SG、MC和连续小波变换(CWT)等技术用于降低噪声、基线漂移和散射效应。CARS、SPA、iRF和LassoNet等特征选择算法有效减少光谱冗余。传统监督学习模型(SVM、PLS、LDA、KNN)在多种食品的掺假检测中提供了可靠的定性和定量性能。DL算法的出现显著推进了HSI食品掺假检测,CNN及其变体(如GoogLeNet、VGG16)和迁移学习可从CWT衍生的二维谱图中学习深层特征,如VGG16结合SVM在鸡肉糜中大豆蛋白掺假评估中达到98.1%的准确率,基于GoogLeNet的迁移学习模型在鸡肉淀粉掺假分类中达到98.6%的准确率。GANomaly应用于蜂蜜欺诈检测,仅使用纯蜂蜜样本训练即实现100%的准确率。
4.5 重金属检测
HSI结合ML和DL算法实现了食品重金属污染的定性分类、定量回归和空间可视化分析。早期研究主要依赖SVM和PLS-DA等浅层ML算法结合CARS和IRIV等特征选择技术,如CARS-SVM模型在生菜叶片铅污染识别中测试集准确率达91.67%。DL算法增强了特征提取的自动化和预测精度,如1D-CNN和1D-RegNetχ-6.4GF在油菜铜胁迫分类中分别达到96.69%和98.15%的准确率,PSO-DBN模型在生菜叶片镉含量检测中R2P达0.9234。无监督预训练模型(SAE、DBN、SDAE)广泛用于定量预测,WT-SCAE混合模型对生菜中镉和铅的联合重金属预测R2分别达0.9319和0.9418。近期研究聚焦于多源数据融合、迁移学习和可视化分析,如荧光HSI与近红外光谱的深度特征融合结合LSSVR实现生菜叶片痕量镉检测R2达0.9044。
4.6 霉菌检测
ML和DL算法在HSI食品细菌感染和有害物质检测方面取得显著进展。KNN分类模型有效解决琼脂平板上与菌落颜色和形状相似的食物碎屑干扰问题,菌落计数与人工计数高度一致,准确率达0.9998。CARS提取特征波长后通过灰狼优化(GWO)方法优化SVR模型,实现大米中霉菌菌落总数的高精度预测,预测集R2达0.9511。HSI技术在真菌毒素和病原体检测中的实用性得到进一步验证,如荧光HSI提取马铃薯芽眼区域作为感兴趣区域(ROI),开发SVR模型用于龙葵素含量预测。