《Foods》：Advances in Sensing Techniques and Deep Learning for Food Quality Detection: Opportunities, Challenges, and Perspectives from Image Recognition to Multimodal Data Fusion
编辑推荐：
食品质量与安全检测日益需要先进的解决方案，因为传统方法在现代食品系统的复杂性面前受到挑战。有效的检测必须同时处理产品质量、真实性、安全性与在生产、储存、运输和分销过程中产生的相关风险。然而，现有的分析方法和深度学习研究往往只关注单个食品属性或传感模态，为针对特
食品质量与安全检测日益需要先进的解决方案，因为传统方法在现代食品系统的复杂性面前受到挑战。有效的检测必须同时处理产品质量、真实性、安全性与在生产、储存、运输和分销过程中产生的相关风险。然而，现有的分析方法和深度学习研究往往只关注单个食品属性或传感模态，为针对特定检测目标选择合适的模型和传感策略提供的指导有限。本综述系统比较了卷积神经网络（CNN）、循环神经网络/长短期记忆网络（RNN/LSTM）、Transformer、图神经网络（GNN）、生成对抗网络（GAN）及混合架构，以及迁移学习、自监督学习、对比学习、少样本学习、轻量级网络、边缘计算和多模态融合。除预测性能外，研究人员还评估了数据集规模和代表性、样本级与批次级验证、外部验证、数据泄漏风险、可解释性、计算需求以及食品特定证据的成熟度。主要贡献在于建立了一个面向应用的框架，将检测目标和食品基质与传感模态、模型架构、验证证据和部署条件联系起来。尽管基于Transformer、GNN、GAN、多模态和少样本学习的方法显示出巨大潜力，但其中许多在食品特定应用中仍处于发展中、新兴或原型阶段。对于高风险目标（包括有毒物质、过敏原、掺假物和食源性病原体），深度学习系统应主要支持快速筛查和决策制定，而安全关键结果需要使用经过验证的参考方法进行确认。总之，本综述为食品质量与安全检测中的深度学习提供了系统性视角，并确定了未来研究和工业部署的关键优先事项。
1. 引言
食品质量与安全检测对公共健康和社会稳定至关重要，传统方法涵盖感官评价、物理测量、仪器分析和生物分析技术，虽提供可靠结果，但存在主观性强、成本高、预处理复杂和难以连续监测等局限。单模态传感技术受信息瓶颈制约，如RGB成像无法反映内部成分，光谱易受干扰。深度学习作为人工智能分支，凭借强大的特征提取和泛化能力，推动检测向自动化与智能化发展。多模态数据融合通过整合图像、光谱、电子鼻、电子舌和物联网（IoT）传感器数据，可更全面反映食品质量特性，提高检测准确性与可靠性。
2. 深度学习与食品质量检测的技术基础
2.1 食品检测的深度学习方法与算法创新
2.1.1 卷积神经网络（CNN）
CNN由卷积层、池化层和全连接层组成，能够自动提取图像的局部特征与层次表示，广泛用于食品图像分类、缺陷识别和光谱分析。一维CNN用于波长序列特征提取，三维CNN联合建模空间与光谱信息。CNN常与LSTM或Transformer结合处理序列时空调制或光谱数据，并通过残差连接和注意力机制提升性能。例如，结合高光谱成像和通道注意力可检测蛋壳表面菌落总数。
2.1.2 循环神经网络（RNN）及其变体
RNN及其变体LSTM和GRU擅长捕捉序列数据中的长期依赖关系，适合分析冷链运输中的温度、湿度时间序列，以识别异常波动和预警质量风险。LSTM通过门控机制动态调节信息流，可用于光谱波长间相关性的建模，如结合一维CNN-LSTM-自注意力网络检测羊肉中金黄色葡萄球菌浓度。
2.1.3 Transformer架构
Transformer依赖自注意力机制捕获全局上下文和长距离依赖，在细粒度食品图像分类和跨模态特征学习中表现突出。然而，Transformer对局部特征归纳偏置较弱，需要大规模数据或预训练，在食品数据集有限时易过拟合，因此CNN-Transformer混合架构通常更适合食品检测任务。
2.1.4 基于图神经网络（GNN）的融合
GNN处理图结构数据，可将光谱波段、化学指标或供应链节点定义为节点，通过邻居聚合学习表示。图注意力网络（GAT）可动态衡量不同模态间的关联，图自编码器和时空图神经网络能捕获图重构与时空演化。GNN在食品掺假识别、污染风险预测和多模态特征融合中展现出潜力。
2.1.5 生成对抗网络（GAN）
GAN由生成器和判别器对抗训练，主要应用于数据增强和可控图像生成，以缓解食品样本稀缺问题。GAN可以合成光谱或图像数据以提升分类性能，但训练不稳定且可能丢失细节纹理，更适合作为数据增强工具而非独立决策模型。
2.2 算法创新
2.2.1 轻量级模型设计、边缘计算与迁移学习
轻量级模型（如MobileNet、EfficientNet）通过减少参数和浮点运算提高推理速度，适配边缘设备。边缘计算将计算推向数据源，减少延迟和通信开销，适用于冷链物流等场景。迁移学习通过预训练模型微调提升小样本食品分类性能，在多种食品识别任务中达到高准确率。
2.2.2 自监督学习与无监督学习
自监督学习利用未标注数据预训练，减少对大规模标注的依赖，在光谱特征提取和少量标注微调中表现出高效性。无监督学习通过聚类和降维发现数据内在结构，可用于异常检测，识别表面缺陷、异物或存储环境异常。
2.2.3 模型解释工具与数据保护
深度学习模型的黑箱特性阻碍了其在高风险场景中的应用。可解释人工智能（XAI）方法（如显著图、LIME、SHAP）可提供预测依据，帮助确定模型是否依赖有意义的食品属性。数据加密、差分隐私和联邦学习可保障数据隐私安全，区块链技术则增强数据可追溯性。
2.3 多模态数据特征
2.3.1 多模态数据及其处理
多模态数据来源于图像、光谱、化学指标、电子鼻/舌和IoT传感器等。预处理包括图像归一化、光谱基线校正和数据标准化；特征提取通过CNN或主成分分析（PCA）等方法将不同模态映射到统一特征空间，为后续融合提供基础。
2.3.2 多模态数据融合的技术路线
多模态融合流程包括数据采集、同步预处理、各模态特征提取、融合及结果评估。融合方式分为早期、中间和晚期融合；中间融合和晚期融合在模态差异大、维度不一致时更具灵活性，能更有效地整合互补信息。
3. 图像识别技术的创新应用
3.1 食品外观质量评估
图像识别技术用于评估食品的颜色、形状、纹理等外观属性，结合深度学习实现缺陷检测、品种识别和包装完整性检查。例如，利用CNN分析干燥绿茶样本图像可可视化含水量变化，基于Transformer的食品识别模型在公开数据集上取得较高准确率。但外观评估误差易受光照、背景和拍摄视角影响，需报告成像条件并检验模型鲁棒性。
3.2 动态场景中的实时检测
在生产线和冷链中，摄像机采集图像并由预训练CNN实时分析，可实现咖啡豆烘焙度控制、鸡蛋新鲜度监测等。实时检测通常通过轻量级模型（如YOLOv4-Tiny）提高推理速度，同时保持可用精度。工业部署时还需考虑传送带速度、振动、运动模糊和光照波动等因素。
3.3 图像识别技术在食品检测应用中的技术局限
数据集规模和代表性不足导致模型过拟合和泛化困难。类别不平衡使多数类样本主导训练，少数危险类易漏检。应报告每类精度、召回率和混淆矩阵，采用类别加权损失、过采样和数据增强等手段。复杂环境下的鲁棒性也需通过域适应和跨设备测试加以改善。
3.4 计算效率与部署考虑
各模型架构的推理时间存在差异：CNN约50-200毫秒/次，轻量级变体在边缘设备上低于50毫秒；RNN/LSTM约100-300毫秒；多模态融合约100-500毫秒；Transformer约200-1000毫秒以上。实际部署需结合硬件配置、模型压缩和实时吞吐要求，在资源受限设备上可采用量化、剪枝和知识蒸馏。
4. 多模态数据融合的技术应用与进展
4.1 多模态融合在食品质量评估中的应用
多模态融合通过结合光谱与图像信息提升检测准确性，如利用高光谱成像和堆叠自编码器预测葡萄理化指标，电子鼻与计算机视觉融合检测番茄硬度。双尺度高光谱成像结合智能算法还可对红参不同部位进行质量评估。对假冒与污染检测，需用参考方法对高风险结果进行确认。
4.2 食品供应链中的多模态监测
多模态融合在供应链中用于全流程质量监测。IoT实时采集传感器数据，AI模型分析数据辅助早期预警。例如，基于嵌入式系统和MQTT协议的火警检测系统可实时传输烟雾浓度数据，提高食品加工安全性。
4.3 多模态数据融合的进展
GNN和动态融合机制进一步提升了多模态检测的精度和鲁棒性。未来多模态大模型、自监督学习和少样本学习有望推动融合技术发展，使检测系统更适应复杂食品场景。
5. 未来研究方向
5.1 深度学习在食品质量检测中的技术挑战
数据获取成本高、标注困难且多样性不足，限制了模型泛化。算法可解释性差削弱工业信任，尤其在监管要求可追溯证据的场景中。计算资源需求高和数据安全风险也是重要瓶颈，需要跨学科协作和系统化框架。
5.2 基于深度学习的当前实际实施状况
多数技术仍处于实验室或原型阶段。RGB图像结合CNN和轻量级网络最接近实际应用，可用于外观分级和在线监测；高光谱、
