《JOURNAL OF FOOD SCIENCE》:Beyond Accuracy: Validation, Reproducibility, and Deployment Readiness of AI in Food Safety and Quality
编辑推荐:
人工智能(AI)日益被用于食品中微生物和化学危害的检测,但实验室准确率在常规使用中很少得到复现。本结构化叙述性综述考察了所报告的性能是否可溯源、是否经过独立验证、以及是否可迁移至实际运行场景。研究者检索了8个文献数据库和7条机构途径,筛选了2018年1月至20
人工智能(AI)日益被用于食品中微生物和化学危害的检测,但实验室准确率在常规使用中很少得到复现。本结构化叙述性综述考察了所报告的性能是否可溯源、是否经过独立验证、以及是否可迁移至实际运行场景。研究者检索了8个文献数据库和7条机构途径,筛选了2018年1月至2026年5月间发表的英文文献;最终语料库包含76个来源(53篇期刊论文、9篇会议论文、2篇预印本和12份机构或监管文件)。支撑定量证据的7项主要研究依据11项指标逐一进行了评估,这些指标包括测试集独立性、外部验证和泄漏控制。物理危害检测和窄基质光谱分级具有最强的部署证据,而微生物和化学筛查仍停留在实验室或中试规模。在被评估的研究中,最可信的估计来自物理或时间上独立的测试集,且没有一项基于传感器的研究评估了向另一台仪器或实验室的迁移。深度学习在基于图像的任务中显示出明显优势,但在小样本光谱校准中优势并不一致。采用的限制因素主要在于验证设计、再校准负担、误报成本以及缺乏监管路径,而非准确率本身。AI最适合定位为与确证性检测和人工监督相衔接的筛查与决策支持层。
论文主体内容总结
1 引言
食品安全的全球负担十分沉重。世界卫生组织(WHO)2026年修订版估计,2000–2021年间42种传染性和化学性危害每年导致约8.66亿人次患病和152万人死亡,相关经济和生产力损失约3100亿美元;五岁以下儿童承担29%的健康负担,2021年死亡14.3万人。食品掺假、错误标签和替代等食品欺诈行为对美国经济造成的损失估计每年在100亿至150亿美元之间,可能高达400亿美元。参考实验室方法仍是官方控制的基础,但其成本、周转时间和有限采样覆盖率留下了快速筛查可以填补的空白。
人工智能(AI)作为候选工具出现,可识别图像、光谱、传感器信号、序列数据和文本中的复杂模式,实现比人工检查更快、更一致的风险优先级排序。使能技术涵盖用于结构化质量数据的机器学习(ML)、用于视觉和光谱数据的深度学习(DL)、用于监管和消费者文本的自然语言处理(NLP)以及用于供应链监控的数字追溯分析。这些应用构成更广泛的"食品工业4.0"议程的一部分,AI的价值既取决于算法,也取决于数据基础设施和数据治理。
1.1 常规危害检测的局限与AI的论据
常规方法仍是官方控制的参考,但各有局限。基于培养的细菌病原体检测需要增菌和选择性平板培养,初步结果通常需要2至3天,菌种确认可能需一周或更长时间。聚合酶链反应(PCR)等快速免疫学和分子方法缩短了时间,但仍依赖增菌、实验室基础设施和训练有素的人员。对于化学危害,高效液相色谱(HPLC)、气相色谱-质谱联用(GC-MS)和液相色谱-串联质谱(LC-MS/MS)等色谱方法给出定量且法律上可辩护的结果,但具有破坏性、集中化和单样本成本高的特点。对于真菌毒素,采样通常对检测结果总变异性的贡献大于分析步骤本身。
这些约束共同造成覆盖问题:确证性检测准确但缓慢、昂贵且稀疏。AI辅助传感和风险分析可通过非破坏性筛查更多批次来提高覆盖率,通过在数分钟或数小时内返回结果来提高速度,并通过将稀缺的确证性检测引导至预测风险最高的批次来提高靶向性。
1.2 研究空白、问题与贡献
现有综述大多聚焦单一技术或应用。三个问题仍未得到充分解决:(i)所报告的性能是否可溯源且无偏,包括数据泄漏风险和验证设计;(ii)AI输出应如何区别用于筛查、决策支持和执法;(iii)AI能否在资源匮乏的食品系统中公平部署。本综述提出四个研究问题并做出五项贡献,包括可溯源证据矩阵、逐商品主导失效模式分析、报告遗漏与泄漏风险及已证实的不可复现性之间的区分、后果分级框架以及明确的、可检验的结论。
1.3 综述方法与证据选择
本综述为结构化非系统性叙述性综述。检索于2026年2月至5月在8个文献数据库和7条补充途径中进行,辅以关键研究的引文回溯和追踪。纳入标准为2018年1月至2026年5月间的英文文献。最终语料库包含76个引用来源:53篇同行评审期刊论文和综述、9篇同行评审会议论文、2篇预印本和12份机构、监管及标准文件。筛选由单一作者执行,未进行重复筛选,作者承认相关的选择偏倚风险。未计算合并效应估计,因为文献涵盖众多商品、传感器、数据集、算法和指标。
1.4 关键评估程序
采用11项指标区分稳健证据与概念验证演示:(I1)测试数据独立性;(I2)样本量充分性;(I3)外部验证;(I4)参考(真值)方法质量;(I5)类别平衡或其显式处理;(I6)预处理透明度;(I7)数据泄漏的显式控制;(I8)跨仪器校准迁移;(I9)不确定性和错误类型报告;(I10)代码和数据可用性;(I11)部署现实性。每项指标评为"是"、"部分"、"否"、"未报告"或"不适用"。
2 AI方法在食品危害检测中的应用
2.1 光谱和传感器数据上的化学计量学与监督机器学习
既定基线是化学计量学:偏最小二乘(PLS)回归、PLS判别分析(PLS-DA)和软独立建模分类类比法(SIMCA)等类建模方法。机器学习分类器包括支持向量机(SVM)、随机森林(RF)、梯度提升和k近邻(k-NN)。PLS模型提供将预测与特定波长关联的回归系数和载荷,树集成提供内置重要性度量;SVM和k-NN需要事后估计重要性。由于标注食品数据稀缺,校准迁移、迁移学习和域适应是核心而非可选项。
2.2 图像、高光谱数据和时序上的深度学习
卷积神经网络(CNN)、残差网络和视觉Transformer直接从图像和光谱中学习特征。在危害检测中,它们用于分割X射线图像中的异物、检测显微图像中的细菌微菌落以及分类高光谱数据。长短期记忆(LSTM)网络应用于保质期和过程数据等时间序列。生成对抗网络(GAN)用于增强稀有缺陷或污染类别,但源自测试样本的合成样本可能泄漏到训练中。
2.3 掺假的异常检测与类建模
监督分类器只能检测训练数据中代表的掺假物或污染物。类建模方法如SIMCA、一类分类器和基于主成分分析(PCA)或自编码器的无监督异常检测改为对真实类别建模并标记偏差。这些公式更匹配欺诈筛查,但报告较少,部分原因是其标题准确率较低且误报率取决于真实类别采样的完整性。
2.4 监测、采样与基因组分析
基于监测记录训练的模型可预测哪些批次可能超过污染物阈值。van den Bulk等人使用2010至2023年间收集的202,325份饲料样本训练梯度提升模型,在未用于训练的后一年份上评估,报告平均灵敏度83%、平均特异度73%。图神经网络(GNN)和关联规则挖掘已用于跨地区和产品分配采样工作。元基因组和全基因组测序结合机器学习分类器支持来源归因、暴发调查和抗菌素耐药性预测。
2.5 合规文本的语言模型
自然语言处理(NLP)和大语言模型(LLM)提取召回和投诉信息、分类检查报告并起草文档。其在危害检测中的作用是间接的,因为其组织的是分析决策周围的文本而非测量危害本身。流畅但不正确的文本可能造成合规的虚假印象,因此需要配套保障措施。
2.6 方法与数据和决策的匹配
对于来自数百个或更少独立样本的结构化光谱和传感器数据,PLS化学计量学和树集成具有竞争力且更易辩护;深度学习在数据集大或信号具有空间性时最有用,但更难解释且更易受数据泄漏影响。成像对光照、相机几何、表面状况、包装和线速敏感,电子鼻和电子舌对漂移、湿度和温度敏感。可部署系统需结合外部验证的准确率、不确定性估计、可维护性和清晰的人工监督。
3 按危害类别的证据
3.1 化学危害与真菌毒素
化学危害包括农药残留、重金属、兽药残留、真菌毒素、过敏原和有意掺假物。拉曼、表面增强拉曼光谱、近红外(NIR)和高光谱方法最适合作为筛查工具。一项代表性研究分析了228份自然污染玉米粉样品,使用荧光、可见-近红外(VNIR)和短波红外(SWIR)高光谱成像,以HPLC或LC-MS/MS为参考方法。最佳SWIR模型(SVM)以95.7%的准确率将验证样本分配到四个污染类别。所有样本来自单一样本集和每模态单一仪器,浓度范围窄,未进行外部验证。由于采样通常主导真菌毒素结果的变异性,快速筛查主要通过允许检查更多批次来改善批次分类。
3.2 生物危害
致病菌、病毒和寄生虫是主要生物危害。Park等人将样品孵育3小时以允许微菌落形成,使用更快速区域卷积神经网络(R-CNN)检测器在白光显微镜图像上区分大肠杆菌、单核细胞增生李斯特菌和枯草芽孢杆菌微菌落与菠菜、奶酪和鸡肉碎片。独立验证给出平均精确率94.6%、平均召回率92.5%。活性通过生长而非光学信号本身确定,该方法尚不能在天然微生物群中识别物种。
3.3 物理危害与真实性:部署基准
基于成像的检测通常处理金属、玻璃、塑料、石头、骨碎片和昆虫等物理危害。Zeegers等人使用建模黏土幻影生成带标签的X射线图像,40个或更多训练对象时对象检出率约92%,在51个物理上不同的测试对象上评估,数据公开。该研究是报告规范的典范,但幻影并非食品,向异质产品的迁移仍有待证明。真实性检测结合基因组、代谢组、光谱和追溯技术,检测未声明的物种替代、橄榄油和蜂蜜掺假以及地理来源错误标签。
3.4 与安全共享的新鲜度和腐败终点
非破坏性评估(NDE)在保持产品完整性的同时产生定量质量数据。高光谱成像(HSI)、X射线成像、NIR光谱和荧光成像结合化学计量学、ML和DL模型可预测可溶性固形物含量、水分、脂肪和蛋白质等内部属性以及总挥发性盐基氮(TVB-N)等腐败指标。Al-Hooti等人使用32传感器电子鼻测量0°C和25°C储存的沙丁鱼,报告0°C时与微生物计数的R2为0.92–0.96,但每条鱼取五次读数且未描述独立测试集,因此报告值描述拟合而非预测。
3.5 可溯源证据矩阵与研究级评估
三个模式从评估中浮现。第一,最能支持关于新材料主张的设计是测试单元在物理或时间上与训练数据分离的:不同对象、后一年份和独立实验。第二,五项基于传感器的研究均未评估向另一台仪器或实验室的迁移,因此校准迁移(I8)在评估证据中未得到评估。第三,最高报告准确率来自测试集非常小或不独立的研究,这是当表观性能被有限测试集规模或训练与测试数据间依赖性膨胀时所预期的模式。
3.6 现场验证、模型漂移与跨商品泛化
许多研究在近最优实验室条件下进行,模型随后遇到表面蜡质、土壤残留、变化光照、振动和反射(图像模型)或仪器差异、粒径、温度、水分、样品厚度和基质效应(光谱模型)。外部验证跨收获季节、供应商、实验室、仪器和地区至关重要。模型漂移增加时间维度:原料组成随气候、育种、饲料、土壤和储存变化,传感器漂移加剧问题。漂移应通过定期再验证、模型置信度控制图、针对参考实验室结果的再校准、分布外检测和人工审查阈值来管理。
3.7 数据泄漏、报告遗漏与可复现性
数据泄漏是食品光谱、HSI和计算机视觉中性能过度乐观的主要原因。当从同一物理样本获取多个光谱、像素、图像块或重复测量时,如果随机分割,近似相同的测量出现在训练和测试集中。三种情况应区分:报告遗漏(未说明分割单元或独立样本数)、具有公认泄漏风险的设计(随机像素、光谱或图像级分割、在全数据集上拟合预处理)、以及已证实的不可复现性。样本级分割必要但不充分;适当的分割单元是模型预期泛化到的最高单元:批次、季节、仪器、地点或时间段。
3.8 商品特定证据及其局限
动物产品中,肉类和禽类的成像胴体分级是最成熟的工业应用之一,但光学方法仅测量表面。乳制品中脂肪、蛋白质和固形物的红外校准是常规操作,但监督掺假模型仅检测训练集中代表的掺假物。海产品物种替代率最高,但切片去除视觉模型依赖的形态,热处理降解条形码使用的DNA。茶和咖啡的原产地模型是封闭集分类器:参考数据库中不存在的原产地样本不会被标记为未知,而是被自信地分配到最近的代表类别。葡萄酒中,年份变异性既是目标信号也是漂移主要来源。新型食品是缺乏参考数据库和历史危害特征的新基质。基于视觉的密封完整性、灌装液位、标签和日期代码检查是异物检测之后证据第二充分的部署领域。物联网(IoT)温度记录具有最清晰的经济回报,但其安全价值取决于传感器位置和数据完整性。文献中描述的许多"数字孪生"是缺乏与物理资产实时双向数据链接的仿真模型。
4 传感平台与多模态融合
4.1 高光谱成像
HSI记录跨数百个连续波段的空间分辨光谱,结合ML或DL支持污染物、异物、瘀伤和腐败的像素级分类。大数据立方体和快速可复现推理的需求推动了波段选择、模型压缩、图形处理器加速和校准迁移方面的工作。
4.2 电子鼻与电子舌
电子鼻(交叉反应气体传感器阵列)和电子舌(伏安或电位阵列)提供新鲜度、腐败、原产地和掺假的快速指纹,但部署需要漂移校正、湿度和温度控制以及基质特定验证。食品特定数月运行稳定性证据稀缺。
4.3 多模态数据融合与校准迁移
单个传感器提供部分信息。融合这些流与多模态Transformer、晚期融合集成、GNN或概率决策模型可分离化学上不同但视觉上相似的状态,并通过交叉检查减少误报。融合并非自动有益:食品真实性数据融合综述报告,结合仪器通常但不总是改善分类。融合还带来自身要求:数据必须同步、标准化并链接到可靠真值,记录应捕获采样位置、批次历史、仪器、校准、储存和参考方法。