摘要
食品产品的快速多样化、频繁的包装更新以及季节性变化对基于视觉的食品检测和饮食监测带来了重大挑战。为了解决对可扩展和灵活的食品分析的需求,本研究提出了一种领域自适应的开箱型食品对象检测(OVFD)框架,该框架能够在无需为新物品提供特定类别的框注解的情况下,识别现有的和以前未见过的食品类别。通过利用开箱型表示法,该框架能够随着新物品的出现动态扩展可检测的食品类别,支持对不断变化的产品、食谱和饮食模式的持续适应,同时减少手动注释的需求。所提出的方法整合了一个动态提示分发网络(DPDN)来改善区域与文本的对齐性,并采用了一种基于密度的多实例学习(DA-MIL)策略,利用弱监督的图像级标签来提高泛化能力并抑制由背景引起的错误检测。为了减少语义泄露,在训练前通过归一化匹配、同义词审核和基于重叠的规则对Food2K标签进行了筛选。该框架在多个基准食品数据集上进行了开放词汇设置下的评估,显示出在基础(已知)和新颖(未知)食品类别检测性能上的一致提升,在AP75(平均精度达到0.75)和COCO风格的AP评估中也都观察到了新颖类别的改进。重复实验报告、错误分析以及有限的外部评估支持了该框架的稳定性和实际可行性。通过实现动态类别扩展并减少注释工作量,所提出的方法为下游的饮食评估、分类审查和质量检测工作流程提供了辅助定位模块,但在实际用于食品安全或生产线之前,仍需进行特定任务的验证和人工核实。
实际应用
本研究提供了一种OVFD方法,可以适应新食品类别,减少特定的框注释需求。边界框定位可以支持上游的感知,用于分量估计、成分级别的饮食记录、辅助分类审查和质量检测工作流程,通过在二次人工或自动化评估之前识别食品的位置。目前的证据仅支持辅助用途;在实际生产条件或试点工厂中,仍需进行人工验证和确认。因此,该检测器旨在为后续审查提供空间依据,而不是替代经过验证的食品检测、质量评估或生产控制程序。
利益冲突
作者声明没有利益冲突。
数据可用性声明
本研究的代码可在https://github.com/LTaiQin/dpdn-det获取。本研究中使用的数据集可从其原始提供商处根据相应的使用条款获取。外部评估注释、类别标签、图像元数据和源领域信息将在项目GitHub仓库中发布;图像的重新分发将遵循原始来源网站的条款。


