综述:自然语言处理在食品安全研究

《Future Foods》:Natural language processing in food safety research

【字体: 大 中 小 】 时间:2026年08月18日 来源:Future Foods 6.6

编辑推荐:

  食品系统正在经历重大变化,要求当局能够预见并及时应对快速演变的风险。自然语言处理(NLP)是人工智能的一个子领域,有助于分析、处理和生成人类语言内容。特别是考虑到近期的发展,该子领域有望成为食品安全研究和政策的有价值工具包。本综述旨在成为希望利用NLP进行食品

  
食品系统正在经历重大变化,要求当局能够预见并及时应对快速演变的风险。自然语言处理(NLP)是人工智能的一个子领域,有助于分析、处理和生成人类语言内容。特别是考虑到近期的发展,该子领域有望成为食品安全研究和政策的有价值工具包。本综述旨在成为希望利用NLP进行食品安全研究的研究人员的参考来源。研究人员介绍了NLP中的建模方法,提供了研究的分类法,并描述了标注数据集。还讨论了未来的研究途径。研究人员审查了2010年至2024年间发表的103项研究。最常见的目的是协助当局进行一般性危害监测(n=34)。文本分类是最常应用的任务(n=42)。社交媒体是最突出的数据源(n=28)。标注数据集的有限共享(43个数据集中仅有4个)被认为是一个重大挑战,对可重复性、开放科学和组织间合作具有严重影响。潜在的未来工作包括危害优先级排序、采用整体监测方法、创建数据交换标准和多语言数据集。
1. 引言
本文回顾了食品安全与自然语言处理(NLP)交叉领域的文献。食品系统正经历重大变化,当局需及时预见并应对快速演变的风险。NLP作为人工智能(AI)的子领域,可分析、处理和生成人类语言内容,近期发展(如大语言模型(LLMs))使其成为食品安全研究和政策的有价值工具。现有综述多聚焦于计算机视觉和表格数据,而NLP在食品安全中的应用较少被系统讨论。因此,本文填补了这一空白,提出了基于食品安全目的、NLP任务和数据源的三维分类法,并分析了标注数据集及其共享问题,设定了未来研究议程。

2. 人工智能与自然语言处理中的建模方法
本文介绍了三种主要建模方法:基于规则的方法、机器学习(ML)和大语言模型(LLMs)。基于规则的方法依赖手工制定的规则和词典,例如使用情感词典对推文进行评分。机器学习(ML)模型包括经典机器学习(Classical ML)和神经网络(NNs)。经典机器学习(Classical ML)需要特征提取(如TF-IDF)和选择,常用算法有逻辑回归(Logistic Regression)、随机森林(Random Forest)、朴素贝叶斯(Na?ve Bayes)和支持向量机(SVM),以及无监督主题模型(如LDA)和聚类算法(如k-means)。神经网络(NNs)架构包括前馈神经网络(Feedforward Neural Networks)、卷积神经网络(CNN)、长短期记忆网络(LSTM)和Transformer,其中基于Transformer的BERT是代表性模型。大语言模型(LLMs)主要基于Transformer架构,通过大规模预训练获得,可接受自然语言指令(提示)直接执行任务,也可通过微调适应特定领域。

3. 方法论
本综述遵循PRISMA流程图,纳入标准为:(i) 聚焦食品安全,(ii) 实施NLP流程,(iii) 英文撰写。排除食品保障、供应链、营销等相邻领域。搜索查询包含NLP和食品安全相关关键词,覆盖CAB、IEEE、Scopus、Web of Science和ACL Anthology等数据库,首次检索于2024年3月27日,二次检索于2025年12月16日以捕获2024年剩余研究。共收集560篇研究,去重和筛选后,基于全文阅读保留103篇。使用模板提取每项研究的食品安全目的、NLP任务、数据源、是否创建标注语料库等信息。

4. 研究分类
4.1 食品安全目的
定义了12个类别,其中6个为主要类别。一般监测(General monitoring)(n=34)旨在协助当局监测危害,最常见于文本分类和新闻数据。公众意见(Public opinion)(n=22)关注公众对特定食品安全问题的情绪和态度,常用情感分析和社交媒体。食源性疾病监测(Foodborne illness monitoring)(n=15)旨在监测食源性疾病,主要使用文本分类和社交媒体。违规监测(Infringement monitoring)(n=12)监测供应链违规,常用文本分类和投诉数据。学术工作支持(Academic work support)(n=9)协助研究人员,常用主题建模和科学文本。消费者赋权(Consumer empowerment)(n=6)通过工具提升消费者知识,常用命名实体识别(NER)和社交媒体。其他目的包括产品召回监测、在线销售监测、政策分析、化学危害监测、假新闻和媒体报道。

4.2 自然语言处理任务
定义了11个类别,其中7个为主要类别。文本分类(Text classification)(n=42)是最常见任务,用于食源性疾病监测和违规监测,主要采用经典机器学习(Classical ML)和神经网络(NNs)模型。情感分析(Sentiment analysis)(n=17)主要服务于公众意见,常用基于规则的方法(如情感词典)。主题建模(Topic modelling)(n=16)识别文档中的隐藏主题,主要使用经典机器学习(Classical ML)如LDA。信息抽取(Information extraction)(n=16)提取事件属性或实体关系,常用神经网络(NNs)和基于规则的方法。命名实体识别(NER)(n=15)识别文本中的实体类型(如食品、症状),主要采用神经网络(NNs)和条件随机场(CRF)。信息检索(Information retrieval)(n=9)检索与查询最相关的文档,主要基于规则的方法。文档聚类(Document clustering)(n=7)组织相似文档,主要使用经典机器学习(Classical ML)如k-means。其他任务包括问答、文本摘要、关键词提取和语音识别。

4.3 数据源
定义了15个类别,其中8个为主要类别。社交媒体(Social media)(n=28)是最常见数据源,主要用于公众意见和情感分析,平台包括Twitter和Weibo。新闻(News)(n=23)主要用于一般监测和文本分类。产品/服务评论(Product/service reviews)(n=14)聚焦食源性疾病监测和文本分类,主要来自Yelp。检查/事件公告(Inspection/incident announcements)(n=12)用于一般监测和文本分类。投诉(Complaints)(n=11)主要用于违规监测和文本分类,来自政府部门。科学文本(Scientific texts)(n=9)主要用于学术工作支持和主题建模。未指定网站(Unspecified websites)(n=8)通过爬虫收集,主要用于一般监测和信息检索。政策工具(Policy tools)(n=6)用于政策分析、信息抽取和文档聚类。其他数据源包括教育材料、成分列表、电子发票、食品安全案件、产品描述、事实核查平台和利益相关者意见。

5. 标注语料库
43个标注语料库来自52项研究,其中4个公开共享。最常服务于一般监测(n=15)、食源性疾病监测(n=8)和公众意见(n=5)。最常见的NLP任务是文本分类(n=27),其次是NER(n=10)和情感分析(n=5)。数据源以新闻(n=13)、社交媒体(n=10)、产品/服务评论(n=6)和检查/事件公告(n=6)为主。大部分语料库(n=26)完全人工标注,9个结合自动过程,3个完全自动。标注者包括专家(17个语料库,其中5个来自公共机构)、众包(3个)、作者本人(6个)和学生(4个)。有限共享导致可重复性、开放科学和组织间合作受阻,但可通过隐私增强技术和利用大语言模型(LLMs)进行自动标注来缓解。

6. 讨论
6.1 概述
一般监测是最常见目的,但许多研究仅表明当局为受益者,未明确具体痛点,多为概念验证。文本分类最常见,因其易于实现且输出直接。社交媒体和新闻最常用,因其内容通用且易获取。重要重叠包括公众意见-情感分析-社交媒体,以及公众意见-主题建模。研究语言集中于英语(42项)和中文(36项),大多数语言资源匮乏,而食品安全问题在发展中国家更为突出,导致工具开发与需求不匹配。

6.2 大语言模型趋势与未来展望
大语言模型(LLMs)在文本分类和信息抽取中已有应用,提示(Prompting)和微调(Finetuning)的比较是重要研究课题。未来预计文本摘要和问答任务将增加,检索增强生成(RAG)技术值得关注。光学字符识别(OCR)与LLMs的结合可用于提取成分列表等。LLMs也可用于自动语料标注,但需注意幻觉、非确定性、高经济成本和环境足迹以及隐私泄露问题。

6.3 其他未来工作
未来工作包括危害优先级排序(仅一项研究涉及)、采用整体监测视角结合知识图谱、监测社交媒体上的危险食品挑战、利用语言模型预测食源性病原体特征(如抗菌素耐药性)、建立数据交换标准(如FSKX格式)以及创建多语言数据集以服务资源匮乏语言区域。

6.4 局限性
搜索查询未包含特定食品和危害术语,可能导致遗漏部分文献。仅利用学术数据库,可能遗漏灰色文献,但已捕捉到与公共机构的合作研究。

7. 结论
本综述纳入并分析了103项食品安全与NLP交叉研究。一般监测是最大目的组(n=34),文本分类是最常见任务(n=42),社交媒体是最主要数据源(n=28)。标注语料库共享水平低(43个中仅4个),对可重复性、开放科学和组织间合作构成挑战。大语言模型(LLMs)是重要突破,但需关注其局限性。未来研究应聚焦危害优先级排序、整体监测方法和多语言数据集创建。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号