《Foods》：A Self-Refine-Enhanced LLM Framework for Structured Extraction of Quantitative Food Safety Information from Chinese Texts
编辑推荐：
中文食品安全标准和科学文献中包含与食品安全监管和风险分析相关的定量信息。然而，这些信息分散在自然语言条款和复杂表格中，使得人工提取劳动密集且容易遗漏和错误关联。本研究提出了一种基于大语言模型（Large Language Model，LLM）的框架，结合少样本
中文食品安全标准和科学文献中包含与食品安全监管和风险分析相关的定量信息。然而，这些信息分散在自然语言条款和复杂表格中，使得人工提取劳动密集且容易遗漏和错误关联。本研究提出了一种基于大语言模型（Large Language Model，LLM）的框架，结合少样本提示（few-shot prompting）与Self-Refine方法，用于抽取“食品对象–指标/因子–数值表达”三元组（triples）。研究构建了一个包含149项中国食品安全国家标准和85篇中文科学文章的语料库，并使用来自27份文档的1031个参考三元组进行评估。在四轮运行中，采用Self-Refine的通义千问Plus（Qwen-Plus）在严格匹配（strict matching）下平均精确率（precision）、召回率（recall）和F1分数分别为0.8690、0.8041和0.8353，在基于相似度的匹配（similarity-based matching）下分别为0.8737、0.8084和0.8398。严格匹配下的精确率和F1分别提升了0.0421和0.0207，而召回率变化不大。在所测试的相似度阈值和字段权重范围内，F1提升均为正值。无需额外模型训练，所提出的框架即可生成结构化的定量食品安全信息，可支持食品安全文档的数字化归档、信息检索和知识图谱构建。
论文解读文章
1. 研究背景与现存问题
随着全球食品供应链日益复杂，各国食品安全标准和技术文件不断修订，以纳入更多食品种类和危害控制要求。这些文件中包含了食品添加剂、化学污染物、农药残留的法定限量，以及微生物标准、检测结果和风险评估参数。食品安全监管机构和食品生产企业依赖这些规定进行监管抽检、内部合规检查和风险评估。然而，相关信息嵌入在不同类型的非结构化文本和复杂表格中，缺乏标准化表征。由于食品分类层级化、表格结构复杂以及条件嵌套，人工提取耗时费力，易导致遗漏或错误关联。因此，有必要从异构食品安全文本中提取并关联食品对象、指标/因子和数值表达字段，将结果组织成可检索、可追溯的结构化形式，服务于知识图谱构建和风险分析。
近年来，自然语言处理技术已被广泛应用于命名实体识别、关系抽取和知识图谱构建，为食品安全文本的自动化结构化奠定了基础。早期方法依赖规则模板、领域词典或有监督学习，需要大量人工工作制定规则和标注数据，对食品安全标准中多样复杂的表达适应性差。预训练语言模型和大语言模型（Large Language Model，LLM）展现出在特定领域文本理解、少样本学习和结构化输出生成方面的能力，为在标注数据有限且未进行任务特定模型训练的情况下处理食品安全文档提供了替代方案。
现有研究多局限于基础实体识别、通用关系抽取和文本分类任务，鲜有针对食品安全监管的核心需求——统一提取并关联包括食品对象、指标或因子、数值表达及适用约束在内的完整要素。这一空白使得现有研究成果难以直接用作食品安全监管系统的可靠数据输入，也无法支撑数字化标准管理、自动化合规检查和定量风险预警等实际场景，制约了食品安全治理的数字化和智能化转型。
2. 研究目的与意义
为解决上述问题，本研究将上述多元素关联的监管信息定义为定量食品安全信息，涵盖标准与科学文献中记录的添加剂、污染物和农药残留的限量规格，以及微生物标准、检测数据和风险评估参数，并将其形式化为“食品对象–指标/因子–数值表达”三元组，以同时记录每条知识事实的适用对象、指标或危害因子以及数值表达。
研究人员提出了一种结合结构化少样本提示与基于Self-Refine的迭代优化的定量食品安全信息抽取方法。其主要贡献包括：首先，定义了“食品对象–指标/因子–数值表达”三元组抽取任务，该统一表征方案符合食品安全风险数据库建设的数据规范，为限量规定和风险评估参数提供了标准化数据载体；其次，构建了包含149项中国食品安全国家标准和85篇中文科学文章的领域专用语料库，其中表格内容被线性化，注释数据分为提示示例集和独立评估参考集；第三，将Self-Refine引入定量食品安全信息抽取，通过初始抽取、反馈、检查和结果修正的闭环流程，在不增加额外模型训练的情况下改进初始抽取结果。该方法为食品安全标准的数字化归档、知识图谱构建和风险参数管理提供了标准化的结构化数据基础。
3. 关键技术方法
研究人员采用了以下主要关键技术方法：首先，构建了一个由149项中国食品安全国家标准和85篇中文科学文章组成的实验语料库，标准来源于食品伙伴网（Foodmate.net）标准法规数据库，科学文献来源于中国知网（China National Knowledge Infrastructure，CNKI）。文本预处理将所有文档转换为Markdown格式并切分为段落级单元，表格内容被线性化以保留表头、行列关系、数值和单位。采用人工智能辅助注释与人工验证相结合的流程，由GPT-5.4 Pro生成初步注释，再由一名作者逐条对照源文本进行核查，最终获得1031个有效参考三元组。其次，设计了包含任务指令、抽取规则、少样本示例和输出模式的提示模板，驱动LLM进行初始三元组抽取。最后，引入Self-Refine迭代优化机制，通过反馈提示和修正提示，让同一LLM在推理过程中审查当前三元组集、生成结构化反馈并修正抽取结果，最大迭代次数设为3轮。
4. 研究结果
4.1 基础模型选择与规则基线比较
为选择后续Self-Refine实验的基础模型，研究人员比较了通义千问Plus（Qwen-Plus）、深度求索V4 Pro（DeepSeek-V4-Pro）和月之暗面k2.5（Kimi-k2.5）三个LLM的初始三元组抽取性能，并加入了确定性规则基线作为传统非LLM方法的参照。结果表明，Qwen-Plus在两个匹配标准下均取得了最高的平均F1分数，严格匹配为0.8146，基于相似度的匹配为0.8190。DeepSeek-V4-Pro获得了最高召回率但精确率低于Qwen-Plus，表明其覆盖更多参考三元组的同时也带来了更大比例的不匹配预测。Kimi-k2.5在两个匹配标准下的精确率、召回率和F1均为最低。规则基线的严格匹配F1为0.5360，基于相似度的匹配F1为0.7863，其基于相似度匹配的精确率虽高达0.8809，但召回率低于Qwen-Plus（0.7100 vs. 0.8070），导致F1较低。基于精确率与召回率的平衡，研究人员选择Qwen-Plus作为后续Self-Refine消融实验的基础模型。
4.2 Self-Refine消融实验与补充分析
为评估基于反馈的修正带来的贡献，研究人员对比了Qwen-Plus在应用Self-Refine前后的输出。结果显示，Self-Refine使严格匹配下的平均精确率提升0.0421，F1提升0.0207；基于相似度匹配下的平均精确率提升0.0423，F1提升0.0208。所有四轮配对运行中精确率和F1均有提升，其95%置信区间（confidence intervals，CI）排除了零。然而，平均召回率的配对增幅仅为约0.0015，且CI包含零，表明Self-Refine主要提高了正确匹配预测的比例，而非大幅扩展对参考三元组的覆盖范围。与规则基线相比，采用Self-Refine的Qwen-Plus在两个匹配标准下均获得了更高的F1。
在40个源文本单元的探索性子集上，单次抽取、四次独立输出的多数投票以及Self-Refine的严格匹配F1分别为85.20%、84.45%和86.61%，Self-Refine取得了最高F1，而多数投票未能改善F1。在10份独立测试集上，Self-Refine将严格匹配F1从76.46%提升至81.05%，基于相似度匹配F1从82.42%提升至86.10%。在诊断性评估中，针对40个原始阳性段落，目标准确率从初始抽取的65.00%提升至Self-Refine后的72.50%；针对40个扰动段落，正确的扰动跟随率从70.00%略升至72.50%；在30个阴性段落中，产生非空输出的比例从46.67%降至26.67%。
4.3 剩余错误分析
为识别精炼后仍存在的局限性，研究人员基于主谓宾结构对Self-Refine输出中的错误进行了人工分类，包括缺失三元组、谓语错误、宾语错误和无效三元组。结果显示，缺失三元组是Self-Refine后最主要的错误类型，占主导地位；谓语错误和宾语错误分别占12.33%和6.85%。缺失三元组的普遍性与召回率变化有限的发现一致，因为恢复完全遗漏的事实需要模型重新审视源文本并构建新的三元组，比修正已有候选三元组更具挑战性。
4.4 基于相似度匹配的敏感性分析
为检验观察到的Self-Refine改进在原始评价配置之外是否依然稳健，研究人员在变化的总体相似度阈值和字段权重配置下重新评估了保留的输出。在原始权重下，无Self-Refine时的F1范围为0.8160至0.8220，有Self-Refine时为0.8368至0.8428，F1提升在所有五个阈值下均保持在约0.0208。等权重设置在大多数情况下产生了相同的结果。尽管在更严格的0.95阈值下绝对F1略有下降，但Self-Refine改进的方向和幅度保持稳定，支持了F1增益在所测试阈值范围和权重配置下的一致性。
5. 讨论与结论
本研究表明，无需额外模型训练，所提出的结合少样本提示与Self-Refine迭代优化的方法能够有效提取并关联食品对象、指标或因子及相应的数值表达。在三个LLM中，Qwen-Plus在两个匹配标准下均取得最高初始F1。Self-Refine将严格匹配F1从0.8146提升至0.8353，基于相似度匹配F1从0.8190提升至0.8398。四轮配对运行分析支持精确率和F1的一致提升，而召回率一致提升的证据有限。采用Self-Refine的Qwen-Plus在两个匹配标准下均优于规则基线。此外，F1提升在所测试的总体相似度阈值和字段权重配置下均为正值。
在实用价值方面，结构化抽取结果可支持构建统一的、可检索的定量食品安全信息数据库，用于数字文档管理、知识图谱构建和风险参数管理，有助于食品企业便捷获取相关标准规定和数值要求。然而，当前模式无法自动重建隐式例外、模糊跨条款适用性或输入文本或表格结构中未明确支持的层级继承关系。因此，在决策支持应用中，特别是在这些情况下，需人工对照源文档验证抽取信息。当前语料库限于中国食品安全国家标准和中文科学文献，且评估基于相对较小的文档样本。未来研究应在更大规模、更多样化的语料库上进行评估，包括国际标准，以获得更精确的性能估计并进一步检验其泛化能力。
