《Future Foods》：Towards Trustworthy Early Warning Systems: Human-Centered Explainable AI for Food Recall Classification
编辑推荐：
中文翻译：
食源性疾病和产品召回构成日益严重的公共卫生威胁，然而对食品召回文本进行危害和产品标签自动分类的分类器仍是晦涩的“黑箱”。本文针对透明度缺口，系统比较了模型特定方法（Integrated Gradients、DeepLift、Input×Gradie
中文翻译：
食源性疾病和产品召回构成日益严重的公共卫生威胁，然而对食品召回文本进行危害和产品标签自动分类的分类器仍是晦涩的“黑箱”。本文针对透明度缺口，系统比较了模型特定方法（Integrated Gradients、DeepLift、Input×Gradient、GradientSHAP）和模型无关方法（LIME、KernelSHAP、Shapley Value Sampling、Feature Ablation）在多类食品危害和产品分类中的可解释性表现，并以专家标注的词级理由（rationales）作为合理性（plausibility）的金标准。研究人员在Food Recall Incidents数据集上训练了Transformer模型（BERT、RoBERTa、ModernBERT和Llama 3.2），分别采用加权交叉熵（Weighted Cross-Entropy）、焦点损失（Focal）、Dice损失以及自定义混合损失（Hybrid loss），发现加权交叉熵持续取得最佳性能。可解释性评估通过衡量各方法前5个归因词与人类理由的重叠，采用词汇指标（BLEU、ROUGE、IoU、Token-F1、Token-Recall、Token-Precision）和语义指标（BERTScore、COMET）。结果表明，Integrated Gradients和LIME在危害和产品两个任务中产生最符合专家预期的解释，而KernelSHAP和DeepLift的一致性最低。类别级分析揭示了特定危害和产品类别中模型解释与人类推理的偏差，暴露了潜在的数据集歧义和标注挑战。这些发现为在食品安全AI系统中选择可解释性技术提供了实用指导，并有助于构建更透明、以人为中心的早期预警工具。代码实现见：https://github.com/foteinipapadopoulou/xAIForFoodHazard。
论文解读
一、研究背景与问题
食源性疾病持续构成严重的公共卫生威胁。欧洲食品安全局（European Food Safety Authority，EFSA）报告2024年李斯特菌严重感染病例上升，美国2024年与污染相关的病例也进一步增加。为监测这些危害，官方平台如欧盟食品和饲料快速预警系统（Rapid Alert System for Food and Feed，RASFF）和美国食品药品监督管理局召回门户网站促进了病例定义和产品召回信息的收集。从这些文本中快速识别新兴食品危害和受影响产品的迫切需求，推动了自动化分类系统的发展。
自然语言处理（Natural Language Processing，NLP）领域的最新进展，特别是大语言模型（Large Language Models，LLMs），使得大规模自动标注食品召回事件中的危害和产品成为可能。对102项NLP与食品安全交叉研究的系统综述确认了该领域日益增长的兴趣，其中文本分类是最常应用的任务，产品召回文本是关键数据来源之一。SemEval 2025 Task 9中众多参与系统的强劲分类结果证实了基于LLM的流程非常适合食品危害和产品检测。一旦分类器为每条召回通知分配危害和产品标签，这些标签可与生产者、原产国和召回日期等元数据交叉引用，使当局能够追踪例如某一地区肉类产品中李斯特菌出现的频率，或检测未申报过敏原的季节性趋势。
尽管性能强劲，深度学习分类器仍是“黑箱”，用户和专家对预测如何产生知之甚少。在食品安全风险管理等安全关键领域，透明度至关重要。监管机构需要验证结果、识别潜在偏差并确保对微小扰动的鲁棒性。已有研究强调，可解释方法——无论是模型特定还是模型无关——在食品风险文本分类中尚未得到深入探索。近年来涌现出多样化的可解释人工智能（Explainable AI，XAI）方法，系统分类法区分了解释算法的通用性：模型特定技术利用模型内部结构（如神经网络中的梯度），而模型无关技术将模型视为黑箱，可跨架构应用。
基于归因的解释面临质量评估挑战。从合理性（plausibility）——即解释对人类的说服程度——的角度，一种方法是将模型生成的词级归因与人类专家理由进行比较并量化其重叠。以人为中心的AI日益受到关注，催生了带有标注者理由的基准数据集。然而，尚无研究系统评估多种模型特定和模型无关XAI方法在食品安全与NLP交叉领域中对基于Transformer分类器的合理性。最接近的相关工作评估了基于指令的LLM在同一食品召回数据集上的自解释（抽取式和反事实），结果显示人类标注与抽取式解释之间存在正相关，但反事实解释表现非常低。另一项研究在情感数据集上评估了六种XAI技术，发现LIME与专家一致性最稳定。一项系统综述考察了食品系统中深度学习XAI的各类研究，发现79%的研究未对XAI方法进行任何明确评估，仅14%比较了多种技术。这些发现凸显了在食品危害分类中开展全面、以人为基础的XAI方法比较的必要性。
二、研究内容与结论
本研究旨在识别哪种XAI技术最符合多类食品召回分类中的专家推理。研究人员采用以下流程：食品召回文本经预处理后输入微调的Transformer分类器，所得模型使用八种可解释性方法提取词级归因分数，再使用词汇和语义指标与专家标注的理由进行评估。
研究得出以下主要结论：在四种损失函数中，加权交叉熵（Weighted Cross-Entropy）持续取得最佳分类性能。在可解释性方面，Integrated Gradients和LIME在危害和产品两个任务中产生最符合专家预期的解释，而KernelSHAP和DeepLift的一致性最低。类别级分析揭示了特定危害和产品类别中模型解释与人类推理的偏差，暴露了潜在的数据集标签歧义和标注挑战。这些发现为在食品安全AI系统中选择可解释性技术提供了实用指导，有助于构建更透明、以人为中心的早期预警工具。
三、关键技术方法
研究人员使用了以下主要技术方法：
数据集方面，采用Food Recall Incidents数据集，由6,644条标题和全文组成，收集自24个国家的公共食品安全机构网站，聚焦英语样本。每份样本由食品安全专家手动标注粗粒度和细粒度的危害及产品类别。危害分类任务包含10个粗粒度类别（如过敏原、生物性），产品任务包含22个类别（如肉类、蛋奶制品、谷物和烘焙产品）。数据集呈现严重的长尾分布。
词级标注方面，由于数据集仅提供文档级专家标签，研究人员开发了基于规则的算法将专家标签转换为二元显著性图。算法首先尝试在文本中精确匹配细粒度类别标签，若无匹配则分解标签为构成词逐一搜索，仍未找到则搜索复数形式。使用全文而非标题进行词级理由提取。排除未指明特定危害或产品的类别。最终获得1,402个危害样本和1,330个产品样本的标注集。验证显示约82–83%的样本与细粒度标签精确匹配，仅发现一处错误标注。
模型方面，微调四种预训练Transformer模型：BERT、RoBERTa、ModernBERT和Llama 3.2（1B），涵盖仅编码器和仅解码器架构。为应对严重类别不平衡，考察四种损失函数：加权交叉熵（Weighted Cross-Entropy，WCE）、焦点损失（Focal Loss）、Dice损失和混合损失（Hybrid Loss）。混合损失结合Focal和Dice损失，经网格搜索确定α=0.25和β=0.75为最佳组合。
可解释性方法方面，评估八种特征归因方法。模型特定方法包括：Integrated Gradients（沿基线到输入路径累积梯度）、Input×Gradient（输入乘以其梯度）、DeepLift（通过比较激活与参考激活并反向传播差异来分配贡献）、GradientSHAP（通过估计基线分布上的期望梯度贡献来近似SHAP值）。模型无关方法包括：LIME（拟合局部线性代理模型并使用其系数作为特征重要性）、KernelSHAP（使用LIME式加权线性回归近似Shapley值）、Shapley Value Sampling（通过采样随机特征排列并平均边际贡献估计Shapley值）、Feature Ablation（系统性地将每个输入特征替换为基线值并测量输出差异）。模型特定方法的归因值在嵌入空间计算，求和归一化得到子词token级分数；模型无关方法直接返回token级分数。token级分数通过平均同一词的所有子词token归因分数聚合为词级分数，选取前5个词与人类理由比较。
评估指标方面，分类性能使用标准分类指标。可解释性评估采用词汇指标（Token-F1、Token-Recall、Token-Precision、IoU、BLEU、ROUGE）检查是否检索到精确的专家术语，以及语义指标（BERTScore、COMET）捕捉解释器选择相关术语而非精确术语的情况。
四、研究结果
数据集与标注结果：经预处理和去除18个重复样本后，保留5,064个唯一样本。规则标注验证显示，危害和产品任务中约82–83%的样本与细粒度标签精确匹配，词干和子串匹配约13%，粗粒度类别匹配3–4%，仅发现一处因“ice”子串在“notice”中误匹配导致的错误标注。
分类性能结果：在四种损失函数中，加权交叉熵持续取得最佳分类性能，表明在处理严重类别不平衡的食品召回分类任务中，WCE是有效的损失选择。
可解释性方法比较结果：Integrated Gradients和LIME在危害和产品两个任务中产生最符合专家预期的解释，而KernelSHAP和DeepLift的一致性最低。这表明基于梯度的模型特定方法（特别是Integrated Gradients）和基于局部代理的模型无关方法（特别是LIME）在生成与人类专家推理一致的词级归因方面表现最佳。
类别级分析结果：特定危害和产品类别中模型解释与人类推理存在偏差，这些偏差也指向数据集标签本身的模糊性。该分析既可用于检查模型行为，也可用于检查数据质量。
五、讨论与结论
讨论部分指出，模型解释与人类推理的类别级偏差暴露了数据集标签的潜在模糊性和标注挑战。这些发现对食品安全AI系统的可解释性技术选择具有实际指导意义。研究结论为：Integrated Gradients和LIME是食品召回分类中最符合专家预期的可解释性方法，加权交叉熵是处理类别不平衡的最佳损失函数，类别级分析有助于识别数据集质量问题。这些贡献推动了更透明、以人为中心的早期预警工具的发展，为监管机构验证结果、识别潜在偏差和确保鲁棒性提供了方法支持。
