《Journal of Food Protection》：Can Consumers Rely on AI Chatbots for Food Safety Advice? A Comparative Analysis of Chatbot Responses and Food Safety Specialists’ Guidance
编辑推荐：
随着人工智能工具， particularly 会话代理（conversational agents）的日益整合，消费者获取信息的方式正在发生转变，涵盖公共卫生和个人医疗保健等关键领域。美国部分人群已开始使用聊天机器人获取健康相关指导，且多数用户对其信息表示信任
随着人工智能工具， particularly 会话代理（conversational agents）的日益整合，消费者获取信息的方式正在发生转变，涵盖公共卫生和个人医疗保健等关键领域。美国部分人群已开始使用聊天机器人获取健康相关指导，且多数用户对其信息表示信任。本研究旨在评估聊天机器人生成的消费者食品安全内容，并将其与专家指导进行比较。研究1对四种面向消费者的流行聊天机器人——ChatGPT-3.5、Google Bard、Meta AI和Microsoft Copilot——的食品安全风险评估表现进行了比较分析。研究人员从播客Risky or Not中选取了20种食品处理实践，针对每种实践输入标准化提示Prompt 1："Is there a food safety risk?"。研究2比较了三种不同ChatGPT版本（-3.5、-4.o mini和-5.2）的表现。研究3探究了使用Prompt 2和Prompt 3的细微变化是否影响ChatGPT-4.o mini与食品安全专家的一致性率。研究4评估了ChatGPT-4.o mini能否提供有效参考文献以支持其陈述。为评估回应一致性，所有研究中每个问题均向聊天机器人发出三次。结果显示，聊天机器人表现存在显著差异，其中Microsoft Copilot与食品安全专家的一致性高于Google Bard、Meta AI和ChatGPT-3.5。ChatGPT-4.o mini的提示变化表明，消费者的提问措辞可能影响聊天机器人的回应，其表现较初次评估有所提升。然而，研究结果表明，仅凭提示设计不足以确保聊天机器人作为消费者食品安全建议唯一来源的可靠性。与专家推荐的一致性有限、重复询问中的不一致性，以及聊天机器人过于自信的语气可能误导消费者，这些问题凸显了进行额外循 evidence-based evaluation 及与消费者开放沟通的必要性，以支持消费者在将聊天机器人用于食品安全风险评估时做出知情决策。
食品安全是全球公共卫生的重要组成部分，消费者在日常食品处理中的决策直接影响食源性疾病的发生率。随着数字技术的发展，消费者获取食品信息的渠道日益多元化，但信息质量参差不齐的问题也日益突出。既往研究表明，消费者常依赖非正式或非专业来源（如在线食谱、社交媒体和同伴建议）进行食品安全决策，这增加了 misinformation 和不一致实践的风险。人工智能聊天机器人作为新兴的信息获取工具，虽在医疗等领域展现出应用潜力，但其在食品安全领域的准确性尚未得到充分验证。"幻觉"（hallucination）现象——即聊天机器人生成看似合理但实际错误的信息——是制约其可靠性的主要瓶颈，尤其在涉及消费者健康的敏感领域更为关键。在此背景下，研究人员开展本研究，系统评估聊天机器人在食品安全风险咨询中的表现，并探索优化其可靠性的可能路径。该论文发表于《Journal of Food Protection》，对于规范聊天机器人在食品安全教育中的应用具有重要参考价值。
本研究采用的技术方法主要包括：基于播客Risky or Not构建包含20种食品处理实践的标准化问题库；设计四种提示变体（Prompt 1为基线开放式提问，Prompt 2强制二选一，Prompt 3提供不确定选项，Prompt 4要求提供参考文献）进行系统比较；采用重复测试法（每个问题重复三次）评估回应一致性；以两位食品安全专家（Benjamin Chapman和Donald Schaffner）的共识评估为金标准，计算聊天机器人的一致性率（alignment rate）；运用严格的文献验证标准（包括作者、标题、期刊、卷期页码、年份及链接可访问性）评估参考文献的真实性。
研究结果部分
不同聊天机器人及版本的比较一致性率
研究1比较了四种商业聊天机器人（ChatGPT-3.5、Google Bard、Meta AI和Microsoft Copilot）与食品安全专家推荐的一致性。结果显示，Microsoft Copilot表现出最高的一致性率（80%），其次为Google Bard（60%）、Meta AI（45%）和ChatGPT-3.5（40%）。Microsoft Copilot与Meta AI和ChatGPT-3.5的差异具有统计学显著性。值得注意的是，所有聊天机器人在风险评估中均表现出比专家更为保守的倾向：ChatGPT-3.5将95%的食品处理实践归类为存在潜在风险，ChatGPT-4.o mini为90%，Meta AI为80%，Google Bard为75%，Microsoft Copilot为55%，而专家仅评估45%的实践存在风险。研究发现，聊天机器人在涉及情境判断而非明确微生物学危害的场景中更容易出现误分类，常采取预防性过度估计风险的策略。
研究2纵向比较了ChatGPT三个版本（-3.5、-4.o mini和-5.2）的表现。结果显示，最新版本ChatGPT-5.2的一致性率最高（55%），ChatGPT-3.5为40%，而ChatGPT-4.o mini最低（35%）。这一反直觉的发现表明，更新的模型可能因纳入了更多保守的安全校准机制，在食品安全这一专业领域反而表现出过度谨慎，导致与专家判断的偏离。这与部分研究中观察到的模型版本性能非线性演变现象相吻合。
问题表述对ChatGPT-4.o mini一致性率的影响
研究3评估了提示表述方式对ChatGPT-4.o mini表现的影响。Prompt 2（要求"Answer yes or no"）达到50%的一致性率，而Prompt 3（增加"unsure"选项）降至40%。研究表明，聊天机器人对提示的细微变化高度敏感：当未提供明确的不确定性表达选项时，模型倾向于给出确定性回答，即使其置信度较低；而"unsure"选项的引入并未改善反而降低了表现，这与其固有的风险高估倾向有关。此外，重复测试揭示了显著的不一致性：同一问题在不同重复中可能得到不同分类，如在铝箔烹饪、蔬菜水中储存、水槽沥干意大利面等场景中，模型的风险判定出现波动。这种不稳定性对消费者寻求可靠食品安全建议构成严重挑战。
替代聊天机器人的可靠性
多数聊天机器人在重复测试中表现出一定一致性，但ChatGPT-3.5曾出现从"Potential Risky"到"Risky"的分类变化。研究2中，ChatGPT-4.o mini在20%的食品实践中出现不一致评估，风险判定在不同重复间发生双向变化。研究3中类似问题持续存在，模型对潜在风险、无风险或不确定的答案在不同重复间出现摇摆。以发酵鲱鱼（surstr?mming）膨胀罐头为例，三次重复分别给出"潜在风险/否/是"、"否/是/是"、"否/否/是"的混乱判定，凸显了聊天机器人在需要情境判断的场景中的显著不稳定性。这种模式与既往研究中观察到的聊天机器人回应可变性特征一致，表明其在食品安全指导领域距离成为一致可靠的信息源仍有相当差距。
聊天机器人提供有效参考文献的能力
研究4通过Prompt 4评估了ChatGPT-4.o mini提供参考文献的能力。在生成的98个链接中，仅35%为有效参考文献，其余存在参考文献缺失、链接失效或指向错误论文等问题。无效参考文献包括完全虚构的期刊文章（如伪造的《Food Control》和《Foodborne Pathogens and Disease》论文）、不存在的期刊、以及链接指向无关内容等情况。研究发现，有效参考文献更易出现在涉及公认食品安全话题的回应中，而针对小众、高度具体或异常场景的参考文献更容易出现伪造。这种现象的深层危害在于：虚构但格式规范的引用可能增强用户对错误信息的信任，因其提供了科学可信度的表象。与既往研究中ChatGPT参考文献真实率仅14%、伪造率高达98.1%的发现相互印证，本研究揭示了当前大语言模型在溯源能力上的根本局限——其基于统计模式而非真实数据库生成文本，缺乏区分可信与不可信来源的内部机制。
讨论部分主要为上述发现提供了深入的理论阐释和实践启示。研究人员指出，聊天机器人的保守偏差虽可能作为保护机制，但也会导致不必要的食品浪费，这对全球可持续发展和粮食安全构成负面影响。模型版本更新的非线性性能演变提示，通用能力的提升并不自动转化为专业领域的可靠性增强。提示工程的效果具有领域特异性，简单套用通用框架难以确保食品安全咨询的准确性。研究人员特别强调，聊天机器人"自信"的表述风格与其知识局限之间存在危险落差，消费者易被其权威性外表误导。针对这些局限，研究人员综合现有文献提出了面向消费者的五阶段决策工具：（1）选择聊天机器人并设定专家角色框架；（2）明确情境细节并约束输出格式；（3）重复提问进行一致性核查；（4）交叉验证信息来源；（5）综合判断做出决策。然而，该工具的实际效用受限于消费者的数字素养水平和行为惯性，其实施需要风险沟通、食品科学与公共卫生领域的跨学科协作。
研究结论部分翻译：本研究提出了一种经过调整的消费者决策框架，用于评估聊天机器人生成的食品安全指导的可靠性，旨在改善聊天机器人表现并减少幻觉现象的发生。必须教育消费者认识到，聊天机器人是生成式文本预测器而非经过验证的数据库，其频繁优先选择听起来合理的文本而非事实信息。通过应用该框架，消费者被鼓励批判性评估内容并决定是否遵循，从被动接收聊天机器人生成的信息转变为主动审视信息的审计者。未来研究应探索先进的模型优化技术，包括替代提示框架和训练数据对聊天机器人回应的影响。最后，聊天机器人开发者、食品安全研究人员与食品安全监管机构之间的合作对于提升聊天机器人作为消费者食品安全指导辅助工具的安全性至关重要。
