《Frontiers in Public Health》：Evaluation of generative AI-driven chatbots as sources of consumer health information on hand, foot, and mouth disease: a cross-sectional comparative study of safety, accuracy, information quality, readability, and empathy
编辑推荐：
背景：生成式人工智能聊天机器人日益被用作消费者健康信息的来源。尽管其已在多种疾病中得到验证，但针对手足口病（HFMD）的特异性证据仍然有限。目的：比较五种公开访问的聊天机器人生成的HFMD相关响应在安全性、准确性、共情能力、信息质量和可读性方面的差异。方法：在
背景：生成式人工智能聊天机器人日益被用作消费者健康信息的来源。尽管其已在多种疾病中得到验证，但针对手足口病（HFMD）的特异性证据仍然有限。目的：比较五种公开访问的聊天机器人生成的HFMD相关响应在安全性、准确性、共情能力、信息质量和可读性方面的差异。方法：在这项探索性横断面研究中，研究人员基于权威公共卫生资料、Google Trends主题映射及照护者用语优化，构建了20个英语提示词。在2026年4月2日至5日期间对ChatGPT-4o、Gemini 2.5 Pro、Copilot、Doubao及DeepSeek-V3.2-Exp进行了评估。五名训练有素的评估员依据预定义参考标准，使用安全性与准确性标准、共情量表、DISCERN、EQIP、Global Quality Score及JAMA基准对各响应独立评估。计算了六项基于公式的可读性指标。采用Friedman及Cochran Q检验进行配对比较，并设预设事后程序与Benjamini-Hochberg校正。结果：不安全响应率介于5.0%至15.0%之间，各聊天机器人间未检测到统计学显著差异（p = 0.797）。在20个提示词集中，准确性、共情能力、DISCERN、EQIP、JAMA或Global Quality Score均未检测到统计学显著的模型间差异；由于该研究为探索性且缺乏建立等效性的统计效能，这些发现并不证明模型性能相当或可互换。所有六项可读性指标在各模型间存在显著差异（p = 0.030至 <0.001）。ChatGPT与Doubao的预估阅读级别复杂性通常低于Gemini与DeepSeek。研究识别出十条潜在不安全或具误导性的响应，主要涉及EV71疫苗保护的过度概括、手卫生资质及消毒建议。结论：在一组有限的标准化英语提示词中，五个聊天机器人通常能生成连贯的HFMD信息，但偶尔出现与安全性相关的不准确及可读性障碍。这些系统可支持一般信息检索，但其响应需谨慎解读，且不应取代个体化专业建议。
研究背景表明，手足口病（HFMD）是主要影响5岁以下儿童的肠道病毒传染病，多数自限，但EV71相关病例可进展为神经或心肺并发症，在亚太地区构成重大负担。照护者常需获取关于补液、退烧、隔离及重返校园等及时指导，但在线信息可靠性参差不齐。生成式人工智能（AI）聊天机器人能即时提供医疗建议，却常存在过度概括或表达不恰当自信的问题。已有评估显示其在医疗建议准确性、安全性上差异显著，但缺乏针对HFMD消费者健康信息的多维度证据。为此，研究人员开展了一项探索性研究，发表于《Frontiers in Public Health》，旨在比较五种公开的生成式AI聊天机器人，明确其当前响应模式和临床相关局限。
研究人员使用了以下关键技术方法：基于权威资料与Google Trends构建20个标准化英文提示词；对ChatGPT-4o等五个聊天机器人进行独立发问，共获100条响应。五名专家依据预定义HFMD指南参考标准，利用安全性分级、共情量表、DISCERN、EQIP、Global Quality Score、JAMA基准等进行多维评估；并应用Flesch-Kincaid Grade Level等六项公式计算可读性。采用Friedman检验等统计学方法对比模型差异。
研究结果部分总结如下。安全性方面，通过二项安全编码评估得出，不安全响应率为5.0%至15.0%，各模型间无统计学显著差异（p = 0.797）。准确性与共情方面，通过5分制量表评估发现中位准确性与共情得分无显著模型间差异。可靠性方面，通过DISCERN等四项工具评估，未检测到各模型间存在统计学显著差异。可读性方面，通过六大公式指数评估，发现各模型间存在显著差异（p = 0.030至 <0.001），ChatGPT与Doubao的阅读级别复杂性通常低于Gemini与DeepSeek。定性安全发现中，识别出十条不安全响应，主要涉及EV71疫苗接种范围与效力的过度概括，以及手部卫生和消毒建议不足。
最后讨论与结论部分，该研究对五个聊天机器人提供了针对HFMD信息的探索性多维度评估。结果显示各模型产生不安全响应的风险多源于资质遗漏而非明显危险建议，特别是对EV71疫苗效力及非包膜病毒卫生指导的过度概括。可读性在不同模型间表现出最一致差异，但低阅读难度不等于理解准确。结论表明，五种聊天机器人虽能产生连贯响应，但在疫苗解释和感染控制指导中偶尔出现相关安全错误，且可读性差异显著。这些输出既未建立模型间等效性，也不证明其具备临床安全性。因此，聊天机器人响应仅应作为补充信息，并需与现行专业及地方公共卫生指导进行核对。
