《Frontiers in Public Health》：A cross-sectional evaluation of large language model chatbot interfaces for patient-facing herpes zoster information: safety, information quality, and readability
编辑推荐：
背景：大型语言模型（large language model, LLM）聊天机器人正越来越多地被用于获取健康信息。然而，流畅且临床看似合理的回答仍可能包含与安全相关的遗漏、来源归属与披露不充分，或文本难以阅读的问题。
目的：评估5个LLM聊天机器人界面在回答
背景：大型语言模型（large language model, LLM）聊天机器人正越来越多地被用于获取健康信息。然而，流畅且临床看似合理的回答仍可能包含与安全相关的遗漏、来源归属与披露不充分，或文本难以阅读的问题。
目的：评估5个LLM聊天机器人界面在回答面向公众的带状疱疹（herpes zoster, HZ）问题时，其安全性、准确性、共情、信息质量、回答层面来源归属与披露、总体质量及可读性。
方法：该横断面评估使用46个标准化的英文问题，覆盖7个带状疱疹领域。每项问题于2026年6月2–3日在消费者访问条件下分别提交至ChatGPT-5.5 Instant、DeepSeek-V4-Pro、Doubao-Seed-2.0-Pro、Gemini 3.5 Flash和Qwen3.7-Plus各一次。5名皮肤科医生独立评估了安全性、准确性、共情、DISCERN、患者信息质量保证工具（Ensuring Quality Information for Patients, EQIP）、美国医学会（Journal of the American Medical Association, JAMA）基准标准及总体质量评分（Global Quality Score, GQS）。计算了6项可读性指数。采用预先指定的统计学方法进行配对比较和评分者间一致性评估。
结果：5个界面共生成230条完整回答。在本研究条件下，采用预先指定的≥3/5评分者多数阈值，66条回答（28.7%）被判定为潜在不安全，各界面间差异无统计学意义（Cochran’s Q = 1.661，df = 4，p = 0.798）。采用替代阈值的敏感性分析结果一致。准确性和共情在各界面间存在差异（均p < 0.001；Kendall’s W分别为0.127和0.211），但效应量较小。信息质量和总体质量指标也表现出结局特异性差异。所有6项可读性指数在各界面间均有差异（均p < 0.001）；DeepSeek-V4-Pro通常生成估计更易读的文本，而Gemini 3.5 Flash生成估计更难读的文本。安全性一致性为 substantial（Fleiss’ κ = 0.682），其他人工评分结局的组内相关系数（ICC(2,1)）为0.832–0.889。
结论：在该标准化基准中，LLM聊天机器人界面总体获得较为有利的准确性和信息质量评分，但仍存在临床相关的安全性局限、来源归属与披露不足以及可读性挑战。没有任何一个界面在所有结局中均表现最佳。这些发现代表了所测条件下首次回答的单次快照，并不能确定多次查询下的回答稳定性。因此，LLM生成的带状疱疹信息应谨慎解读，不应替代个体化专业评估或经专业审核的患者信息。
研究背景与目的
带状疱疹（herpes zoster, HZ）由潜伏的水痘-带状疱疹病毒再激活引起，好发于老年人和免疫功能低下人群，带状疱疹后神经痛等并发症可显著影响生活质量。随着大型语言模型（large language model, LLM）聊天机器人在医疗教育和患者信息提供中的广泛应用，越来越多的公众通过此类工具获取健康信息。然而，流畅且临床看似合理的回答并不能保证准确、完整和安全，可能遗漏重要的紧急处理、用药或疫苗接种注意事项，且来源归属与披露不足、文本可读性不佳。既往研究多集中于单一疾病主题或特定教育材料，对不同消费者端聊天机器人界面进行多维度的系统性比较仍较少。因此，研究人员开展了一项横断面评估，比较5个公开可用的LLM聊天机器人界面在回答带状疱疹相关公众问题时，在安全性、准确性、共情、信息质量、来源归属与披露、总体质量和可读性方面的表现。
研究设计与关键方法
研究人员采用横断面健康信息评估设计，于2026年6月2日至3日在中国广州，通过官方消费者网站手动访问ChatGPT-5.5 Instant、DeepSeek-V4-Pro、Doubao-Seed-2.0-Pro、Gemini 3.5 Flash和Qwen3.7-Plus。使用46个由临床医生筛选、面向非专业人群的标准化英文问题，覆盖带状疱疹的7个知识领域；每个问题在各界面独立新建对话中提交一次，收集首个完整回答，共获得230条回答。5名皮肤科医生在培训、校准和部分盲法条件下，采用预先指定的评分工具独立评估安全性、准确性、共情、DISCERN、EQIP、JAMA基准标准和GQS；同时使用ARI、FRES、FKGL、GFI、CL和SMOG六项公式化指数评估可读性。统计分析采用Cochran’s Q检验、Friedman检验、Wilcoxon符号秩检验、Benjamini-Hochberg校正、Fleiss’ κ和ICC(2,1)等预设方法。
主要结果
评分者间一致性与共识决议
5名皮肤科医生独立评估全部230条回答。安全性的Fleiss’ κ为0.682，提示一致性为substantial；其他人工评分结局的ICC(2,1)介于0.832至0.889之间，提示一致性良好。
安全性、准确性与共情
在本研究条件下，66条回答（28.7%）被预先指定的≥3/5评分者多数阈值判定为潜在不安全，各界面间差异无统计学意义（Cochran’s Q = 1.661，df = 4，p = 0.798）。采用≥2/5和≥4/5阈值的敏感性分析结果一致。安全性问题最常涉及家庭接触防护、眼部/耳部/播散性/神经系统表现的紧急评估、抗病毒药物及带状疱疹后神经痛相关表述、用药剂量与自我管理，以及妊娠、哺乳、移植和免疫功能低下状态下的疫苗接种建议。准确性和共情评分在各界面间均有差异，但效应量较小；所有界面准确性中位数均为4.00，ChatGPT-5.5 Instant的平均分最高。
信息质量与回答层面来源归属
DISCERN、EQIP、JAMA和GQS评分在各界面间存在差异，但效应量较小。其中JAMA评分的效应量最大（Kendall’s W = 0.225），Qwen3.7-Plus高于其他界面；但绝对得分总体很低，最高均值仅为0.91 ± 0.78（满分4），说明回答层面的作者、来源归属、披露和时效信息有限。
可读性
六项可读性指数在各界面间均有显著差异（均p < 0.001），Kendall’s W范围为0.293至0.339。DeepSeek-V4-Pro生成的文本通常估计更易读，Gemini 3.5 Flash通常估计更难读。尽管存在相对差异，所有界面的平均年级水平估计值均超过面向患者材料推荐的六年级目标，所有平均FRES值均低于80。
讨论总结
研究发现，LLM聊天机器人生成的带状疱疹信息在总体质量和信息有用性方面表现较好，但安全性缺陷、来源归属与披露不足以及可读性过高是普遍存在的关键问题。准确性与安全性是相关但有区别的维度：即使多数回答获得较高准确性评分，仍可能因遗漏重要安全警示而存在风险。可读性方面，受测界面均未达到患者教育材料的推荐阅读水平。因此，此类信息可作为临床审核和内容开发的辅助材料，不应未经专业审核直接用于患者沟通。
研究结论
在这项对5个消费者端LLM聊天机器人界面的配对评估中，针对临床医生筛选的公众带状疱疹问题，回答通常获得较为有利的准确性和质量评分，但仍存在临床相关的安全性局限、来源归属与披露不足以及显著的可读性障碍。各界面表现呈结局特异性差异，没有任何一个界面在安全性、准确性、共情、信息质量、来源归属与披露和可读性方面均表现最佳。流畅且信息丰富的输出不应被视为等同于经过验证、临床适宜的患者信息。LLM生成的带状疱疹信息可作为补充来源或经临床医生审核的内容开发材料，但其教育有用性及对患者理解的影响仍需直接评估，且不应替代个体化专业评估或经专业审核的患者信息。
