《Frontiers in Public Health》：Public-facing health information on achalasia generated by large language models: a multidimensional comparative study
编辑推荐：
背景： 大语言模型（Large Language Models, LLMs）正被公众越来越多地用于获取健康信息，但其提供关于贲门失弛缓症可靠信息的能力尚不明确。因此，研究人员比较了六种LLM在回答关于贲门失弛缓症（一种罕见的食管动力障碍性疾病）的公众问题时的表
背景： 大语言模型（Large Language Models, LLMs）正被公众越来越多地用于获取健康信息，但其提供关于贲门失弛缓症可靠信息的能力尚不明确。因此，研究人员比较了六种LLM在回答关于贲门失弛缓症（一种罕见的食管动力障碍性疾病）的公众问题时的表现，重点关注安全性、准确性、共情能力、信息质量与可靠性以及可读性。
方法： 在这项横断面比较研究中，研究人员于2026年5月7日至5月12日期间，将40个以患者为导向的贲门失弛缓症问题分别提交给六种LLM（ChatGPT 5.5, Claude Opus 4.7, DeepSeek V4 Pro, Gemini 3.1 Pro Thinking, Grok-4.3 和 Qwen3-Max）。三位消化科医生独立评估了240份回复的安全性、准确性、共情能力、信息质量，评估工具包括DISCERN、EQIP、《美国医学会杂志》（Journal of the American Medical Association, JAMA）基准标准（评估作者署名、归属、披露和时效性）以及全球质量评分（Global Quality Score, GQS）。可读性则使用六种成熟的可读性指数进行评估。
结果： 总体而言，240份回复中有27份（11.3%）被归类为潜在不安全，各模型的比例范围从7.5%到15.0%不等；模型间的整体安全性差异无统计学显著性。不同模型的准确性存在显著差异，尽管效应量较小。在共情能力、信息可靠性与质量以及可读性方面观察到了更大的差异。ChatGPT 5.5和Gemini 3.1 Pro Thinking获得了更高的共情分数，而Claude Opus 4.7显示出更大的阅读难度。JAMA基准得分普遍较低，表明信息来源透明度有限。
结论： 当前的LLM在为公众关于贲门失弛缓症的提问提供的答案总体上准确且通常有用。然而，在安全性、共情能力、透明度、信息质量和可读性方面发现了一些差异。面向公众的LLM对贲门失弛缓症公众问题的回复应与临床指南一致、清晰引用来源、富有同理心地沟通并使用通俗易懂的语言。
论文解读文章
一、研究背景与目的
贲门失弛缓症是一种罕见的食管动力障碍性疾病，全球发病率约为每10万人年0.78例，其特征是下食管括约肌松弛受损和食管蠕动消失。典型症状包括进行性吞咽固体和液体困难、未消化食物反流、胸骨后疼痛和体重减轻。然而，由于其临床表现与胃食管反流病、功能性食管疾病甚至食管癌重叠，贲门失弛缓症常被误诊，导致诊断延迟。许多患者对该疾病不熟悉，对其症状、诊断测试、治疗方案和长期预后了解有限。
在此背景下，大语言模型（LLMs）因其易于访问、能即时响应、能用简单语言解释医学术语以及可能帮助患者为临床就诊做准备等优势，成为公众寻求健康信息的常用工具。已有研究表明，LLMs在医学知识基准测试中表现良好，并能生成在质量和共情方面获得高评价的患者问题回复。然而，强大的基准性能和流畅的沟通并不能确保LLM生成的指导对患者是安全的。当LLMs作为健康信息来源时，潜在的危害不仅来自事实错误，还可能来自遗漏、过于自信的措辞、不充分的安全网建议以及未经支持的治疗推荐。信息来源透明度有限和对诊断不确定性沟通不足进一步增加了这些风险。这对于贲门失弛缓症尤为重要，因为诊断延迟、不恰当的安慰或对治疗方案的过度简化比较可能会影响患者的预后。因此，对面向公众的LLM生成的健康信息的评估应涵盖多个维度，包括安全性、准确性、共情能力、信息可靠性与质量以及可读性。尽管人们对LLM在医学问答方面的兴趣日益增加，但在贲门失弛缓症领域的证据仍然有限。为此，研究人员比较了六种当代LLM在回答关于贲门失弛缓症的公众问题时的表现，并从上述多维度进行了评估。
二、研究方法与关键技术
这是一项横断面比较研究。首先，由两位具有上消化道疾病及诊断和治疗性内镜经验的消化科医生从患者教育资源、常见问题、在线搜索和临床关注点等公开来源收集了100个候选问题。他们依据预定义的纳入和排除标准独立筛选，最终确定了40个以患者为导向的问题，覆盖疾病理解、症状、诊断、鉴别诊断、治疗选择、治疗后护理、复发、癌症风险、饮食和长期随访等多个领域。针对这40个问题，两位医生基于当前贲门失弛缓症指南、共识声明、系统综述和主要比较临床研究制定了参考答案和证据映射表。随后，研究人员评估了六种LLM：ChatGPT 5.5（OpenAI）、Claude Opus 4.7（Anthropic）、DeepSeek V4 Pro（DeepSeek）、Gemini 3.1 Pro Thinking（Google）、Grok-4.3（xAI）和Qwen3-Max（Alibaba）。所有模型查询均于2026年5月7日至12日期间，通过其公开的网络聊天界面进行。每个模型的40个问题以随机顺序在新会话中作为独立提示提交一次，共产生240份回复。三位消化科医生在不知晓模型身份的情况下独立对所有回复进行评估，评估维度包括安全性（采用五点风险量表，得分3-5被视为潜在不安全）、准确性（1-5分）、共情能力（1-5分）、信息可靠性与质量（使用DISCERN、EQIP、JAMA基准标准和全球质量评分（GQS））以及可读性（使用自动可读性指数（ARI）、科尔曼-刘指数（CL）、弗莱士-金凯德年级水平（FKGL）、冈宁迷雾指数（GFI）、SMOG指数和弗莱士易读度评分（FRES）六种指数）。统计分析使用了描述性统计、弗莱斯kappa系数、组内相关系数（ICC）、弗里德曼检验和配对威尔科克森符号秩检验等方法。
三、研究结果
1. 评估者间一致性
基于三位独立评估者对240份回复的评分，安全性的编码显示几乎完美的一致性（弗莱斯kappa = 0.861；95% CI, 0.767–0.936；p < 0.001）。其他由评估者评分的结局指标的组内相关系数（ICC(2,1)）值范围为0.803至0.888，表明可靠性良好。
2. 安全性、准确性和共情能力
在240份输出中，潜在不安全回复占27份（11.3%），范围从ChatGPT 5.5的3/40（7.5%）到DeepSeek V4 Pro的6/40（15.0%）；其余模型的范围为10.0%至12.5%。模型间的整体差异无统计学显著性（Cochran's Q = 1.813, df = 5, p = 0.874）。主要安全问题并非仅限于明显错误的陈述，而常常涉及就医时机指导不充分、建议模糊、治疗主张过于笼统或术后症状警告不足。在问题层面，27份潜在不安全回复集中在治疗选择、适宜性或方式咨询（13/27；问题23、24、25、26、28和36），术后风险或饮食推进（5/27；问题29和31），癌症鉴别诊断或长期癌症风险（4/27；问题21和39），一般饮食建议（3/27；问题40），以及症状警示信号如胸痛或夜间咳嗽/窒息（2/27，问题9和11）。
不同模型的准确性存在显著差异（p = 0.015），但效应量很小（肯德尔W = 0.070；95% CI, 0.040–0.164）。ChatGPT 5.5、Claude Opus 4.7、DeepSeek V4 Pro、Gemini 3.1 Pro Thinking和Grok-4.3的中位准确性均为4.00，而Qwen3-Max为3.00。
共情能力显示出较大差异（p < 0.001；肯德尔W = 0.594；95% CI, 0.526–0.689）。ChatGPT 5.5和Gemini 3.1 Pro Thinking的中位共情得分为4.00，而Claude Opus 4.7、DeepSeek V4 Pro、Grok-4.3和Qwen3-Max的中位得分为3.00。
3. 信息可靠性与质量
六种模型在DISCERN、EQIP、JAMA和GQS上的得分均存在显著差异（所有p值均< 0.001）。DISCERN得分范围从Qwen3-Max的中位数65.00到Grok-4.3的70.83（肯德尔W = 0.165）。EQIP显示出更大的模型间分离度，中位得分范围从Claude Opus 4.7的69.17到Gemini 3.1 Pro Thinking的76.67（W = 0.411）。JAMA基准得分普遍较低，且在不同模型间存在差异（W = 0.524），Gemini 3.1 Pro Thinking的中位JAMA得分最高，为2.00，而其他模型的中位得分在1.00至1.50之间。GQS也存在显著差异（p < 0.001），但效应量较小（W = 0.121）。
4. 可读性
在所有可读性指数（ARI、CL、FKGL、GFI、SMOG和FRES）上，不同模型间均存在显著差异（所有p值均< 0.001），效应量为中等至较大（肯德尔W值范围从SMOG的0.514到FRES的0.632）。Claude Opus 4.7始终显示出最高的阅读难度，其ARI为32.29 ± 13.37，FKGL为28.65 ± 10.49，GFI为32.21 ± 10.80，SMOG为24.43 ± 5.57。Gemini 3.1 Pro Thinking的FRES最高，为31.52 ± 7.59，表明其最易读，而Claude Opus 4.7的FRES最低，为?17.30 ± 30.18。
四、讨论与结论
讨论部分总结： 在这项对六种LLM及其240份关于贲门失弛缓症的面向公众回复的比较研究中，大多数回复总体上是准确的，但在安全性、共情能力、信息可靠性与质量以及可读性方面仍存在临床相关的差异。所有模型都存在潜在安全问题，一些回复缺乏适当的临床背景、安全建议或清晰的解释。研究结果强调，仅靠事实准确性不足以衡量LLM生成信息对患者的适用性。安全评估尤其重要，因为一份基本正确的回复若遗漏了危险信号建议、未能推荐及时评估或以过于宽泛的方式提出治疗建议，仍可能被归类为潜在不安全。共情能力在模型间的差异比准确性更大，这表明对于经历漫长症状和不确定性的患者，支持性沟通至关重要。然而，共情措辞必须辅以准确的临床指导。信息可靠性与质量方面的差异也值得关注，特别是JAMA基准得分普遍较低，表明来源透明度有限，这在一定程度上反映了对话式系统的设计特点。可读性方面，所有模型的平均阅读水平大致相当于大学水平或更高，这对患者理解构成了挑战，尤其是当回复中包含高分辨率测压、经口内镜下肌切开术（POEM）等专业术语时。
研究结论翻译： 综上所述，当前的LLM在为公众关于贲门失弛缓症的提问提供的答案总体上准确且通常有用。然而，在安全性、共情能力、透明度、信息质量和可读性方面发现了一些差异。这些结果表明，对LLM生成的患者信息的评估应超越事实准确性。在诸如贲门失弛缓症这类专门的胃肠动力障碍性疾病中，LLM在成为可靠的公共卫生信息查询工具之前，应提供与指南一致的信息、清晰的来源、富有同理心的沟通和通俗易懂的语言。
