《Frontiers in Medicine》：Comparative evaluation of ChatGPT, DeepSeek, and Doubao for pediatric IgA vasculitis patient education: content quality, reliability, readability, understandability, and actionability
编辑推荐：
背景：大型语言模型聊天机器人平台越来越多地被用于健康信息查询，但其在儿童免疫球蛋白A血管炎患者教育中的表现尚不明确。目的：比较ChatGPT、DeepSeek和豆包在内容完整性、质量和可靠性、可读性、可理解性及可操作性方面的差异。方法：研究人员于2026年8月
背景：大型语言模型聊天机器人平台越来越多地被用于健康信息查询，但其在儿童免疫球蛋白A血管炎患者教育中的表现尚不明确。目的：比较ChatGPT、DeepSeek和豆包在内容完整性、质量和可靠性、可读性、可理解性及可操作性方面的差异。方法：研究人员于2026年8月9日将32个标准化的英文问题分别提交给ChatGPT、DeepSeek和豆包，每个问题开启一个新会话，并保留第一个完整回答（共96条回答）。两名评审员独立进行原始评估，并由第三名评审员进行裁决。使用了全球质量评分、改良版DISCERN、医学人工智能质量分析问卷、六项可读性指标、患者教育材料评估工具（可打印版），以及组内相关系数。在修订阶段，建立了一份针对具体问题的临床核查清单，并将其应用于所有存档的回答。研究团队完成了修订评分，并确认了最终的遗漏结果。结果：临床上相关的信息遗漏发生在16/96条回答中（16.67%）：ChatGPT为0/32，DeepSeek为5/32，豆包为11/32。保留的原始评级发现2/96条回答（2.08%）包含过时的医疗建议，未发现实时信息错误或幻觉。至少存在一项记录在案的内容缺陷的回答有18/96条（18.75%）。原始组内相关系数值范围为0.767至0.954。各组在GQS、mDISCERN、QAMAI、PEMAT-U和PEMAT-A上的总体差异显著（均P < .01），但在可读性指标上无显著差异。经Bonferroni校正后的对比显示，DeepSeek在ARI、FKGL、CLI和SMOG上的得分低于ChatGPT。DeepSeek的PEMAT-U得分最高；ChatGPT的PEMAT-A得分最高。结论：各平台的表现因评估领域而异，临床上相关的遗漏仍然是一个安全问题。遗漏结果反映了修订期间确立的标准，并不构成经过验证的平台安全性排名。大型语言模型平台可作为患者教育的补充，但不应取代专业的医学审查。
研究背景与问题
免疫球蛋白A血管炎是儿童中最常见的系统性小血管炎之一，常累及皮肤、关节、胃肠道和肾脏。近年来，多项国际指南和推荐进一步规范了IgAV的诊断、风险分层治疗及随访管理。其中，IgAV肾炎是决定长期预后的主要因素，持续性蛋白尿、肾功能受损及高危组织病理学发现需要进行结构性肾脏监测和长期随访；严重的胃肠道表现也是重要的临床风险。因此，识别警示信号、监测肾脏受累、确保治疗安全及制定随访计划成为患者教育的核心组成部分。
随着生成式人工智能和大语言模型的快速发展，公众可通过对话界面获取交互式健康信息。然而，近期综述和系统性回顾持续指出LLM在准确性、透明度、一致性和临床安全性方面存在问题。在真实世界的患者提问场景中，AI生成的回答可能在内容和沟通风格上与医生回答存在显著差异。跨专科研究进一步揭示了不同平台在儿科麻醉、腹膜透析和高血压等领域表现不均，而在口腔扁平苔藓和前列腺癌研究中则报告了可读性、完整性或来源透明度方面的局限性。
LLM医学回答的临床价值不能仅凭表面流畅性或事实合理性来判断。由于LLM以概率方式生成文本，可能产生无依据的陈述或事实错误，也可能遗漏直接影响患者决策的警示信号、监测要求和就医指征。因此，对面向患者的LLM进行评估需要同时考虑准确性、完整性、可靠性和与安全相关的缺陷。此外，患者教育信息还应具备可读性、可理解性和可操作性。多项研究强调，可读性、可理解性和可操作性虽相互关联但不可互换。
目前，专门针对IgAV患者教育的LLM多维度跨平台评估仍十分有限。本研究旨在比较ChatGPT、DeepSeek和豆包在内容准确性与完整性、质量与可靠性、可读性、可理解性及可操作性方面的标准化IgAV回答，并量化评估者间信度，以评价其作为儿科IgAV患者教育辅助来源的潜在价值和局限性。
研究方法与技术
研究人员采用横断面、跨平台比较设计，评估ChatGPT、DeepSeek和豆包在其默认用户环境中生成的儿科IgAV患者教育回答。研究流程包括患者问题开发与筛选、标准化提示与回答收集、人工评估、自动化可读性评估及统计分析。问题集通过指南导向方法结合公共信息需求交叉核对开发而来，最终形成32个标准化问题。所有回答于2026年8月9日收集，每个平台均使用默认的基于网页的对话环境，每个问题单独开启一个新会话，仅记录第一个完整回答。两名具有儿科临床培训背景的研究生独立评估所有LLM回答，分歧由一名资深医师裁决。评估工具包括GQS、mDISCERN、QAMAI、六项可读性指标以及PEMAT-P。在修订阶段，研究人员为32个问题建立了一份书面的、针对具体问题的临床参考核查清单，并据此对所有96条存档回答进行了评估，最终确认了16条存在临床相关遗漏的回答。
研究结果
3.1 问题筛选与回答生成：初始候选池包含62个项目，经筛选整合后保留32个标准化问题。其中30个源自指南/推荐，2个来自知乎。这些问题被提交给三个平台，共获得96条回答。
3.2 内容准确性与完整性：修订数据集中，临床相关信息遗漏出现在16/96条回答中：ChatGPT为0/32，DeepSeek为5/32，豆包为11/32。保留的原始评级发现2/96条回答包含过时医疗建议，未发现实时信息错误或幻觉。至少存在一项内容缺陷的回答共18/96条。
3.3 评估者间信度：各项专家评分指标的组内相关系数值介于0.767至0.954之间，表明评估者间一致性良好。
3.4 质量与可靠性：各平台在GQS、mDISCERN和QAMAI上总体差异显著。ChatGPT的GQS和mDISCERN评分高于豆包；DeepSeek和ChatGPT的QAMAI评分均高于豆包，而DeepSeek与ChatGPT之间无显著差异。
3.5 可读性：所有回答的整体阅读负担较重，六项可读性指标均未显示出显著的总体平台效应。但预设的配对比较显示，DeepSeek在ARI、FKGL、CLI和SMOG四项指标上的得分低于ChatGPT。
3.6 可理解性与可操作性：各平台在PEMAT-U和PEMAT-A上总体差异显著。DeepSeek的可理解性评分最高，而ChatGPT的可操作性评分最高，表明可理解与可操作是两个不同的维度。
讨论与结论
本研究发现，临床相关信息遗漏比幻觉更为常见；各平台在GQS、mDISCERN和QAMAI上的相对表现不一致；所有平台的回答均存在较大的阅读负担；DeepSeek的可理解性评分最高，而ChatGPT的可操作性评分最高。这些结果表明，面向患者的LLM平台表现具有强烈的领域依赖性。研究结果主要反映的是三个平台在2026年8月数据收集时间点向普通用户提供的端到端患者教育体验，不应被解释为其底层基础模型的直接排名。
讨论部分指出，信息遗漏是临床上重要的安全维度。例如，豆包对问题19的回答正确指出不应预防性使用糖皮质激素来预防肾炎，但未给出后续尿液监测的建议，可能导致照护者延迟发现早期无症状性肾炎。研究还强调了相对平台表现取决于评估领域，单一全局质量工具可能无法全面刻画面向患者的LLM表现。可读性仍是患者教育的主要限制因素，改善医疗信息质量的同时需有意识地控制句子长度、术语密度和阅读水平。可理解性与可操作性应分开评估，因为能够理解信息并不等同于能够据此采取行动。
研究结论：在所评估的数据收集时间点和默认用户条件下，ChatGPT、DeepSeek和豆包在儿科IgAV患者教育中表现出领域特异性差异。本研究样本中未发现幻觉，但临床相关信息遗漏仍是一个重要的安全问题。各平台在质量、可靠性、可理解性和可操作性方面存在差异，其回答普遍带来较大的阅读负担。这些发现代表了平台层面的端到端输出性能，不应被解释为基础模型能力的直接排名。LLM聊天机器人平台可以提供补充性的患者教育信息，但在用于个性化健康指导之前，仍需进行专业的医学审查和临床监督。
