《Frontiers in Public Health》：Comprehensive evaluation of large language models for pediatric pectus excavatum education
编辑推荐：
背景： 大语言模型（Large Language Models, LLMs）正被患者和照护者越来越多地用于获取健康信息。然而，这些模型在提供关于儿童漏斗胸（pectus excavatum, PE）的简体中文教育方面的表现仍不明确。本研究对五个主流LLMs生成
背景： 大语言模型（Large Language Models, LLMs）正被患者和照护者越来越多地用于获取健康信息。然而，这些模型在提供关于儿童漏斗胸（pectus excavatum, PE）的简体中文教育方面的表现仍不明确。本研究对五个主流LLMs生成的回答进行了全面评估。
方法： 研究人员收集了涵盖五个临床领域的30个与PE相关的常见问题（frequently asked questions, FAQs），并以简体中文提交给ChatGPT、Claude、DeepSeek、Qwen和Kimi。来自三家机构的儿童胸外科医生使用6点Likert量表对回答的准确性、完整性和相关性进行评估。可读性使用AlphaReadabilityChinese (ARC) 2.0和中文可读性指数探索器（Chinese Readability Index Explorer, CRIE）3.0进行评估。可理解性、可行动性和整体质量则使用中文版患者教育材料评估工具-可打印材料（Chinese Patient Education Materials Assessment Tool for Printable Materials, C-PEMAT-P）和全球质量评分（Global Quality Score, GQS）进行评估。采用Friedman检验比较各模型，随后进行Holm校正的Wilcoxon符号秩检验。
结果： 所有模型在6分量表上的平均准确性、完整性和相关性得分均高于4.9，但在不同维度上领先的模型不同。Claude的平均准确性（5.39±0.28）、完整性（5.22±0.22）和GQS（4.80±0.41）最高，而DeepSeek的相关性最高（5.42±0.27）。Qwen的可读性最低：其中位CRIE等级为7.0，而其他模型为5.5至6.0。Qwen仅有23.3%的回答处于1-6年级水平，而其他模型这一比例为66.7%-86.7%。总体C-PEMAT-P得分也存在差异（p=0.003），其中Kimi的数值均值总分最高（12.17±0.75）。Qwen结合了最高的可行动性（2.57±0.50）与最低的可理解性（9.47±0.57）和GQS（3.10±0.71）。
结论： 主流的LLMs通常能为常见的儿童PE问题提供准确、完整且相关的简体中文回答，但没有一个模型在所有维度上都表现最佳。因此，LLM的输出应被视为一种受监督的教育辅助工具，需要经过专家验证并根据目标受众的健康素养进行调整，而不能替代专科医生的咨询。
研究背景与目的
漏斗胸（pectus excavatum, PE）是儿童最常见的前胸壁畸形，表现为胸骨及其相连肋软骨向后凹陷。多数患儿症状轻微，但严重时可导致心肺受压，影响运动耐量及心理状态。随着病情可能在青春期生长加速期进展，其管理可能持续数年，治疗方案需个体化考量。近年来，大语言模型（Large Language Models, LLMs）因其便捷性，日益成为患者和照护者获取健康信息的常用渠道。然而，既往研究表明，LLMs提供的医疗信息可能存在事实错误、遗漏、可读性不均等问题。此前针对PE的两项研究均在英语语境下进行，且未将临床准确性评估与正式的可读性、患者材料可理解性及整体教育质量指标相结合。鉴于中国庞大的儿科人群中PE患病率约为0.5-1%，且中国家庭越来越依赖在线资源，尤其是会话式人工智能，了解主流LLMs在提供简体中文PE教育方面的表现至关重要。为此，研究人员系统性评估了五个LLMs（ChatGPT、Claude、DeepSeek、Qwen和Kimi）在回答常见PE相关问题时的准确性、完整性、相关性、可读性、可理解性及整体质量。
研究方法
这是一项观察性、横断面、比较性评估研究。研究人员于2026年8月4日从国际国内指南、医院患者教育页面及患者社群中系统收集了30个涵盖基础知识、症状与诊断、观察与保守治疗、手术治疗、预后与注意事项五大领域的常见问题（frequently asked questions, FAQs）。所有问题以简体中文、标准化提示词提交，并在独立的新对话中进行，禁用网络搜索、检索增强生成等功能。九位来自三家机构（上海市儿童医院六位、常州市儿童医院两位、上海市第六人民医院一位）的儿童胸外科医生组成评估小组，他们对模型身份不知情，并对匿名化随机排序的回答进行评估。主要技术方法包括：
- 1.
专家临床内容评估：六位专家独立使用6点Likert量表对每条回答的准确性、完整性和相关性进行评分。
- 2.
可读性分析：使用中文可读性指数探索器（Chinese Readability Index Explorer, CRIE）3.0评估年级水平（1-12级），并使用AlphaReadabilityChinese (ARC) 2.0评估十个词汇、句法、语义和连贯性指标。
- 3.
可理解性与可行动性评估：两位专家使用改编版中文患者教育材料评估工具-可打印材料（Chinese Patient Education Materials Assessment Tool for Printable Materials, C-PEMAT-P）和全球质量评分（Global Quality Score, GQS）进行评估，分歧由第三位专家裁定。
研究结果
准确性、完整性和相关性分析
所有五个LLMs均获得较高的专家评分，均值超过4.9分（6分量表）。准确性方面，Claude均值最高（5.39±0.28），显著高于ChatGPT、DeepSeek、Kimi和Qwen。完整性方面，Claude均值最高（5.22±0.22），仅显著高于ChatGPT。相关性方面，DeepSeek均值最高（5.42±0.27），而Qwen均值最低（4.94±0.37），显著低于其他四个模型。在领域层面，准确性和完整性在各模型间无显著差异，相关性仅在“基础知识”和“观察与保守治疗”两个领域存在显著差异。
可读性分析
CRIE评估显示，各模型间年级水平存在显著差异。Qwen的中位年级水平最高（7.0级），其76.7%的回答处于7-9年级水平，而其他模型（ChatGPT、Claude、DeepSeek、Kimi）的中位年级水平为5.5-6.0级，大部分回答（66.7%-86.7%）处于1-6年级水平。Qwen的可读性显著低于其他所有模型。ARC评估中，十个指标中有八个存在显著差异。Qwen表现出最高的词汇丰富度和最低的连贯性，而ChatGPT的句法丰富度显著低于其他模型。
可理解性、可行动性和整体质量分析
GQS方面，Claude得分最高（4.80±0.41），显著高于其他所有模型；Qwen得分最低（3.10±0.71），也显著低于其他所有模型。在所有五个临床领域中，Claude的GQS均值均为最高，Qwen均为最低。C-PEMAT-P总分方面，Kimi均值最高（12.17±0.75），但事后检验仅发现其显著高于ChatGPT。可理解性子量表中，Qwen得分最低（9.47±0.57），显著低于其他所有模型。可行动性子量表中，Qwen得分最高（2.57±0.50），显著高于其他所有模型；ChatGPT得分最低（1.47±1.11）。
讨论与结论
讨论总结： 研究发现，所有模型总体上能产生医学上合理的回答，但在各项指标上各有优劣，没有一个模型在所有维度上全面领先。准确性、完整性与相关性之间存在权衡，例如Qwen覆盖较全但聚焦不足。可读性分析显示，Qwen文本最难懂，而ChatGPT文本最简洁连贯。可理解性得分普遍接近上限，主要差异体现在可行动性上，但需注意许多信息型问题本身并不要求行动建议。值得注意的是，尽管问题和回答均为简体中文，但国际开发的模型（Claude、ChatGPT）在GQS上排名靠前，表明模型性能不单纯取决于开发地。研究局限性包括：仅包含30个标准化问题、单轮交互、单次采样、使用未经独立验证的改编版C-PEMAT-P、评估者主要为外科医生而非患者或照护者等。未来研究应扩展至更多话题和语言、收集多次输出和真实对话、纳入多学科评估者，并直接评估患者和照护者的理解与行为变化。
研究结论翻译： 主流的LLMs通常能为常见的儿童PE问题生成准确、完整且相关的简体中文回答，但没有一个模型在临床内容、可读性、可理解性、可行动性和整体质量等所有方面都表现最佳。Claude在准确性、完整性和GQS得分上最高，并在所有临床领域的GQS中排名第一，而DeepSeek显示出最高的相关性。Kimi获得了最高的总C-PEMAT-P得分，尽管事后检验仅将其与ChatGPT区分开来。Qwen显示出最高的可行动性，但产生了最不易读的文本，并且可理解性和整体质量最低。这些发现表明，仅凭事实准确性不足以表征LLM生成的患者教育材料的质量，需要进行多维度评估。重要的是，本研究使用了专家评级和基于文本的评估工具，而非直接对儿科患者或照护者进行测试。因此，较高的可读性或可理解性分数不应被解释为实际理解、信任、决策改善或健康行为改变的证据。未来的研究应直接评估患者和照护者的理解及其他教育成果，包括在重复和多轮交互以及更广泛的临床和语言环境中进行。
