《DIGITAL HEALTH》：Evaluation of artificial intelligence–generated patient education content for adolescent idiopathic scoliosis: A comparative study of reliability, educational value and readability
编辑推荐：
目的：比较四款面向消费者的AI聊天机器人在青少年特发性脊柱侧弯（adolescent idiopathic scoliosis，AIS）患者教育问题中所生成回复的可靠性、教育价值、可读性及探索性临床准确性与安全性。
方法：研究人员于2026年5月27日至6月1
目的：比较四款面向消费者的AI聊天机器人在青少年特发性脊柱侧弯（adolescent idiopathic scoliosis，AIS）患者教育问题中所生成回复的可靠性、教育价值、可读性及探索性临床准确性与安全性。
方法：研究人员于2026年5月27日至6月10日期间，将10个AIS相关问题分别提交至ChatGPT（GPT-5，免费版）、Gemini（Gemini 2.5 Flash，免费版）、Claude（Claude Sonnet，免费版）及DeepSeek（DeepSeek-V3，免费版），每个问题均在新对话中单独提交。三名设盲的骨科脊柱外科医生采用改良DISCERN（modified DISCERN，mDISCERN）、患者教育材料评估工具-可理解性（Patient Education Materials Assessment Tool-Understandability，PEMAT-U）、患者教育材料评估工具-可行动性（Patient Education Materials Assessment Tool-Actionability，PEMAT-A）及全球质量量表（Global Quality Scale，GQS）对首次完整回复进行评分；可读性采用五种标准指标评估。由于四个模型均回答相同的10个问题，模型间比较按问题匹配数据进行分析。探索性评估涵盖事实性错误、临床重要遗漏、潜在有害建议及与脊柱侧凸研究学会/脊柱侧凸矫形与康复治疗学会（Scoliosis Research Society/Society on Scoliosis Orthopaedic and Rehabilitation Treatment，SRS/SOSORT）指南的一致性。
结果：共分析40条回复。问题匹配比较显示，四个模型在mDISCERN、PEMAT-U、PEMAT-A及GQS方面均存在显著差异（Friedman检验均p<0.001），其中ChatGPT的平均得分最高（分别为4.03±0.51、84.07±1.90、83.07±2.07及4.33±0.35）。回复总体需达到10至11年级阅读水平。事实性错误见于5/40条回复（12.5%），临床重要遗漏见于2/40条（5.0%），潜在有害建议见于2/40条（5.0%）；匹配探索性比较未达到统计学显著性。按多数分类，所有回复均至少与SRS/SOSORT部分一致。
结论：AI聊天机器人在专家评定的AIS教育质量方面存在显著差异，而探索性准确性与安全性差异未达统计学显著性。可读性仍高于推荐的患者教育水平。AI生成信息应作为临床医生指导咨询的补充而非替代。
论文解读
一、研究背景与问题提出
随着数字健康技术的快速发展，患者和照护者在就诊前后越来越多地通过互联网获取医疗信息。大语言模型（large language model，LLM）如ChatGPT、Gemini、Claude和DeepSeek已成为广泛可及的工具，能够以对话形式对复杂医学问题生成详细回复。这些系统有潜力改善健康信息的可及性，为患者教育提供即时、个性化的支持。然而，与传统经过专家评审和编辑监督的教育资源不同，AI生成内容可能包含不完整、过时、误导或不准确的信息，且往往以自信且令人信服的方式呈现。“幻觉”现象——AI生成看似合理但错误的陈述——在医疗应用中构成重大挑战。
青少年特发性脊柱侧弯（adolescent idiopathic scoliosis，AIS）是青少年期最常见的脊柱畸形，影响全球约1%–5%的儿童。该疾病表现为无明显病因的三维脊柱畸形，常需长期随访和个体化治疗策略，临床管理范围从观察、支具治疗到手术干预不等。新确诊患者及其家庭常就病因、进展、治疗选择、运动、支具、手术及长期预后等问题寻求信息。由于治疗决策常依赖长期监测、支具依从性和共享决策，获得准确的教育信息对AIS患者及其家庭尤为重要。
尽管已有研究评估AI聊天机器人在不同医学专科的表现，但针对脊柱畸形AI生成患者教育材料的系统评估仍较缺乏，多个当代大语言模型在AIS中的直接比较尚未得到充分研究。因此，本研究旨在评估并比较四款广泛使用的大语言模型在回答AIS常见问题时的可靠性、可理解性、可行动性、质量和可读性。
二、研究设计与关键方法
本研究为横断面比较研究，于2026年5月27日至6月10日期间开展。研究人员从Google“People Also Ask”、脊柱侧凸研究学会（Scoliosis Research Society，SRS）患者教育资源及脊柱侧凸矫形与康复治疗学会（Society on Scoliosis Orthopaedic and Rehabilitation Treatment，SOSORT）指南主题中筛选出10个AIS常见问题。相同提示词分别提交至ChatGPT（GPT-5，免费版）、Gemini（Gemini 2.5 Flash，免费版）、Claude（Claude Sonnet，免费版）和DeepSeek（DeepSeek-V3，免费版）四个公开可及的消费者聊天机器人界面，每个问题在新对话中单独提交，仅分析首次完整回复。三名设盲的骨科脊柱外科医生采用改良DISCERN（modified DISCERN，mDISCERN）、患者教育材料评估工具（Patient Education Materials Assessment Tool，PEMAT）及全球质量量表（Global Quality Scale，GQS）进行评分，可读性采用五种标准指标评估。此外，研究人员进行了探索性的临床准确性与安全性评估，涵盖事实性错误、临床重要遗漏、潜在有害建议及SRS/SOSORT指南一致性四个维度。
三、研究结果
专家评定教育质量领域：问题匹配比较显示，四个模型在mDISCERN、PEMAT-U、PEMAT-A和GQS方面均存在显著差异（Friedman检验均p<0.001）。ChatGPT在所有四个领域均获得最高平均分（mDISCERN 4.03±0.51，PEMAT-U 84.07±1.90，PEMAT-A 83.07±2.07，GQS 4.33±0.35），而DeepSeek在所有领域均获得最低平均分（mDISCERN 2.77±0.35，PEMAT-U 75.40±3.35，PEMAT-A 76.47±2.41，GQS 3.47±0.28）。Bonferroni校正后的配对比较显示，ChatGPT在多个领域显著优于DeepSeek。
回复长度与可读性：DeepSeek生成的回复最长（平均344.50±130.90词），而ChatGPT（215.10±51.66词）和Gemini（201.60±46.74词）相对较短。可读性分析显示，各模型回复总体需达到10至11年级阅读水平，显著超过患者教育材料通常推荐的六年级水平。ChatGPT在科尔曼-廖指数（Coleman-Liau Index，CLI）方面得分最低（11.08±0.62），表明其语言复杂性相对较低。
探索性临床准确性与安全性：按多数分类，事实性错误见于5/40条回复（12.5%），其中ChatGPT和Gemini各0条，Claude 2条，DeepSeek 3条；临床重要遗漏见于2/40条（5.0%）；潜在有害建议见于2/40条（5.0%），均来自DeepSeek。上述模型间差异均未达到统计学显著性。所有回复均至少与SRS/SOSORT部分一致，无回复被分类为不一致。
敏感性分析：排除可能存在跨对话上下文延续的Q04匹配块后，主要教育质量结论未发生实质性改变。
四、讨论与结论
本研究表明，AI聊天机器人在专家评定的AIS教育质量方面存在显著差异，ChatGPT表现最优，而DeepSeek虽生成最长回复却获得最低教育质量评分，提示信息数量不等同于教育价值。可读性仍是各模型的共同局限，所有回复均超过推荐的患者教育阅读水平。探索性准确性与安全性分析未显示模型间显著差异，说明教育质量与临床准确性是相关但不同的概念。研究人员强调，AI生成信息应作为临床医生指导咨询的补充而非替代，尤其在涉及治疗阈值、进展风险、支具和手术决策时，临床监督仍然必要。研究局限性包括仅评估英文回复、仅分析首次回复、样本量有限、无患者或照护者参与评估、临床准确性评估为事后探索性分析等。未来研究应纳入重复生成、更大规模的前瞻性提示词集、直接的患者可用性测试和多学科评估。
