《Healthcare》：LLMs in Medical Education for Autism Caregivers: A Comparative Evaluation of Accuracy, Readability, Actionability, and Neurodiversity-Affirming Language
编辑推荐：
背景：自闭症谱系障碍（ASD）儿童的家庭照护者日益利用大语言模型（LLMs）获取健康信息。本研究针对沙特阿拉伯情境，对三种广泛使用的大语言模型作为本地化ASD健康信息工具进行系统比较评估。方法：研究人员使用标准化提示向Google Gemini 1.5 Pro
背景：自闭症谱系障碍（ASD）儿童的家庭照护者日益利用大语言模型（LLMs）获取健康信息。本研究针对沙特阿拉伯情境，对三种广泛使用的大语言模型作为本地化ASD健康信息工具进行系统比较评估。方法：研究人员使用标准化提示向Google Gemini 1.5 Pro、OpenAI ChatGPT（GPT-4o）和DeepSeek-V3提出24个临床验证的、面向照护者的问题。三名专家评分员独立从四个维度评估回答：科学准确性、患者教育材料评估工具印刷版（PEMAT-P）可理解性、患者教育材料评估工具印刷版（PEMAT-P）可操作性，以及神经多样性（ND）肯定性语言。可读性通过Flesch–Kincaid等级水平（FKGL）和SMOG指数评估。应用非参数Kruskal–Wallis检验结合事后Mann–Whitney U比较及单样本t检验。结果：Gemini达到最高平均准确性（2.96/3.00），显著优于DeepSeek（p = 0.003，r = ?0.37）。所有大语言模型的准确性错误集中在本土化、沙特特定的流行病学、遗传风险及财务/医疗服务咨询上。ChatGPT的可理解性显著高于Gemini（p < 0.001，r = 0.55），而DeepSeek的可操作性显著高于Gemini（p < 0.001，r = 0.59）。然而，三者均未达到医疗研究与质量局（AHRQ）80%的可操作性基准（均p < 0.001）。所有大语言模型均超出患者教育可读性基准（FKGL ≤ 6，SMOG ≤ 8；均p < 0.001）；ChatGPT可读性最佳（FKGL = 7.86；SMOG = 9.97），Gemini最复杂。在神经多样性（ND）肯定性语言上无显著差异，均默认混合使用医学与肯定性语域。结论：受评估的大语言模型表现出不同的专业化优势：Gemini最准确，ChatGPT最可读，DeepSeek最具可操作性。重要的是，所有模型均未达到既定的消费者教育可读性及可操作性标准。大语言模型需要广泛的简明语言适配与文化定制。临床医生须指导家庭如何应对大语言模型输出，尤其针对国家特定的流行病学、经济及医疗服务查询中的不准确之处。
该研究发表于《Healthcare》。研究背景方面，自闭症谱系障碍（Autism Spectrum Disorder, ASD）是一种复杂的终身神经发育状况，全球患病率约为1%，沙特阿拉伯估计每180名儿童中约有1例，但因诊断障碍可能被低估。ASD病因涉及突触、转录及染色质基因破坏与产前环境风险因素，临床异质性强。家庭是主要支持系统，但照护者常面临显著信息与系统性障碍，压力高于神经典型儿童父母，沙特研究显示父母ASD知识水平较低。大语言模型（Large Language Models, LLMs）如ChatGPT、Gemini、DeepSeek虽改变了公众获取健康信息的途径，沙特92.6%人口在线获取健康信息，76.1%通过社交媒体，ASD父母尤为依赖数字内容补充专科服务不足，但其存在幻觉、缺乏实时更新、训练数据偏差及文化语境缺失等局限。ASD领域曾有疫苗与相关病因错误信息史，LLM生成回答质量是否优于现有在线信息尚未明确，且尚无在中东或阿拉伯语境下联合多维质量工具对LLM作为ASD照护者信息工具的比较评估。因此，研究人员开展此项研究，旨在系统比较三大LLM在沙特ASD照护者健康信息中的准确性、可读性、可操作性与神经多样性（Neurodiversity, ND）肯定性语言表现，填补文化与地理定制化评估空白，为临床与安全使用提供依据。
为开展研究，研究人员采用的关键技术方法如下：研究设计为横断面比较评估，于2025年4月至8月在沙特Alfaisal大学医学院进行。通过结构化多阶段流程由两名资深儿科顾问医师与临床护理人员共识开发出24题问题库，涵盖病因、诊断、管理、学校安置及长期预后。选取Gemini 1.5 Pro、ChatGPT（GPT-4o）、DeepSeek-V3三款LLM，使用统一父级友好提示在新对话中生成单次英文回答并禁用网络搜索。评估框架包括三点序数量表科学准确性、患者教育材料评估工具印刷版（Patient Education Materials Assessment Tool for Printable Materials, PEMAT-P）可理解性与可操作性（排除无适用视觉项）、三点序数量表神经多样性（ND）肯定性语言及Flesch–Kincaid等级水平（FKGL）与SMOG指数可读性。三名盲法评分员独立评分，使用IBM SPSS Statistics 30.0进行统计，含Shapiro–Wilk正态性检验、Kruskal–Wallis H检验、Bonferroni校正Mann–Whitney U事后比较、单样本t检验与Wilcoxon符号秩检验，并以双向随机绝对一致单测量组内相关系数（ICC (2, 1)）量化评分者间信度。
研究结果部分保留原文小标题并说明如下：
3.1. Inter-Rater Reliability：研究人员通过ICC (2, 1)评估三名评分员一致性，Gemini与ChatGPT科学准确性达完美一致（ICC = 1.000），DeepSeek为中等（ICC = 0.631），分歧集中于沙特患病率、治疗成本与长期管理问题；ChatGPT的PEMAT-P两子量表可靠性优秀（ICC约0.947），Gemini可理解性可靠性差（ICC = 0可446）而可操作性好（ICC = 0.839），DeepSeek均为中等；ND肯定性语言可靠性Gemini中等（ICC = 0.635），DeepSeek优秀（ICC = 0.912）。
3.2. Scientific Accuracy (RQ1)：准确性呈非正态分布，Gemini均值最高（M = 2.96，SD = 0.20，Mdn = 3.00），其次ChatGPT（M = 2.79，SD = 0.51）与DeepSeek（M = 2.64，SD = 0.47）。Kruskal–Wallis检验显示总体差异显著H(2) = 9.23，p = 0.010；Gemini显著优于DeepSeek（U = 394.0，p = 0.003，r = ?0.37中等效应），其余两两不显著。所有LLM准确性失败集中在沙特ASD患病率、遗传风险与治疗成本问题。
3.3. PEMAT-P Understandability and Actionability (RQ2)：可理解性非正态，ChatGPT最高（M = 81.94%，SD = 11.05%），显著高于Gemini（U = 129.0，p < 0.001，r = 0.55大效应），三者均未显著低于AHRQ 80%可理解性基准（p > 0.05）。可操作性显著低于基准，Gemini M = 51.11%（SD = 11.06%），ChatGPT M = 56.11%（SD = 17.57%），DeepSeek M = 65.83%（SD = 13.09%），单样本Wilcoxon检验均显著低于80%（p < 0.001）；Kruskal–Wallis显著H(2) = 12.06，p = 0.002，DeepSeek显著优于Gemini（U = 119.5，p < 0.001，r = 0.59大效应）。
3.4. Readability (RQ3)：FKGL与SMOG均正态，所有LLM显著超过FKGL ≤ 6与SMOG ≤ 8基准（均p < 0.001，d > 1.40）。Gemini可读性最复杂，ChatGPT最优（FKGL = 7.86，SMOG = 9.97）。Kruskal–Wallis显示FKGL H(2) = 13.56，p = 0.001；SMOG H(2) = 21.26，p < 0.001，Gemini较ChatGPT在两指数均显著更复杂（FKGL r = ?0.57；SMOG r = ?0.70，均p < 0.001）。
3.5. Neurodiversity-Affirming Language (RQ4)：语言得分非正态，均值相近Gemini M = 2.12（SD = 0.29），ChatGPT M = 2.14（SD = 0.32），DeepSeek M = 2.21（SD = 0.55）。Kruskal–Wallis无显著差异H(2) = 0.35，p = 0.838，所有两两比较不显著，三者均默认混合医学与ND肯定性语域，无显著校准至ND肯定性沟通。
讨论部分总结：研究人员指出本研究是中东语境下早期系统比较LLM用于ASD照护者信息的评估之一，首次在阿拉伯世界应用多维框架（PEMAT-P、可读性、ND肯定性语言）。结果揭示无单一平台全面卓越：Gemini最准，ChatGPT最易懂可读，DeepSeek最具可操作性；但均未达到AHRQ可操作性基准，且阅读水平远超患者教育推荐值，表明需大幅适配方可作为独立工具。准确性优势与盲区反映训练数据西方偏向及沙特特定语境（流行病学、成本、服务）的结构性局限，非提示工程可解。ChatGPT可理解性优势源于结构格式化（标题、分段），但可能影响评分盲法；Gemini倾向百科式冗长牺牲可及性。可操作性普遍缺陷因LLM天生生成描述性而非规范性逐步指导内容，DeepSeek较高可操作性暗示或通过训练与提示可调。可读性差距大（效应量d > 1.0），仅父级友好提示不足，需模型层面简明语言指令微调、自动反馈或临床编辑。ND肯定性语言无差异因均默认混合语域，研究中缺陷框架提示（“possibly suffering from autism”）可能引导医学化语域，未来需中性提示测试。临床建议：一般事实Gemini最可靠但需核实沙特特定信息；日常管理DeepSeek最具可操作性但仍不达标；无LLM达适宜阅读水平，需临床中介，尤对低教育或英语受限家庭；政策层面建议卫生部门采用此类框架做质量保证，开发者纳入可读可操作标准及检索增强生成（Retrieval-Augmented Generation, RAG）改善本地事实，并将ND肯定性原则纳入对齐。
结论部分翻译：本研究中受评估的没有一个LLM同时满足ASD照护者准确、可读、可操作及ND肯定性健康信息标准。Gemini、ChatGPT与DeepSeek呈现不同互补优势，但在可读性与可操作性上的持续缺陷表明，当前形态下这些LLM最适合补充而非替代临床介导的照护者教育，尚未准备好用于独立无中介的使用。上述结论特指Gemini 1.5 Pro、GPT-4o与DeepSeek-V3、英文输出及2025年4月至5月沙特ASD照护者语境下的两月窗口，未经实证验证不应外推至这些参数之外。研究发现对更广泛沙特ASD照护者语境的普适性需进一步实证验证。未来方向应包括阿拉伯语评估、结构化提示工程与基于RAG的干预以改善可读可操作性，以及与沙特ASD照护者社区共同设计的评估框架。在有目的构建、文化校准与临床验证的LLM工具可用前，对其选择性批判性使用的临床指导仍至关重要。
