评估人工智能生成的压力性尿失禁教育材料的可读性与质量：五种大语言模型的对比分析

《Scientific Reports》：Evaluating the readability and quality of ai-generated stress urinary incontinence education materials: a comparative analysis of five large language models

　　压力性尿失禁（SUI）严重损害生活质量，然而目前可获得且易于理解的患者教育资料仍然有限。大型语言模型（LLMs）可能有助于健康信息的传递，但其输出内容需要系统的评估。本研究旨在比较五种大型语言模型所生成的SUI教育资料在可读性、可靠性和面向患者的可用性方面的表现。2026年3月15日，通过其官方网页界面测试了ChatGPT Free、Claude Free、Microsoft Copilot Free、DeepSeek Free和Gemini Free。每个模型回答12个SUI核心问题，共产生60个回复。评估了六种可读性指标：Flesch-Kincaid阅读易度（FKRE）、Flesch-Kincaid年级水平（FKGL）、Gunning雾度指数（GFS）、SMOG简单测度（SMOG）、Coleman-Liau指数（CLI）以及自动可读性指数（ARI）。使用全球质量量表（GQS）、DISCERN、确保患者获得高质量信息（EQIP）和患者教育资料评估工具（PEMAT）来评价信息质量和患者可用性。采用Friedman检验及Kendall's W分析总体差异，随后进行Holm校正的配对Wilcoxon符号秩检验。模型间在FKRE（P = 0.005）、FKGL（P = 0.016）、GFS（P = 0.002）、SMOG（P = 0.007）和CLI（P < 0.001）方面存在显著差异，但ARI无显著差异（P = 0.107）。Gemini的FKRE高于ChatGPT（30.06 ± 12.63 vs. 23.60 ± 11.72；校正后P = 0.036）；Claude的GFS高于Copilot（18.41 ± 4.56 vs. 15.43 ± 1.59；校正后P = 0.018）；DeepSeek的SMOG高于ChatGPT和Copilot（校正后P = 0.013和0.049）。GQS、DISCERN、EQIP和PEMAT在所有模型间均存在显著差异（所有P < 0.001；Kendall's W = 0.212–0.373）。Gemini的GQS得分高于Copilot；Claude的DISCERN得分高于所有其他模型；Gemini的EQIP得分低于所有其他模型；ChatGPT的PEMAT得分低于所有其他模型（所有校正后P < 0.05）。评分者间信度极佳（ICC [2, 1] = 0.954）。EQIP与PEMAT呈正相关（r = 0.69），而DISCERN与所有可读性指标均仅呈有限的关联。五种大型语言模型在所有质量量表上均存在显著差异，但没有任何一个模型在每个维度上都表现最优。因此，由AI生成的SUI教育资料在任何面向患者的使用前，都需要独立的事实验证、有针对性的简化处理，以及由合格医疗专业人员进行的最终审核。