《Healthcare》：Evaluating the Use of Large Language Models in Improving the Readability of Online Patient Education Materials for Peripheral Nerve Surgery
编辑推荐：
目的：在线患者教育材料（Online Patient Education Materials, OPEMs）是患者寻求健康信息的重要资源。尽管美国国立卫生研究院（National Institutes of Health, NIH）和美国医学会（America
目的：在线患者教育材料（Online Patient Education Materials, OPEMs）是患者寻求健康信息的重要资源。尽管美国国立卫生研究院（National Institutes of Health, NIH）和美国医学会（American Medical Association, AMA）建议OPEMs的阅读水平为六年级，但常见的材料通常超过该标准。大型语言模型（Large Language Models, LLMs），如ChatGPT和Gemini，已成为健康教育的工具，在简化健康材料方面具有潜在应用。本研究评估了ChatGPT和Gemini在提高周围神经手术OPEMs可读性方面的效用。方法：将11种常见的周围神经手术作为在线搜索词。评估前20个独特的搜索结果；如果结果不包括面向患者的材料，则排除。研究人员指示ChatGPT和Gemini将OPEMs的文本改写为六年级或以下阅读水平。计算原始OPEMs以及ChatGPT和Gemini改写版本的可读性指标。使用预定义标准评估LLM响应的准确性/质量（五点量表）和全面性（三点量表）。结果：共评估220个网站。总共155个OPEMs符合纳入标准；65个网站被排除，因为它们是学术期刊文章或其他面向提供者的材料。OPEMs的平均Flesch-Kincaid年级水平（Flesch-Kincaid Grade Level, FKGL）为11.3，显著高于NIH/AMA六年级建议（p < 0.001）。ChatGPT改写版本的平均FKGL显著低于OPEMs（11.3 vs. 7.5, p < 0.001），Gemini改写版本的平均FKGL也显著低于OPEMs（11.3 vs. 5.6, p < 0.001）。与Gemini改写版本相比，ChatGPT改写版本的准确性/质量更高（4.5/5.0 vs. 4.0/5.0, p < 0.001）且全面性更高（2.0/3.0 vs. 1.0/3.0, p < 0.001）。结论：周围神经手术的在线患者教育材料的可读性显著超过NIH/AMA建议。ChatGPT和Gemini能够显著简化这些OPEMs的阅读水平。LLMs可作为提高周围神经手术OPEMs可读性的工具。
**研究背景**：在线患者教育材料（OPEMs）是患者获取健康信息的重要资源，但美国国立卫生研究院（NIH）和美国医学会（AMA）推荐OPEMs应达到六年级阅读水平，然而现有材料常显著超出该标准。在神经外科领域，多项研究已发现面向患者的材料语言水平与公众健康素养之间存在脱节，尤其在亚专科如周围神经手术中，OPEMs的可读性过高可能导致患者对手术获益、风险及治疗选项理解不足。随着人工智能（AI）发展，大型语言模型（LLMs）如ChatGPT和Gemini逐渐被用于简化健康材料，但针对周围神经手术OPEMs的系统性比较研究尚有限。为此，研究人员开展本研究，旨在评估ChatGPT和Gemini在改善周围神经手术OPEMs可读性方面的效用，并假设两者能有效将材料阅读水平降至推荐标准。该论文发表在《Healthcare》。
**关键技术方法**：研究人员以11种常见周围神经手术（如腕管松解术、尺神经减压术等）作为搜索词，在谷歌无痕模式下收集前20个独特网站，排除学术期刊文章等非面向患者材料后纳入155个OPEMs。使用ChatGPT 4.0和Gemini 1.5 Flash，以统一提示词“将上述患者教育材料改写至六年级或以下阅读水平”生成改写文本。通过WebFX计算原始OPEMs及LLM改写版本的多种可读性指标（包括Flesch-Kincaid年级水平FKGL、Flesch-Kincaid阅读容易度分数FKRE、Gunning雾指数、SMOG指数、Coleman-Liau指数和自动可读性指数）。两名神经外科住院医师随机盲法评估25%的LLM改写内容的准确性/质量（1-5分）和全面性（1-3分）。
**研究结果**：
- **网站特征与可读性基线**：155个OPEMs的平均FKGL为11.3，显著高于NIH/AMA推荐的六年级水平（p < 0.001）。在线健康参考网站FKGL（9.8）显著低于学术/医院网站（11.5）和私人诊所网站（11.5）。搜索词中“周围神经刺激”FKGL最高（12.9），“尺神经减压”最低（9.3）。多元线性回归显示，含有直接医疗链接的OPEMs FKGL更高（β=1.08, p=0.034），而包含教育图片的OPEMs FKGL更低（β=-1.24, p=0.003）。
- **LLM改写可读性比较**：ChatGPT改写版本平均FKGL为7.5，Gemini改写版本为5.6，均显著低于原始OPEMs的11.3（p < 0.001）。Gemini改写版本的FKGL显著低于ChatGPT（5.6 vs. 7.5, p < 0.001）。所有六项可读性指标在OPEMs、ChatGPT和Gemini三组间均存在显著差异（p < 0.001）。Gemini改写版本的FKGL与NIH/AMA六年级推荐水平相当，而OPEMs和ChatGPT改写版本仍显著高于推荐水平。LLM改写版本的可读性方差也低于原始OPEMs。
- **不同网站类型与搜索词的表现**：ChatGPT改写后，学术/医院网站FKGL为7.7，在线健康参考网站为6.8，私人诊所为7.4，组间无显著差异。Gemini改写后，私人诊所网站FKGL（5.1）显著低于学术/医院网站（5.8），且所有类型均低于六年级标准。按搜索词分，ChatGPT改写FKGL最低为Morton神经瘤手术（6.6），最高为周围神经肿瘤手术（9.0）；Gemini改写最低也为Morton神经瘤手术（4.8），最高为胸廓出口减压（6.6）。
- **准确性/质量与全面性评估**：ChatGPT改写版本的中位准确性/质量评分为4.5/5.0，85%响应评分≥4分（高质量）；Gemini改写版本中位评分为4.0/5.0，60%评分≥4分（p < 0.001）。全面性方面，58%的ChatGPT改写版本与原始OPEM全面性相当（中位2.0/3.0），而仅5%的Gemini改写版本达到同等水平（中位1.0/3.0，p < 0.001）。
**讨论部分总结**：周围神经手术OPEMs的可读性普遍过高，LLMs能有效简化材料。Gemini在可读性改善上更优，但ChatGPT在内容准确性和全面性上表现更好，这反映了模型架构、训练数据和默认参数设置的差异。改善可读性可能以牺牲内容质量为代价，未来需探索新型训练策略或特定提示词以平衡两者。提醒注意LLMs可能产生幻觉或事实错误，解读输出时需谨慎。研究局限性包括：横截面设计、搜索结果受机构知名度影响、可读性指标不等于患者实际理解、单一提示词可能限制泛化性，且未来需直接测试LLM生成材料对患者决策的影响。
**研究结论翻译**：本研究发现表明，周围神经手术OPEMs的可读性显著超过推荐阅读水平。ChatGPT和Gemini均能有效改善这些OPEMs的可读性。Gemini生成的内容简化程度更高，而ChatGPT生成的信息通常被评为更高质量和更全面。LLMs可作为改善周围神经手术OPEMs可读性的工具。
