《Frontiers in Public Health》：Evaluating large language models for myocardial infarction public health education: a comparative study on information quality, transparency and readability
编辑推荐：
目的：心肌梗死（MI）是一种急性、危及生命的心血管疾病，高质量且可及的公共健康教育对于急诊管理至关重要。本研究系统评估了不同大型语言模型（LLMs）在回应心肌梗死相关公共咨询时生成信息的质量、透明度、临床准确性、患者安全性及可读性。方法：将25个具有代表性的心
目的：心肌梗死（MI）是一种急性、危及生命的心血管疾病，高质量且可及的公共健康教育对于急诊管理至关重要。本研究系统评估了不同大型语言模型（LLMs）在回应心肌梗死相关公共咨询时生成信息的质量、透明度、临床准确性、患者安全性及可读性。方法：将25个具有代表性的心肌梗死患者教育问题提交给Gemini 3.5 Flash、Claude Opus 4.8和ChatGPT 5.5。由两名心脏病专家使用四种经过验证的工具（DISCERN、EQIP、GQS和JAMA）以及严格的临床安全性评估，对生成的信息进行独立评价。同时采用六种既定指标（FRES、ARI、GFI、CLI、FKGL和SMOG）评估文本可读性。结果：在所评估的LLMs生成信息的质量、透明度和可读性方面观察到显著差异。在质量和透明度方面，模型间在DISCERN（p < 0.001）和EQIP（p < 0.001）评分上存在显著总体差异，而GQS和JAMA基准则无显著差异。在DISCERN中，Claude的得分显著高于Gemini和ChatGPT。在EQIP对完整性和清晰度的评估中，Claude和Gemini的得分显著高于ChatGPT，尽管所有模型均达到“良好”评级。此外，所有模型在JAMA基准上均表现不佳，表明信息透明度存在严重缺陷。值得注意的是，LLMs有时会生成不完整、不正确甚至潜在有害的信息。在可读性方面，尽管Claude生成了相对更易理解的文本，但所有模型均未达到推荐的六年级阅读基准，表明阅读难度较高。结论：虽然LLMs能够为心肌梗死相关咨询生成结构清晰、逻辑连贯的基础内容，但偶尔会产生临床不适当的指令。此外，这些模型生成的文本过于复杂，对公众造成了巨大的阅读障碍。因此，在零样本和英文测试条件下，当前的LLMs尚不能作为心肌梗死独立的健康教育工具。
心肌梗死（MI）是一种急性、高度危及生命的心血管疾病，是全球死亡和残疾的主要原因之一。其管理高度依赖时间，及时准确的院前急救对降低死亡率至关重要；同时，严格的日常自我管理，包括生活方式调整、风险因素控制和药物依从性，也必不可少。因此，公共健康教育在MI的预防和管理中具有不可替代的作用。传统上，患者主要通过临床咨询获取健康信息，但受限于门诊时间短和医疗资源分布不均，医生难以提供全面的个性化教育。随着数字健康技术发展，越来越多的患者转向互联网获取信息，而基于大型语言模型（LLMs）的生成式人工智能在医疗领域展现出巨大潜力，能够提供即时、交互式且高度结构化的回答。然而，LLMs生成的健康信息可能不完整、缺乏透明的数据来源，且文本可读性可能远超公众的理解水平。尽管已有研究评估了LLMs在心血管领域中的表现，但专门针对MI健康教育的系统性多模型比较研究仍然缺乏。因此，本研究系统评估并比较了三个主流LLMs——Gemini 3.5 Flash、Claude Opus 4.8和ChatGPT 5.5——回答常见MI相关问题时的信息质量、透明度和公众可读性，以明确其作为辅助健康教育工具的实际潜力与局限。该论文发表于《Frontiers in Public Health》。
研究人员通过Google Trends（全球范围、过去五年、健康类目）获取与“心肌梗死”和“心脏病发作”相关的热门查询，经筛选和排除后，由三位资深心脏病专家组成的专家小组参照相关指南，将剩余查询转化为患者导向的问题，并补充问题，最终形成包含25个问题的题库。研究采用单轮零样本提示，通过各LLM的官方网页接口将问题原文提交，并清除历史记录以避免偏差。两名心脏病专家使用DISCERN（评估治疗选择信息质量）、EQIP（患者健康信息质量保证工具）、GQS（全球质量量表）和JAMA基准（评估网络健康信息来源透明度）四种工具进行双盲独立评分，同时依据2025 ACC/AHA和2023 ESC指南对回答进行临床准确性与安全性分类（正确、不完整、不正确、潜在有害）。可读性则采用FRES、ARI、GFI、CLI、FKGL和SMOG六种指标评估。
3.1 质量与透明度分析：通过四种工具评分发现，三个模型在DISCERN（p < 0.001）和EQIP（p < 0.001）上存在显著总体差异，而在GQS和JAMA基准上无显著差异。DISCERN评分中，Claude中位数得分最高[46.00（43.00，49.00）]，显著高于Gemini（p_adj = 0.033）和ChatGPT（p_adj < 0.001）。EQIP评分中，Claude和Gemini均显著优于ChatGPT（p_adj = 0.002和0.004），但所有模型均处于“良好”范围。GQS评分中，Claude和Gemini中位数为5（优秀），ChatGPT为4（良好），但差异不显著。JAMA基准中，所有模型得分中位数仅为0或1，显示信息透明度严重不足。
3.2 临床准确性与安全性结局：依据指南分类，ChatGPT生成17条正确、6条不完整、0条不正确、2条潜在有害的回答；Claude生成20条正确、3条不完整、1条不正确、1条潜在有害；Gemini生成19条正确、1条不完整、4条不正确、1条潜在有害。所有模型均产生了潜在有害内容，主要出现在急救场景中，例如注入了与急性MI无关的急救措施（如处理大出血、固定脊柱损伤、海姆立克急救法、使用肾上腺素笔），可能致命地分散患者对绝对休息和立即呼叫急救服务的注意力。不正确回答主要出现在Claude和Gemini，如将阿司匹林错误描述为“溶解”或“分解”血栓，混淆了其抗血小板作用与溶栓治疗。不完整回答则遗漏了指南导向的药物治疗细节。
3.3 可读性分析：使用六种可读性指标评估，仅在ARI（p = 0.009）和FKGL（p = 0.013）上存在显著总体差异。事后配对比较显示，Claude在ARI和FKGL上均显著比ChatGPT更易读（p_adj = 0.009和0.022），且在FKGL上显著优于Gemini（p_adj = 0.049）。然而，所有模型在所有指标上均未达到推荐的六年级阅读水平，单样本Wilcoxon检验显示与基准显著偏离（p_adj < 0.001）。
讨论部分指出，LLMs生成的MI健康信息呈现高度结构化与缺乏循证深度的共存现象。EQIP和GQS评分较高反映了其强大的自然语言组织能力，但可能造成“流畅性错觉”，使患者过度信任不完整或不正确的建议。临床安全性方面，LLMs在急救场景中生成潜在有害指令，构成信息污染，可能延误再灌注治疗。可读性方面，文本词汇复杂、信息密度高，超出公众理解阈值。这些缺陷与传统互联网健康信息可读性差的问题类似，但LLMs需要针对性地优化，例如通过提示工程约束输出复杂度或针对低健康素养人群进行指令微调。研究局限性包括零样本提示策略、官方界面默认生成参数、时间窗口限制、仅评估英语内容以及传统评估工具对LLMs的适用性等。研究结论：基于单轮零样本英语查询的评估，当前LLMs存在显著的可读性障碍和临床安全限制。虽然它们能生成逻辑连贯的基础内容，但偶尔会产生临床不适当指令，且文本远超六年级阅读理解标准。因此，当前LLMs尚不能作为MI独立的健康教育工具，未来开发必须聚焦于消除专业术语障碍和建立临床安全护栏。
