《DIGITAL HEALTH》：Quality and readability of responses generated by popular large language models to frequently asked questions about menopause: A comparative study
编辑推荐：
目的：患者日益使用大型语言模型（large language models, LLMs）获取绝经相关健康信息，但其回答的质量和可读性尚未在广泛使用的平台间进行系统比较。本研究比较了常用LLMs对绝经常见问题回答的信息质量与可读性。方法：在这项比较研究中，研究人
目的：患者日益使用大型语言模型（large language models, LLMs）获取绝经相关健康信息，但其回答的质量和可读性尚未在广泛使用的平台间进行系统比较。本研究比较了常用LLMs对绝经常见问题回答的信息质量与可读性。方法：在这项比较研究中，研究人员从四个来源（ChatGPT、Google Gemini、Microsoft Copilot及Google“People also ask”）汇编了50个绝经问题，去除重复和相关性较低条目。将每个问题输入三种工具，回答采用改良Rothwell系统分类，并由两名妇产科专科医师使用DISCERN、Likert量表、患者教育材料评估工具（Patient Education Materials Assessment Tool, PEMAT）、Flesch Reading Ease和Flesch-Kincaid Grade Level独立评分。结果：50个问题中，70%为事实型，20%为政策型，10%为价值型。各平台的总DISCERN评分和总体信息质量无差异。Gemini在Likert和PEMAT可操作性上高于ChatGPT和Copilot；ChatGPT和Gemini的Flesch Reading Ease高于Copilot，后者年级水平更高。总体可读性存在差异（p = 0.022），Gemini最常达到充分。最终总体充分性（同时满足信息质量和可读性）在所有平台均较低（24.7%）。结论：常用LLMs的绝经回答总体与文献一致，但在可靠性结构和阅读水平上常受限，三种工具的总体充分性均低。表现因平台和问题类型而异。当前面向消费者的LLMs可能补充而非替代临床医生指导的咨询；其能否安全替代需以患者为中心的评估。
研究背景：绝经是卵巢卵泡活动丧失所致月经永久停止的生理性生殖转变，临床通常以无其他病理或生理原因的连续12个月闭经予以确认；多数症状实际出现在绝经过渡期或围绝经期，可伴血管舒缩、睡眠、情绪及泌尿生殖道症状，并影响生活质量与日常功能。绝经管理常涉及症状控制、绝经激素治疗（menopausal hormone therapy, MHT）、非激素治疗及长期骨骼和心血管健康等个体化决策，因此获得准确且可理解的信息对知情决策十分重要。然而，许多女性获取可靠绝经信息和支持存在困难，世界卫生组织及NICE指南均强调绝经认知、信息与服务一致性仍需改善；既往评估在线绝经教育材料的研究提示，公开信息尤其MHT相关内容在质量和可读性上可能有限。大型语言模型（large language models, LLMs）已作为可快速提供对话式健康回答的工具出现，但其患者教育应用先于严格评估，AI生成健康信息的准确性、完整性、可读性和安全性在不同临床应用中仍不一致。绝经领域尤其值得关注：具备绝经专业知识的临床医生可及性有限，MHT决策受长期争议和公众焦虑影响，绝经仍存在讨论不足和污名化，且AI可能复制而非缩小健康不平等。既有绝经领域证据有限，提示LLM对绝经和激素治疗问题的回答未必总能提供足够准确或可读的信息，但常用平台间的比较证据仍不足。因此，研究人员开展本研究，旨在评估并比较ChatGPT、Google Gemini和Microsoft Copilot对绝经常见患者问题回答的信息质量与可读性。研究结论显示，常用LLMs的绝经回答总体与医学文献一致，但可靠性结构和阅读水平常受限，三种工具总体充分性均低，表现因平台和问题类型而异；当前消费级LLMs可能补充而非替代临床医生指导的咨询，能否安全替代仍需以患者为中心的评估。其意义在于将LLMs在绝经患者教育中的定位从“是否错误”推进到“是否具备决策支持结构和可读性”，并提示需针对来源标注、信息日期、获益-风险框架和阅读水平进行优化。
关键技术方法：研究人员于2025年12月至2026年1月在Türkiye开展比较性跨模型评估。问题池来自四个来源：分别向ChatGPT、Google Gemini、Microsoft Copilot输入“Most frequently asked 20 questions about menopause by patients”并记录各平台生成的前20个问题，另将“menopause”输入Google搜索引擎并收集“People also ask”前20个问题；初始80个问题经临床视角去除重复、重叠或临床相关性较低条目后，形成50个临床相关问题。将50个问题以英文输入三种平台的公开免费消费者版，每个问题获取一次回答且不使用重新生成功能，同一平台50个问题在同一对话会话中顺序提交。由两名妇产科专家独立采用DISCERN、Likert量表、PEMAT理解性与可操作性、Flesch Reading Ease和Flesch-Kincaid Grade Level评分，分歧经共同讨论达成共识；评分者间信度采用组内相关系数（intraclass correlation coefficient, ICC）和Cohen二次加权kappa评估，统计分析使用SPSS及Python。本研究无人类样本队列，问题来源为上述四个公开来源。
研究结果：
问题特征与评分者间信度：50个问题按Rothwell分类系统分为70%事实型、20%政策型和10%价值型；子类中一般信息占48%，适应证/管理占20%，风险/并发症占14%，评估占10%，治疗时机占6%，特定活动占2%。评分者间信度总体较高：DISCERN总分ICC [A,1] = 0.90（95% CI：0.86–0.93，p < 0.001），Likert总体评分二次加权κ = 0.77（95% CI：0.68–0.86），PEMAT-Actionability的ICC = 0.80（95% CI：0.73–0.85，p < 0.001）；PEMAT-Understandability的ICC较低（0.49，95% CI：0.36–0.61，p < 0.001），原文归因于明显天花板效应，两名评分者均值绝对差仅4.14个百分点，Pearson r = 0.51，所有分歧均在最终分析前经共识解决。
信息质量：三种工具总DISCERN评分无显著差异（p = 0.159），ChatGPT、Gemini和Microsoft Copilot中位总分分别为36（四分位距[interquartile range, IQR] 7.1）、36（IQR 7.6）和37.5（IQR 8.5）。条目层面，DISCERN第4项和第5项存在显著差异（分别p < 0.001和p = 0.01）；第4项中ChatGPT和Gemini均显著低于Microsoft Copilot（ChatGPT vs. Copilot，p = 0.003；Gemini vs. Copilot，p = 0.001），第5项中Gemini显著低于Microsoft Copilot（p = 0.01）。Likert评分三组差异显著（p = 0.001），Gemini中位5（IQR 1）高于ChatGPT和Microsoft Copilot的中位4（IQR 1）（ChatGPT vs. Gemini，p = 0.001；Gemini vs. Copilot，p = 0.002），ChatGPT与Microsoft Copilot无差异（p = 0.740）。总体上三平台信息质量可比，条目差异提示Microsoft Copilot在来源标注和信息时效方面较高，Gemini在Likert文献一致性方面最高。
可读性与可操作性：PEMAT理解性评分三组无显著差异（p = 0.168）；PEMAT可操作性差异显著（p < 0.001），Gemini中位52.5（IQR 37.7）高于ChatGPT的25（IQR 38.1）和Microsoft Copilot的25（IQR 20）（ChatGPT vs. Gemini，p < 0.001；Gemini vs. Copilot，p < 0.001），ChatGPT与Microsoft Copilot无差异（p = 0.917）。Flesch Reading Ease方面，ChatGPT（42.0 ± 16.0）和Gemini（40.3 ± 12.7）均显著高于Microsoft Copilot（33.6 ± 12.9）（分别p = 0.01和p = 0.04），ChatGPT与Gemini无差异（p = 1.000）。Flesch-Kincaid Grade Level方面，Microsoft Copilot均值13.3 ± 2.8，显著高于ChatGPT的10.6 ± 2.4和Gemini的11.6 ± 2.5（ChatGPT vs. Copilot，p < 0.001；Gemini vs. Copilot，p = 0.003），提示阅读难度更高；ChatGPT与Gemini无显著差异（p = 0.204）。总体上ChatGPT和Gemini较Microsoft Copilot易读，Gemini可操作性最高，但三平台中位年级水平均超过患者教育材料推荐的六至八年级水平。
总体充分性：150个回答的中位DISCERN评分为36（范围32–54），中位Flesch Reading Ease为38.1（范围5.3–81.8），中位PEMAT可操作性为40.0（范围0–100），仅24.7%达到60%阈值；Flesch-Kincaid年级水平分布为低于六年级1.3%、六至九年级24.7%、十至十二年级36.7%、大学水平32.0%、研究生水平5.3%。总体信息质量充分比例分别为ChatGPT 38%（n = 19）、Gemini 36%（n = 18）、Microsoft Copilot 44%（n = 22），三组无显著差异（p = 0.695）。总体可读性充分比例分别为ChatGPT 68%（n = 34）、Gemini 78%（n = 39）、Microsoft Copilot 52%（n = 26），三组差异显著（p = 0.022），Gemini最常充分而Microsoft Copilot最少，Gemini与Microsoft Copilot比较达显著（p = 0.011）。最终总体充分性（同时满足信息质量与可读性）分别为ChatGPT 26%（n = 13）、Gemini 30%（n = 15）、Microsoft Copilot 18%（n = 9），三组差异未达显著（p = 0.366），两两比较亦无显著差异（ChatGPT vs. Gemini，p = 0.824；ChatGPT vs. Microsoft Copilot，p = 0.470；Gemini vs. Microsoft Copilot，p = 0.241）；全部150个回答中24.7%（n = 37）同时满足两项标准。
按问题类型的结果：信息质量和最终总体充分性按Rothwell问题类型存在显著差异（分别p = 0.028和p = 0.024）。政策问题回答最完整（DISCERN中位40.8；信息质量充分60.0%；最终总体充分43.3%）且最具可操作性（PEMAT可操作性中位50.0）；价值问题最不充分（最终总体充分13.3%）；事实型问题虽准确但可读性最差，Flesch Reading Ease中位35.1、Flesch-Kincaid Grade Level中位12.5，均较其他类型更不利（分别p = 0.016和p = 0.009）。因价值问题仅5个，相关比较应视为探索性。总体上三平台总体信息质量大致可比但可读性不同，Gemini最常可读、Microsoft Copilot最少；所有回答均达到Likert文献一致性阈值，几乎所有回答达到理解性阈值，因此低总体充分性主要由DISCERN可靠性阈值驱动，其次由阅读易读性驱动，而非事实不准确。
讨论部分总结：本研究主要发现是三平台总体表现相似，总DISCERN评分和总体信息质量无显著差异，所有回答均未低于中等文献一致性；模型差异主要集中于可读性（Gemini最常充分、Microsoft Copilot最少）和来源标注（Microsoft Copilot因显示引用而得分较高）。更关键的是事实充分性与结构性充分性分离：各平台均未出现明显不准确或不安全内容，理解性也较高，但不足四分之一回答同时满足信息质量与可读性标准；不足主要来自DISCERN可靠性维度及阅读易读性，而非事实错误。回答通常能陈述目的、保持相关与平衡并承认不确定性，但较少引用来源或标明信息时效，对治疗获益、风险、替代方案、不接受治疗的后果、对生活质量的影响及存在多种合理选择等描述不一致，而这些正是共享决策所需元素。DISCERN部分条目会惩罚不提供引用的对话式AI输出，但获益、风险、替代方案和共享决策条目并非格式伪影；且DISCERN最初用于治疗选择信息，而50个问题中仅20个（40%）涉及治疗，治疗相关问题DISCERN评分显著高于非治疗问题（中位40.2 vs. 36.0；p < 0.001），故总体DISCERN表现部分反映工具与问题构成的交互。问题类型进一步影响解释：政策问题最完整、最可操作且最常满足充分性标准，价值问题最不充分，事实问题虽准确但最不可读；可操作性应结合问题的信息目标解释，而非作为全局质量指标。与Karam et al.使用细粒度准确性与完整性量表并采用盲法专家评审的报告相比，后者发现绝经和激素治疗回答常不完整或不准确、部分模型准确性低至30%；本研究的Likert一致性测量未检出低于中等一致性的回答，差异可能反映工具粒度，即本研究发现的是缺乏严重不一致而非完全准确和完整。综合看，常用平台更一致的局限在答案可靠性和决策支持结构，并随问题类型系统变化；模型间差异与六种聊天机器人回答中年健康问题及其他患者FAQ评估中的差异相似，提示LLM表现具有领域和任务依赖性。可读性结果提示公平性问题：回答阅读水平持续高于患者材料推荐水平，可能反映AI健康信息生成和消费群体数字素养差异，围绝经期女性尤其健康不平等群体对数字健康和AI工具存在不信任、隐私和代表性担忧，数据缺失还可能被读作需求缺失。临床上，当前消费级LLMs宜作为绝经信息入口而非经证实的临床医生指导咨询替代；其回答一般准确且可读到足以引导患者，但对风险、获益、替代方案和共享决策处理不一致，故更适合补充而非替代个体化咨询。未来需开展以患者为中心的前瞻性研究，评估女性如何理解、信任并依据AI绝经信息行动，包括健康不平等群体；评估针对性优化（来源标注、明确日期、结构化获益-风险框架、将阅读水平控制至六至八年级）是否改善决策相关和公平相关结局；并需跨时间和跨语言重复基准测试。局限性包括：单时间点获取回答；仅测试免费消费者版、每问单次回答且不使用重新生成、均从Türkiye以英文提交；最终问题集虽经临床提炼且部分源自真实用户查询，但无正式患者和公众参与；价值问题数量少；多工具和两两比较未作全局多重校正；Flesch Reading Ease阈值≥30较宽松且回答中位年级水平超过推荐；PEMAT-Understandability的ICC较低虽归因于天花板效应，仍是受限分数方差下使用ICC的方法学局限；Likert量表较粗，可能低估不完整或部分不准确内容；同一会话顺序提交可能引入上下文延续效应。
研究结论翻译：在这项受控比较中，常用大型语言模型对绝经常见问题生成的回答总体与医学文献一致，但在可靠性结构和可读性方面存在差异，且不足四分之一同时满足信息质量与可读性标准。表现因平台和问题类型而异，政策导向问题回答最完整，价值问题最不完整。在这些测试条件下，当前消费级LLMs似乎更适合补充而非替代临床医生指导的绝经咨询；其能否安全承担替代角色，是未来以患者为中心研究的实证问题，同时需针对性优化来源标注、信息日期、获益-风险框架和阅读水平。
