《DIGITAL HEALTH》：Patient-facing large language model assistants for chronic constipation education: A comparative study of expert evaluation, readability, and patient acceptability
编辑推荐：
目的：旨在比较四个面向患者的人工智能（AI）助手在慢性便秘教育中的专家评价质量、客观可读性和患者报告的可接受性。方法：在这项两阶段研究中，研究人员使用相同的标准化中文提示词，将15个常见问题和两个临床场景分别提交给ChatGPT-4o、DeepSeek V3、
目的：旨在比较四个面向患者的人工智能（AI）助手在慢性便秘教育中的专家评价质量、客观可读性和患者报告的可接受性。方法：在这项两阶段研究中，研究人员使用相同的标准化中文提示词，将15个常见问题和两个临床场景分别提交给ChatGPT-4o、DeepSeek V3、Qwen3和MedGo V1一次。六名盲法专家对68个回答在六个领域进行了评分。客观可读性通过中文字符数、阅读难度分数和推荐阅读年龄进行评估。在第二阶段，30名患者各提出了三个问题；研究人员按固定顺序将每个问题输入全部四个助手，患者对八个可接受性领域进行了评分。研究人员使用Friedman检验；显著的专家和患者结果进行了Holm校正的Wilcoxon符号秩检验。结果：准确性（p = .175）和安全性（p = .068）在各模型间无显著差异。领域特异性、专家评价可读性、人文性和可行动性存在显著差异。经校正比较，Qwen3在领域特异性和可行动性方面得分高于其他模型。MedGo V1生成的回答最短，平均阅读难度和推荐阅读年龄最低。患者评分呈现不同模式：DeepSeek V3的平均总体可接受性最高（4.22 ± 0.19），超过Qwen3（校正p < .001）和MedGo V1（校正p = .044），但未超过ChatGPT-4o（校正p = .053）。结论：专家评价质量、文本复杂度和短期患者可接受性并未完全一致。没有单一助手持续优于其他助手。这些发现描述了模型特异性表现特征，但并不确立临床有效性、实施准备度，或通用型与医学专用型系统的优越性。
慢性便秘是一种常见的胃肠道功能性疾病，患者常需长期进行症状评估、生活方式调整、药物治疗并识别警示特征。由于许多管理建议需在院外执行，清晰可用的患者教育是疾病管理的重要环节。护士通常需要反复解释并协助患者将临床建议转化为日常行为，但教育材料的价值不仅取决于医学准确性，还取决于患者能否理解并采取行动。患者教育材料评估工具（Patient Education Materials Assessment Tool, PEMAT）虽可用于评估可理解性与可行动性，却无法全面衡量临床准确性、安全性、共情及患者可接受性。大型语言模型（Large Language Model, LLM）正越来越多地被研究用于面向患者的健康沟通，但已有评价发现其输出在质量、安全性、共情和用户体验方面存在差异，且面向患者的表现不能仅从技术能力推断。为此，研究人员在上海东方医院开展了一项两阶段比较研究，纳入ChatGPT-4o、DeepSeek V3、Qwen3和MedGo V1四种AI助手，在慢性便秘教育情境中比较专家评分质量、客观可读性与患者可接受性，并考察这三个评价视角是否趋同，同时刻画各模型的特异性优势与局限。
在关键技术方法上，研究采用两阶段设计。第一阶段生成17个标准化输入（15个常见问题和两个临床场景），使用统一标准化中文提示词分别提交至四个AI助手，共获得68个回答。六名盲法专家（包括两名消化内科医师、两名护理专家、两名中医专家）从准确性、领域特异性、安全性、可读性、人文性和可行动性六个维度进行5分制评分。客观可读性使用中文可读性评估平台分析中文字符数、阅读难度分数和推荐阅读年龄。第二阶段从上海东方医院消化内科招募30名成年慢性便秘患者，每名患者提出三个问题，研究人员在患者面前按固定顺序将各问题输入四个助手；患者对满意度、可理解性、信任、舒适度、尊重性、复用意愿、推荐意愿及讨论尴尬症状适当性八个领域评分。统计方法采用Friedman检验，显著结果行Holm校正的Wilcoxon符号秩检验，专家一致性用Kendall's W评估。
**专家评价**：六名专家对68个回答评分后显示，准确性（p = .175）和安全性（p = .068）在模型间差异不显著；领域特异性、可读性、人文性和可行动性存在显著差异。Holm校正配对比较显示，Qwen3在领域特异性上高于ChatGPT-4o、DeepSeek V3和MedGo V1（校正p均<.001），在可行动性上同样显著优于三者。MedGo V1在人文性上低于三个通用模型，而三个通用模型之间无显著差异。专家间一致性为低至中等水平（Kendall's W = .178–.262）。
**客观可读性**：四个助手在中文字符数、阅读难度分数和推荐阅读年龄上均差异显著（均p<.001）。Qwen3的平均字数最多（1712.59 ± 303.96），MedGo V1最少（1224.12 ± 175.62）；DeepSeek V3的平均阅读难度分数（17.87 ± 3.63）和推荐阅读年龄（16.53 ± 1.84岁）最高，MedGo V1最低（13.14 ± 1.09，13.12 ± 1.05岁）。这些结果为描述性排序，未进一步推断配对显著性。
**参与者特征**：30名患者全部完成评估，平均年龄57.5 ± 14.4岁，男女各15人；初中及以下与高中/职校学历各12人，大专及以上6人；80%曾使用在线健康信息，36.7%曾使用AI助手，60%曾因便秘就诊。
**患者报告可接受性**：患者评分呈现与专家评价不同的格局。满意度（p = .004）、可理解性（p = .001）、信任（p < .001）、尊重性（p < .001）、讨论尴尬症状适当性（p < .001）及三个复合评分差异显著；舒适度（p = .089）、复用意愿（p = .417）和推荐意愿（p = .169）差异不显著。DeepSeek V3的总体可接受性最高（4.22 ± 0.19），与ChatGPT-4o相比边缘不显著（校正p = .053），但显著高于Qwen3（校正p < .001）和MedGo V1（校正p = .044）；Qwen3在多数患者评分维度中得分较低。
讨论部分指出，专家评分质量、客观可读性与患者可接受性并未产生一致的模型排名。数字排序不能等同于统计学证据，例如Qwen3平均准确性得分最高但总体差异不显著。客观文本简洁与患者感知理解力属于不同构念，DeepSeek V3在第一阶段阅读难度最高，但在第二阶段患者可理解性最高。敏感症状沟通可接受性是一个值得关注的独立维度，但未发现任一模型在敏感沟通中具有独特优势。由于仅纳入一个医学专用助手MedGo V1，通用型与医学专用型之间的类别比较仅属探索性，推断结果仅适用于研究条件下的四个模型。研究未评估护理实施干预，也未测量客观理解、行为改变或临床结局，因此不能据此推断临床有效性或部署准备度。
研究结论为：ChatGPT-4o、DeepSeek V3、Qwen3和MedGo V1在慢性便秘教育中表现出不同的性能特征，专家评定的质量、客观可读性和患者报告的可接受性并未完全一致；统计支持的差异是领域特异性的而非普遍存在的，没有单一助手能在所有评估结局中持续优于其他模型。这些发现为多维评估面向患者的AI回答提供了探索性证据，但不确立临床有效性、部署准备度或通用型与医学专用型系统的优越性。在将这些工具推荐用于常规患者教育之前，仍需更大规模、多中心、随机和纵向的研究加以验证。
