《Frontiers in Public Health》：Beyond accuracy: a three-stage evaluation of large language models for postpartum health consultation and nursing decision support
编辑推荐：
背景： 大语言模型（large language models, LLMs）可能支持产后健康咨询和护理计划制定，但其在不同任务类型中的表现仍不确定。本研究比较了ChatGPT 5.5和DeepSeek V3在上述场景中的表现。
方法： 开展了一项三阶段横断面评
背景： 大语言模型（large language models, LLMs）可能支持产后健康咨询和护理计划制定，但其在不同任务类型中的表现仍不确定。本研究比较了ChatGPT 5.5和DeepSeek V3在上述场景中的表现。
方法： 开展了一项三阶段横断面评估，包括对30个基于指南的问题进行重复查询、涉及120名产后女性的咨询，以及120个去标识化的回顾性临床病例。临床专家采用盲法评估流程对回答进行评价。在第二阶段，提交问题的产后女性也从用户角度进行了盲法评估。酌情采用配对样本t检验或Wilcoxon符号秩检验。在按研究阶段和评估者类型定义的结果族内应用Holm-Bonferroni校正，并计算组内相关系数（intraclass correlation coefficients, ICCs）以评估临床专家评分间的一致性。
结果： 在第一阶段，ChatGPT 5.5的正确性评分高于DeepSeek V3（4.00 ± 0.00 vs 3.88 ± 0.33；Holm校正p = 0.002）。DeepSeek V3在完整性、临床管理适宜性（均Holm校正p < 0.001）和安全性（Holm校正p = 0.001）方面获得更高评分，但其回答更难阅读。在第二阶段，ChatGPT 5.5在患者满意度和有用性方面获得更高评分，并在临床医生评定的正确性、完整性、帮助性和安全性方面得分更高，而DeepSeek V3在临床医生评定的可读性方面得分更高（均Holm校正p < 0.001）。在第三阶段，ChatGPT 5.5在临床适宜性、全面性、可操作性、安全性和分诊适宜性方面获得更高评分（均Holm校正p < 0.001），而DeepSeek V3在个体化方面获得更高评分（Holm校正p = 0.021）。
结论： LLM的表现因任务、评估指标和使用场景而异。ChatGPT 5.5在真实世界产后咨询和护理计划生成的大多数临床相关维度上获得更高评分，而DeepSeek V3在标准化问题的完整性、安全性、真实世界咨询的临床医生评定可读性以及护理计划生成的个体化方面获得更高评分。LLM可支持健康教育和初步护理计划草稿的准备，但其输出需要临床审查。
一、研究背景与问题提出
产后时期是产妇身体从妊娠和分娩中逐渐恢复的关键阶段，通常指从胎盘娩出至产后6周（约42天）。这一阶段涉及子宫复旧、恶露排出、伤口愈合、泌乳启动、盆底恢复及心理调适等多重生理和心理变化，同时也是产后并发症和健康问题相对高发的时期。产后出血、产褥感染、高血压疾病、静脉血栓栓塞及产后心理健康障碍等可能持续威胁产妇安全与生活质量。出院后，产妇往往需要自行管理恢复过程，同时照顾新生儿并适应家庭角色转变，其健康咨询需求具有高度即时性、个体化和对话性特征。然而，常规门诊服务、产后访视和护理随访受限于时间、人力及可及性，难以持续回应居家恢复期间出现的多样化问题。此外，对产后警示信号（如严重出血、高热、下肢肿胀或疼痛、胸闷、气短、严重头痛、视力障碍及自伤念头等）认识不足，可能损害就医决策并增加延迟治疗风险。
近年来，大语言模型（large language models, LLMs）凭借自然语言理解与生成能力，在医学问答、患者教育和临床沟通方面展现出应用潜力。部分模型在回答产后抑郁相关问题中表现出较好的临床准确性。然而，LLM生成回答的质量可能受模型版本、语言、提示设计、输入信息完整性和重复生成等因素影响，可能包含事实性错误、遗漏重要信息、偏离临床指南、造成过度阅读负担或提供不当分诊建议。在产后这一涉及生理恢复与急性并发症风险的特殊时期，不准确或不充分的回答可能导致产妇低估警示信号、延迟就医或采取不当自我管理措施。因此，在LLM应用于产后健康教育或护理随访之前，需要从内容质量、安全性、可理解性和临床适用性等多个维度进行系统评估。
既往研究存在以下方法学空白：其一，多数研究依赖预设问题、患者风格问题或假设病例，难以充分反映产后女性随访中自发性语言和持续性咨询需求；其二，以往研究通常聚焦单一疾病或任务，鲜有在同一研究框架内评估基于指南的知识、真实产后咨询回答及基于真实临床数据的护理计划生成；其三，产后健康咨询不仅要求事实准确性，还需识别警示信号、提供可操作建议、保持对不同健康素养水平用户的可理解性，并支持适当时机的升级处理。仅评估标准化问答不足以确定LLM在产后护理场景中的实际价值。
二、研究设计与方法
研究人员开展了一项三阶段横断面模型评估研究，在西安市人民医院（西安市第四医院）进行。第二阶段使用的真实咨询问题和第三阶段使用的回顾性病例数据来源于2026年1月至4月期间的产后随访微信群和电子病历系统。所有真实问题和病例数据在模型测试前均经过筛选、整理和去标识化处理。模型测试和回答生成于2026年5月1日至6月30日完成，评分和统计分析于2026年6月至7月进行。
研究评估了ChatGPT 5.5和DeepSeek V3两个模型。第一阶段评估模型对指南衍生临床问题的回答质量及其中英文可读性；第二阶段评估模型对产后女性提出的相关问题的回答质量；第三阶段评估模型基于去标识化回顾性病例生成产后产妇护理计划的能力。所有原始模型输出均逐字保留，未进行删除、更正或手动编辑。评估前移除标识来源模型的信息，并分配随机编号。
三、主要研究结果
3.1 产后咨询参与者与回顾性病例特征
第二阶段纳入120名产后女性，平均年龄30.64 ± 4.03岁，平均产后间隔17.23 ± 9.19天。63.3%具有大专及以上学历，61.7%经阴道分娩，59.2%为初产妇。30.0%存在妊娠或产后相关疾病，主要为妊娠期糖尿病、妊娠期高血压疾病、妊娠期贫血和甲状腺功能障碍。第三阶段纳入120例回顾性病例，平均产妇年龄32.48 ± 4.21岁，平均分娩孕周39.26 ± 1.44周。88.3%具有大专及以上学历，74.2%为初产妇。阴道分娩占75.0%，剖宫产占25.0%。87.5%的病例存在至少一种妊娠并发症、分娩异常或其他围产期危险因素。
3.2 基于指南的临床问题回答表现
第一阶段包含30个基于指南的临床问题，每个问题独立提交三次。ChatGPT 5.5的正确性评分高于DeepSeek V3（4.00 ± 0.00 vs 3.88 ± 0.33；Holm校正p = 0.002）。DeepSeek V3在完整性（4.63 ± 0.61 vs 3.99 ± 0.49）、安全性（4.48 ± 0.57 vs 4.24 ± 0.43）和临床管理适宜性（4.40 ± 0.75 vs 3.91 ± 0.55）方面获得更高评分（均Holm校正p < 0.001或p = 0.001）。指南一致性方面两模型无显著差异（3.89 ± 0.44 vs 3.88 ± 0.33；Holm校正p = 0.857）。可读性方面，DeepSeek V3的中文阅读难度评分、推荐阅读年龄和英文年级水平均高于ChatGPT 5.5。第一阶段部分维度的组内相关系数（intraclass correlation coefficients, ICCs）较低，正确性和安全性的ICC (2,3)分别为0.435和0.406，提示专家对高分回答间细微差异的区分存在不一致。
3.3 真实产后咨询回答表现
第二阶段中，产后女性对ChatGPT 5.5的满意度和有用性评分均高于DeepSeek V3（4.30 ± 0.46 vs 3.00 ± 0.00；4.22 ± 0.41 vs 3.00 ± 0.00；均Holm校正p < 0.001）。可理解性方面两模型无显著差异（4.03 ± 0.16 vs 4.00 ± 0.00；Holm校正p = 0.083）。临床医生评定中，ChatGPT 5.5在正确性（4.75 ± 0.43 vs 3.35 ± 0.48）、完整性（4.68 ± 0.47 vs 3.00 ± 0.00）、帮助性（4.71 ± 0.46 vs 3.00 ± 0.00）和安全性（4.90 ± 0.30 vs 3.35 ± 0.48）方面均获得更高评分（均Holm校正p < 0.001）。DeepSeek V3仅在临床医生评定的可读性方面获得更高评分（4.60 ± 0.49 vs 4.02 ± 0.13；Holm校正p < 0.001）。该阶段ICC (2,3)值在完整性和帮助性方面为优秀（0.934和0.919），正确性和安全性为良好（0.895），可读性为中等（0.606）。
3.4 护理计划生成表现
第三阶段中，ChatGPT 5.5在临床适宜性（4.66 ± 0.48 vs 3.61 ± 0.49）、全面性（4.66 ± 0.48 vs 3.39 ± 0.49）、可操作性（4.16 ± 0.37 vs 3.65 ± 0.48）、安全性（5.00 ± 0.00 vs 3.61 ± 0.49）和分诊适宜性（5.00 ± 0.00 vs 3.27 ± 0.44）方面均获得更高评分（均Holm校正p < 0.001）。DeepSeek V3在个体化方面获得更高评分（4.24 ± 0.88 vs 4.07 ± 0.80；Holm校正p = 0.021）。结构清晰度方面两模型无显著差异（3.68 ± 0.47 vs 3.70 ± 0.46；Holm校正p = 0.806）。该阶段ICC (2,3)值在临床适宜性、个体化、全面性、安全性和分诊适宜性方面为良好（0.815–0.899），可操作性和结构清晰度为中等（0.732和0.708）。
四、讨论与结论
研究人员指出，两模型的相对优势明显依赖任务类型。DeepSeek V3在标准化问题回答中在完整性、安全性和临床管理适宜性方面表现更优，而ChatGPT 5.5在真实世界产后咨询和基于病例的护理计划生成中在多数关键临床维度上表现更佳。这一发现表明，仅凭预设知识问题不足以确定LLM的临床适用性，模型对真实世界问题措辞的解读能力、对同一健康主题内多个相关问题的处理能力以及对结构化临床病例信息的综合能力同样影响其实用价值。
可读性评估方面，自动可读性测量主要捕捉词汇、句长和语法结构的复杂性，未必反映用户对信息组织、逻辑呈现或与所提问题相关性的感知。患者理解、临床医生可读性评估和内容正确性应综合考虑。真实世界咨询结果与标准化知识评估结果不完全一致，提示模型在真实场景中的表现可能受问题的对话性质、背景信息完整性和同一健康主题内多重相关问题的复杂性影响。护理计划生成方面，模型输出的安全性和分诊适宜性差异具有直接临床相关性，因为产后护理计划的核心目的不仅在于列出常规护理干预，还在于识别需要及时升级处理的风险，包括出血、感染、血栓栓塞、高血压相关症状和心理危机。
研究人员强调，本研究结果不应被解释为任一模型已具备自主临床部署条件。在LLM生成内容整合至产后护理工作流程前，需要前瞻性临床验证、本地工作流程测试、持续性能监测和明确界定的人工监督机制。面向患者的输出应明确说明其范围，并突出标识需要升级处理的警示信号。面向医疗专业人员的应用中，LLM可协助整理随访关注点、起草健康教育材料、构建初步护理计划框架和支持初步分诊，但最终内容应由具备相应资质的专业人员审核确认。临床实施还应纳入明确的升级规则、审计追踪、模型版本记录、隐私保护、访问控制以及识别和报告不安全输出的机制。由于模型行为可能在平台或模型更新后发生变化，验证应被视为持续过程而非一次性评估。
研究结论指出，ChatGPT 5.5和DeepSeek V3在产后产妇健康场景中均展现出应用潜力，但LLM的表现因任务、评估指标和使用场景而异。ChatGPT 5.5在真实世界产后咨询和基于病例的护理计划生成的大多数关键临床维度上获得更高评分，而DeepSeek V3在部分标准化回答的完整性和安全性、真实世界咨询的临床医生评定可读性以及护理计划生成的个体化方面获得更高评分。目前，LLM更适合作为经临床审查的健康教育和护理支持工具，而非独立临床指导来源。安全实施依赖于标准化和透明报告的提示协议、合格专业人员的审查、患者隐私保护以及真实世界环境中的持续验证。
