《Pediatric Research》：Performance of large language models in pediatric infectious disease education: a multi-condition comparative study
编辑推荐：
背景：评估当前大语言模型（large language models，LLMs）对常见儿科感染性疾病（pediatric infectious disease，PID）问题的应答是否恰当，对于理解其在教育和临床支持中的潜在作用具有重要意义。因此，研究人员采用一
背景：评估当前大语言模型（large language models，LLMs）对常见儿科感染性疾病（pediatric infectious disease，PID）问题的应答是否恰当，对于理解其在教育和临床支持中的潜在作用具有重要意义。因此，研究人员采用一种专门构建的多领域评估工具，评估并比较了不同LLMs在获得专业撰写的、临床医生风格病例描述时所产生回答的临床质量。
方法：研究人员考察了三款不同的LLMs，包括DeepSeek-V3.2-Exp、ChatGPT-5和Gemini 2.5 Flash，共涉及12个相关的PID场景。每个场景包含五个开放式问题：病因学、临床特征、诊断学、治疗方案和并发症。两名PID专科医生采用Likert评分工具对所有回答进行了独立评审。
结果：三款模型均获得较高的总体评分。ChatGPT-5在所有领域均获得满分（10.0），而DeepSeek-V3.2-Exp表现同样出色，仅在诊断学（9.83）和治疗（9.92）方面略有降低。Gemini 2.5 Flash表现出较高的变异性，尤其在治疗（8.83）和诊断学（9.75）方面，而在临床发现和并发症方面与其他模型持平（10.0），在病因学方面得分为9.83。然而，在领域层面的比较中，各模型之间均无统计学显著差异（所有p > 0.05）。此外，模型层面的分析同样显示，ChatGPT-5、DeepSeek-V3.2-Exp和Gemini 2.5 Flash分别在准确性（6.0；5.98；5.85）、完整性（3.0；2.97；2.87）和安全性（1.0；1.0；0.97）方面表现出较高水平（准确性：p = 0.074；完整性：p = 0.066；安全性：p = 0.14）。
结论：当前LLMs在结构化的、经专家评审的PID场景中表现优异，可能有助于信息组织和早期临床推理。然而，其最佳应用仍处于临床医生监督的工作流程中，即AI生成的输出应补充而非替代人类的临床判断。
影响：
•当前大语言模型（LLMs）在儿科感染性疾病场景中表现出持续的高质量性能，各模型之间无显著差异。
•该研究采用临床医生风格病例和专家评估，增加了结构化的多领域比较，为准确性、完整性和安全性提供了详细见解。
•研究结果支持LLMs在医学教育和早期临床推理中的应用，同时强调其作为临床医生监督工具而非临床判断替代品的角色。
•结果表明，LLMs在标准化场景中组织临床信息和识别关键诊断及管理要素方面具有可靠性。
论文解读
一、研究背景与问题
在日常儿科实践中，越来越多的家庭在就诊前已使用大语言模型（large language models，LLMs）查询儿童症状相关信息，儿科医生因此常常需要审阅这些AI生成的内容、澄清其中的不准确之处，并帮助家庭辨别哪些信息可靠、哪些可能具有误导性。类似的转变也出现在医学教育领域：儿科感染性疾病（pediatric infectious disease，PID）门诊中，越来越多的医学生、儿科住院医师及专科进修医生在准备病例汇报或考试时使用LLMs复习症状、回顾疾病概要或梳理诊断步骤。对于许多受训者而言，LLMs已成为他们在不确定时获取解释的可靠来源。
这些变化在临床实践中引发了一个核心问题：LLMs提供的回答，尤其是在儿科感染性疾病这一需要年龄特异性解读和审慎决策的领域，其可靠性和临床适宜性究竟如何？该领域即使微小的不准确也可能影响疾病管理。既往研究，包括研究人员此前针对儿科肺炎学习的研究，已表明LLMs在不同模型和临床推理领域之间的表现存在差异，但多数研究局限于单一疾病或狭窄的临床任务范围。为弥补这一空白，研究人员设计了本研究，旨在通过多个涵盖临床推理核心领域（病因学、临床发现、诊断学、治疗和并发症）的儿科感染性疾病场景，比较三款广泛使用的LLMs的表现，评估这些模型在不同临床场景中的一致性，并明确其作为临床监督下教育支持工具的角色定位。
二、研究设计与主要方法
本研究为横断面比较研究，选取三款公开可访问的通用型LLMs，包括ChatGPT-5（OpenAI）、Gemini 2.5 Flash（Google）和DeepSeek-V3.2-Exp（DeepSeek）。研究人员选取了六种核心儿科感染性疾病病种（包括急性细菌性脑膜炎、肺炎、胃肠炎等），每种疾病设置两个在患者年龄和/或疾病严重程度上有所差异的临床场景，共12个场景、60个开放式问题。场景选择遵循三项标准：临床相关性与严重性、流行病学代表性以及教育适用性。所有交互于2025年11月18日通过各平台公开网页版本完成，使用新建用户账户，采用默认设置进行多轮顺序提问。两名经认证的儿科感染性疾病专科医生在完全盲态下使用基于Likert量表的评估工具对所有回答进行独立评分，评分涵盖三个维度：准确性（1–6分制）、完整性（1–3分制）和安全性（0–1二分类）。评分差异通过讨论达成共识。统计分析采用Friedman检验比较序数结果（准确性、完整性、总分），采用Cochran's Q检验比较二分类安全性结果，以双侧p < 0.05为统计学显著标准。
三、研究结果
总体应答量：共向三款模型提交了源自12个场景、覆盖六种儿科感染性疾病病种（每种疾病两个场景）的60个开放式问题，产生180条回答。每条回答由两名儿科感染性疾病专科医生评审，共产生360项独立评估。
领域特异性表现：ChatGPT-5在所有领域均达到平均满分10.0。DeepSeek-V3.2-Exp在病因学、临床发现和并发症方面同样获得10.0，但在诊断学（9.83）和治疗（9.92）方面略有降低。Gemini 2.5 Flash在这两个领域表现相对较弱，诊断学为9.75、治疗为8.83，而在临床发现和并发症方面达到10.0、病因学为9.83。所有领域的模型间差异均无统计学显著性（所有p > 0.05）。
模型层面的准确性、完整性与安全性比较：ChatGPT-5在准确性方面获得满分6.0，DeepSeek-V3.2-Exp几乎相同（5.98），Gemini 2.5 Flash紧随其后（5.85）。完整性方面，ChatGPT-5获得满分3.0，DeepSeek-V3.2-Exp接近满分（2.97），Gemini 2.5 Flash略低（2.87）。安全性方面，ChatGPT-5和DeepSeek-V3.2-Exp均获得1.0，Gemini 2.5 Flash为0.97。所有总体比较均未达到统计学显著水平（准确性：Friedman p = 0.074；完整性：Friedman p = 0.066；安全性：Cochran's Q p = 0.14）。
四、讨论与结论
讨论部分指出，三款模型在儿科感染性疾病场景中均获得高分且结果接近，未发现准确性、完整性或安全性方面的显著差异，表明当前世代LLMs在给定相同儿科病例时倾向于产生相似的临床推理输出。与研究人员此前针对儿科肺炎学习的研究相比，当时ChatGPT-3.5表现明显低于DeepSeek-V3和Gemini 2.0，而本研究中更新的ChatGPT版本在各项指标上达到甚至有时超过其他两款系统，尽管差异均无统计学意义。专家评审者识别出反复出现的定性缺口，主要集中在年龄特异性决策阈值（如生命体征临界值和住院标准）、以安全为导向的升级标准和治疗建议的深度（包括剂量精确性和随访规划）等方面，表明高数值表现并不等同于在儿科实践中完全可靠的临床推理。研究还讨论了不同评估工具可能导致不同模型排名的局限性，强调多维评估比仅依赖总体得分更具信息价值。
研究结论为：DeepSeek、ChatGPT和Gemini在儿科感染性疾病场景中均获得高分，在准确性、完整性和安全性方面表现相近。尽管某些领域存在小幅数值差异，但均未达到统计学显著性。当前版本的系统在结构化儿科感染性疾病场景中以可比水平运行，可能支持早期临床推理。然而，持续的高分表明评估工具区分模型间差异的能力有限，模型间的表面相似性可能部分反映评分工具保守的、基于指南的设计而非临床推理的真实差异。未来研究需要更灵敏的评估工具和更具临床挑战性的场景来识别当前世代模型之间的有意义差异。因此，LLMs最适合被视为辅助工具，可协助信息组织和早期诊断思维，而整合到临床工作流程中应继续涉及临床医生监督。人机结合的方案是将这些系统整合到儿科感染性疾病实践中的安全且实用的框架。
