五种大型语言模型在儿科困难气道管理中的表现评估与临床适用性

《BMC Medical Education》：Mechanism-aware benchmarking of large language models as learning aids in pediatric difficult airway training: true hallucinations vs. false contraindications

　　

摘要

背景

大型语言模型（LLMs）正在被研究其在围手术期决策制定中的潜在应用，以及作为培训人员的非正式“即时”学习工具。本研究使用一种能够区分真实幻觉和错误禁忌症的机制感知评分方法，评估了五种LLMs在儿科困难气道管理中的表现，并考察了它们是否适合用于监督学习。

方法

在一项涉及比较性盲法评估的模拟研究中，根据2022年美国麻醉医师学会的困难气道指南，使用标准化的提示向五种LLMs展示了50例儿科困难气道管理案例。两名麻醉医师使用修改后的0-5评分标准对这些模型的回答进行了评估。

结果

评分者间的一致性被认为非常高，二次加权κ值为0.982。模型之间的整体表现存在统计学上的显著差异（Friedman χ2(4) = 100.12，p < 0.001）。在这次一次性评估中，GPT-5.2 Thinking的平均得分和可接受回答的比例最高，而Claude Opus 4.5的组合错误率最高（GPT两个模型的错误率分别为23.0%和6.5%）。Claude Opus 4.5中出现了最多的真实幻觉（11.8%；其他模型为0.5%-2.2%），而在所有模型中都出现了错误禁忌症（5.0%-13.0%），且主要集中在罗库溴铵相关情况。随着复杂性的增加，情景的不足情况（得分≤2）也越来越严重：困难插管时的比例为32%-98%，困难通气时为46%-94%，CICO（气道管理不能完成）时为52%-92%。

结论

当前一代的LLMs在儿科困难气道管理中表现出模型特定的性能特征和错误模式。剂量相关的问题通过真实幻觉和错误禁忌症两种不同的机制体现出来。研究结果揭示了这些模型所使用的情景存在明显不足，尤其是在复杂性和错误率增加的情况下。目前的LLMs可以作为受监督的补充学习工具具有一定价值，但无法作为自主的临床或教育指导来源。

背景

大型语言模型（LLMs）正在被研究其在围手术期决策制定中的潜在应用，以及作为培训人员的非正式“即时”学习工具。本研究使用一种能够区分真实幻觉和错误禁忌症的机制感知评分方法，评估了五种LLMs在儿科困难气道管理中的表现。

方法

在一项涉及比较性盲法评估的模拟研究中，根据2022年美国麻醉医师学会的困难气道指南，使用标准化的提示向五种LLMs展示了50例儿科困难气道管理案例。两名麻醉医师使用修改后的0-5评分标准对这些模型的回答进行了评估。

结果

评分者间的一致性被认为非常高，二次加权κ值为0.982。模型之间的整体表现存在统计学上的显著差异（Friedman χ2(4) = 100.12，p < 0.001）。在这次一次性评估中，GPT-5.2 Thinking的平均得分和可接受回答的比例最高，而Claude Opus 4.5的组合错误率最高（GPT两个模型的错误率分别为23.0%和6.5%）。Claude Opus 4.5中出现了最多的真实幻觉（11.8%；其他模型为0.5%-2.2%），而在所有模型中都出现了错误禁忌症（5.0%-13.0%），且主要集中在罗库溴铵相关情况。随着复杂性的增加，情景的不足情况（得分≤2）也越来越严重：困难插管时的比例为32%-98%，困难通气时为46%-94%，CICO（气道管理不能完成）时为52%-92%。

结论

当前一代的LLMs在儿科困难气道管理中表现出模型特定的性能特征和错误模式。剂量相关的问题通过真实幻觉和错误禁忌症两种不同的机制体现出来。研究结果揭示了这些模型所使用的情景存在明显不足，尤其是在复杂性和错误率增加的情况下。目前的LLMs可以作为受监督的补充学习工具具有一定价值，但无法作为自主的临床或教育指导来源。