ChatGPT-5在最小化二分类提示下对X线平片桡骨远端骨折检测的性能评估

《Emergency Radiology》：Performance of ChatGPT-5 under a minimal binary prompt for detection of distal radius fractures on plain radiographs

　　

摘要 背景 通用型多模态大语言模型（multimodal large language models, LLMs）正被应用于放射学领域，但其在最简单的临床真实查询（即单一的二分类骨折与否提示）下的表现尚未经过严格量化。本研究利用公开的桡骨远端数据集，对该任务下的ChatGPT-5进行了评估。 方法 在这项回顾性诊断准确性研究中，研究人员从斯坦福MURA数据集中选取了396张桡骨远端前后位X线片，每张均在新的临时聊天会话中提交给ChatGPT-5。提示词为：“这张X光片上是否有骨折？回答是或否。”金标准由一名资深骨科住院医师和一名委员会认证的骨科医生通过共识确定的图像级别标签构成；MURA的研究级别标签仅用于筛选候选图像。26张X线片（6.6%）返回了模棱两可的回答，被排除在主要分析之外，剩余370张；所有26张在三个敏感性分析中被重新纳入。结局指标包括灵敏度、特异度、阳性预测值（PPV）、阴性预测值（NPV）、F1分数、平衡准确率和Cohen's kappa系数，同时报告95% Wilson置信区间并进行McNemar检验以评估错误不对称性。 结果 分析样本中的骨折患病率为45.9%（170/370）。灵敏度为51.2%（95% CI 43.7–58.6），特异度为70.5%（63.8–76.4），准确率为61.6%（56.6–66.4），PPV为59.6%（51.5–67.2），NPV为62.9%（56.5–69.0），F1分数为0.551，Cohen's kappa系数为0.219（0.112–0.318）。假阴性数量超过假阳性（McNemar χ2 = 4.06, p = 0.044）。非二分类回答在骨折阳性和骨折阴性X线片中的发生率分别为7.6%和5.7%（p = 0.54）；将所有此类回答计为错误后，灵敏度降至47.3%（40.2–54.5），且在任何假设下均未超过54.9%。当将患病率调整为20%时，PPV为30.3%，NPV为85.2%。 结论 在最小化二分类提示且无特定任务微调的情况下，ChatGPT-5漏诊了约一半的桡骨远端骨折，其表现远低于已发表的专用卷积神经网络（CNN）骨折检测器的性能。本结果仅限于此模型版本、此提示词、此解剖区域和此数据集；它们限制了关于自主、最小化提示使用的论断，而非精心设计的基于LLM的放射学工作流程的更广泛潜力。

一、研究背景与问题

近年来，人工智能系统，尤其是基于深度学习的算法，在协助临床医生进行X线影像骨折检测方面展现出高效能。系统综述和荟萃分析一致表明，专用人工智能算法的诊断性能可与人类阅片者相媲美，合并灵敏度和特异度通常在90–92%左右，受试者工作特征曲线下面积（AUC）达0.96–0.97。与此同时，大语言模型（LLMs）和多模态视觉语言模型开始被应用于医学影像任务，实现了与X线片等模态的对话式交互。然而，早期针对消费级多模态LLMs在肌肉骨骼影像领域的试点研究结果不一。例如，GPT-4V和GPT-4o在肌肉骨骼病例的诊断表现欠佳，而ChatGPT-4o在髋部骨折检测上表现出中等水平但对非移位亚型的检测能力下降。更广泛的跨解剖区域评估发现GPT-4V存在过度诊断倾向，特异度低至32%。

目前存在的问题在于，大多数现有评估依赖于结构化、分步式的提示或补充临床背景信息，而非最简化的临床相关查询——即在单张上传X线片上直接提问“是否有骨折：是或否？”。此外，尽管AI系统表现令人鼓舞，但仍存在重要局限性，包括对非移位骨折的灵敏度降低、研究设计异质性大，以及缺乏跨机构和解剖区域的标准化外部验证。因此，有必要系统地评估更新、更先进的基于LLM的模型在最简化二分类决策用例下的有效性，这一场景紧密模拟了真实的临床分诊问题。最小化二分类提示是一种有效的压力测试：它近似于非放射科医生可能尝试的最低摩擦临床交互方式，从而界定了在朴素使用条件下的性能下限；同时，它将模型的视觉判断与提示工程分离，后者虽能提升LLM表现，却会将问题从“模型知道什么”转向“提示引发了什么”。

二、研究设计与方法

研究人员开展了一项回顾性诊断准确性研究，以评估商用通用大语言模型ChatGPT-5在X线平片上检测桡骨远端骨折的诊断性能。研究采用了零样本（zero-shot）提示策略，使用了最简化的单一二分类提示，未进行任何任务特异性微调。主要关键技术方法包括：

1. 1.
   数据集与样本选择：研究使用了斯坦福大学医学中心MURA数据集，这是一个包含14,863项研究、40,561张多视图肌肉骨骼X线片的公开数据集。从中筛选出腕部和前臂研究类型的3,697张桡骨远端X线片，最终经质量控制和金标准审核后纳入396张（184张骨折阳性，212张骨折阴性），其中370张获得有效二分类回答进入主要分析。
2. 2.
   金标准建立：金标准并非采用MURA的研究级别标签，而是由一位资深骨科住院医师和一位委员会认证的骨科医生共同阅片，达成共识后确定的图像级别标签。两位阅片者对模型输出结果设盲，但未对MURA研究级别标签设盲。若任一阅片者对图像不确定，则予以排除。
3. 3.
   模型评估流程：所有合格图像于12月1日至次年2月28日期间，通过chat.openai.com的公共网页界面逐一提交至OpenAI的ChatGPT（版本5）。每次提交均使用新的临时聊天会话，确保图像间互不影响。采用零样本提示方式，不提供系统提示、示例病例或额外临床信息，保持模型默认设置。提示词统一为：“Is there a fracture in this X-ray? Answer with yes or no.”。模型回答通过提取首个不区分大小写的“yes”或“no”标记进行二分类解析。模棱两可的回答被排除于主要分析之外，但在敏感性分析中重新纳入。
4. 4.
   统计分析：计算灵敏度、特异度、准确率、阳性预测值（PPV）、阴性预测值（NPV）、F1分数、平衡准确率和Cohen's kappa系数，均报告95%置信区间（Wilson score区间）。使用McNemar检验评估错误不对称性。此外，将性能指标调整至20%骨折患病率的假设队列（1,000张X线片）以提高临床普适性。

三、研究结果

1. 主要分析结果

在370张X线片的主要分析集中，骨折患病率为45.9%（170/370）。ChatGPT-5的灵敏度为51.2%（95% CI, 43.7–58.6），特异度为70.5%（95% CI, 63.8–76.4），总体诊断准确率为61.6%（95% CI, 56.6–66.4）。阳性预测值为59.6%（95% CI, 51.5–67.2），阴性预测值为62.9%（95% CI, 56.5–69.0）。F1分数为0.551，平衡准确率为60.8%。Cohen's kappa系数为0.219（95% CI, 0.112–0.318），表明模型与金标准之间的一致性仅为一般水平。错误呈不对称分布，假阴性显著多于假阳性（McNemar χ2 = 4.06, p = 0.044）。

2. 非二分类回答的影响

26张X线片（6.6%）返回了非二分类回答，其中骨折阳性组14/184（7.6%），骨折阴性组12/212（5.7%），两组间差异无统计学意义（Fisher精确检验，p = 0.54）。将所有这些回答视为错误后，灵敏度降至47.3%（95% CI, 40.2–54.5），特异度为66.5%（59.9–72.5）。即使采用最有利于模型的假设（全部视为“yes”），灵敏度也仅为54.9%（47.7–61.9），未超过54.9%。

3. 患病率调整后的预测值

将模型表现外推至骨折患病率为20%的假设队列（1,000张X线片）时，模型预计能识别约102例真阳性，漏诊98例骨折，同时产生236例假阳性和564例真阴性结果。对应阳性预测值为30.3%，阴性预测值为85.2%。

四、讨论与结论

讨论总结

研究表明，ChatGPT-5在最小化零样本提示条件下，仅识别出约一半的桡骨远端骨折，并在约三成骨折阴性病例中产生假警报。观察到的51.2%灵敏度远低于多个荟萃分析报告的专用卷积神经网络（CNN）骨折检测器约90%的合并基准。这种差距过大，无法仅归因于方法学差异。

从临床角度看，约51%的灵敏度意味着近半数真正桡骨远端骨折未被模型识别。在20%患病率的假设场景中，这相当于200例骨折中漏诊98例，对于任何旨在辅助甚至替代临床决策的工具而言都是不可接受的。错误不对称性偏向临床上更严重的失败模式——假阴性多于假阳性。约30.3%的阳性预测值意味着约三分之二的阳性模型输出将是假警报，可能导致不必要的额外影像检查、会诊或患者焦虑。尽管85.2%的阴性预测值相对令人安心，但仍未达到急诊或创伤护理中筛查工具通常期望的水平。较低的Cohen's kappa系数（0.219）进一步强调了模型与金标准之间的一致性仅为一般水平。

研究人员提出了几种可能机制来解释观察到的性能不足：首先，ChatGPT-5的视觉编码器针对自然图像优化，而非X线片中细微的灰度特征和低对比度皮质中断；其次，最小化二分类提示刻意限制模型仅输出单个标记答案，排除了链式思维、结构化推理或临床背景支架，这些在其他研究中可将多模态LLM的诊断准确性提升五到十五个百分点；第三，消费级ChatGPT应用了未公开的服务端图像预处理，包括下采样和切片分割，可能导致细微影像学特征的性能损失；第四，专注于桡骨远端骨折可能放大了挑战，因为非移位或轻微移位的骨折可能较为隐匿。

研究人员强调，这些发现不支持将当前通用LLMs和视觉语言模型作为独立的骨折检测诊断工具。在现有形式下，这类模型充其量只能在受控研究环境中作为辅助工具或教育工具，而不能依赖其进行安全的临床分诊或决策。高假阴性率带来延误诊断和治疗的风险，而高假阳性率则可能使本已紧张的影像学和骨科服务超负荷。同时，研究结果并未否定AI在肌肉骨骼影像中的巨大潜力，而是强调AI的设计、训练和整合方式至关重要。任务特异性模型在大规模、精选的放射影像数据集上训练并经过跨机构验证，已持续展现出强劲性能，可作为分诊或二次阅片系统增加价值。

研究结论翻译

在现成可用且以单一二分类提示进行查询的条件下，ChatGPT-5识别出了MURA前后位X线片上约一半的桡骨远端骨折，并在约三成骨折阴性病例中产生了假阳性。本结果仅限于此模型版本、此提示词、此解剖区域和此数据集；它限制了关于消费级多模态LLMs在骨折检测中自主、最小化提示使用的论断。它并未裁决经过精心设计的基于LLM的工作流程能否为肌肉骨骼影像做出贡献的更广泛问题。在该方向的进展将需要任务特异性适应、严格的提示和流程设计、与专用CNN基线在同一图像上的直接比较，以及在多个解剖区域使用放射科医生裁定的金标准进行评估。