多模态大语言模型在下颌骨骨折全景牙片检测与定位中的表现评估：与盲法专家比较

《BMC Oral Health》：Prompt-based evaluation of ChatGPT and Gemini for mandibular fracture detection and localization on panoramic radiographs

　　

摘要

背景

多模态大语言模型（MLLMs）能够处理视觉和文本输入；然而，其在颌面创伤影像学中的临床价值仍存在不确定性。本研究评估了ChatGPT和Gemini在利用提示词基于全景牙片检测和定位下颌骨骨折方面的表现，并将其与一位盲法评价的口腔颌面外科医生的表现进行了比较。

方法

本回顾性影像学研究共纳入104张存档的术前全景牙片：其中64张为下颌骨骨折病例，40张为无骨折对照组。参考骨折状态和解剖学定位通过机构可获取的临床、影像学、治疗、手术记录及术前CBCT/CT记录进行回顾性确定。ChatGPT和Gemini使用标准化提示词对每张牙片进行三次独立的骨折检测和定位评估。骨折检测采用多数投票法，而定位则采用跨次重复的序数一致性评分。一位不知晓研究目的及参考诊断的盲法口腔颌面外科医生独立评估了所有牙片，并记录自由文本形式的影像学发现。诊断性能指标以95%置信区间报告，配对比较采用Holm校正方法进行调整。

结果

该盲法专家正确分类了全部104张牙片，敏感性、特异性和准确率均达到100%。Gemini的敏感性为92.2%，特异性为65.0%，准确率为81.7%，而ChatGPT对应的数值分别为35.9%、97.5%和59.6%。三种方法的整体检测性能存在显著差异（Cochran's Q，p?<?0.001），Gemini的整体分类准确率显著高于ChatGPT（Holm校正后p?=?0.0018）。在骨折定位方面，专家在64例中有62例（96.9%）给出完全正确的回答，Gemini为64例中10例（15.6%），ChatGPT为64例中17例（26.6%）。序数定位评分在三种方法之间存在显著差异（p?<?0.001）；专家的评分高于两种模型，Gemini的评分高于ChatGPT，因为Gemini产生了更多部分正确的回答，而ChatGPT在精确匹配定位方面更为频繁（26.6%对15.6%）。

结论

盲法人类专家在下颌骨骨折评估中显著优于两种多模态大语言模型。Gemini表现出更高的敏感性和更广泛但精确度较低的定位行为，而ChatGPT则表现出更高的特异性，但漏诊了更大比例的骨折。这些结果表明，通用型多模态大语言模型基于提示词生成的文本输出仍不一致，不应被视为专家临床和影像学评估的替代品。