大语言模型在药物相关性颌骨坏死相关根管治疗临床决策中的表现及指南辅助提示效果比较

《Scientific Reports》：Effect of guideline-assisted prompting on large language model performance in medication-related osteonecrosis of the jaw–related endodontic decision-making

　　

摘要

对于正在接受抗骨吸收药物治疗的患者，临床决策需要在保留患牙与避免药物相关性颌骨坏死（MRONJ）的风险之间取得平衡。本研究比较了ChatGPT、Claude和DeepSeek在处理MRONJ相关根管治疗场景中的表现，并评估了借助2022年美国口腔颌面外科学会（AAOMS）立场声明进行指南辅助提示的效果。研究人员依据2022年AAOMS立场声明及当前科学证据，制定了十八个虚构且标准化的MRONJ相关根管治疗临床场景。研究采用两阶段设计，对三种当代大语言模型（ChatGPT、Claude和DeepSeek）进行评估，分别为基线评估和指南辅助评估。在第二阶段，研究者提供完整的AAOMS立场声明后再对相同场景进行评估。两位根管治疗专科医生独立使用六分序数量表（0–5）对匿名回答在五个临床决策领域进行评分。主要结局指标为五个领域得分的均值，得出0至5之间的总体临床决策得分。使用初始评分评估评分者间一致性，分歧在分析前通过共识解决。主要分析采用线性混合模型（LMMs），对序数领域得分进行累计链接混合模型（CLMMs）敏感性分析。在适当的情况下进行Bonferroni校正的事后比较。基线时，ChatGPT的总体平均得分显著高于Claude（4.68?±?0.14 vs. 4.29?±?0.38）。经过指南辅助提示后，Claude的平均得分上升至4.68?±?0.28（在0–5量表中提升0.39分），ChatGPT与Claude之间的统计学显著差异不再存在。DeepSeek的总体得分持续低于两种模型。分析发现显著的总体阶段效应（p?<?0.001）和模型×阶段交互效应（p?=?0.004）。领域水平的CLMM敏感性分析总体支持了LMM的发现，但会诊和药物管理领域的阶段效应未获CLMM确认。在随访建议方面观察到最显著的特异性模型得分提升，尤其是Claude。指南辅助提示与更高的预设参考标准一致性相关，尤其是Claude，其在总体得分和随访建议方面显示出最大改善。尽管ChatGPT在基线时得分显著高于Claude，但经过指南辅助提示后该差异不再具有统计学显著性。由于临床场景、参考标准和指南辅助干预均与同一AAOMS指南保持一致，这些结果不应被解读为对临床准确性的独立验证。在将这些模型用于临床医生监督下的决策支持之前，还需要进一步开展使用外部开发场景和真实临床案例的研究。