土耳其牙科专业考试中大型语言模型对修复牙科问题回答的时间一致性

《Scientific Reports》：Temporal consistency of large language model responses to restorative dentistry questions from the Turkish dental specialty examination

　　

摘要

本研究旨在比较土耳其牙科专业考试中与修复牙科学相关的多项选择题上不同大型语言模型的准确率，并评估两次测试之间的回答一致性（重测信度）。研究中使用了127道与修复牙科学相关、无视觉辅助材料的文本型多项选择题。ChatGPT-5.1、Gemini 2.5 Pro、Microsoft Copilot和DeepSeek-v3.2模型在两个不同时间点（T1和T2）的回答会根据官方答案进行正确/错误判定。模型的准确率通过Cochran’s Q检验进行分析，而两次测试之间的差异则通过McNemar检验来分析。重测信度则通过Cohen’s Kappa系数和百分比一致率来评估。ChatGPT-5.1在两次测试中的准确率均最高，但各模型在T1和T2阶段的准确率之间并未出现统计学上的显著差异。在按子类别进行的分析中，各模型之间也不存在显著的性能差异。重测分析表明，尽管准确率有所不同，但不同模型的回答一致性可能存在差异，Cohen’s Kappa值介于较低到中等水平。研究表明，大型语言模型能够以较高准确率回答修复牙科学领域的理论知识类问题，但在随时间变化的回答一致性方面可能存在局限。这些发现表明，虽然大型语言模型可作为牙科教育中的辅助工具，但在没有人工监督的情况下使用它们需要谨慎考虑。