Gemini 3系列与ChatGPT 5.2、DeepSeek V3.2在土耳其牙髓病学专科考试题上的大语言模型性能比较研究

《BMC Oral Health》：Performance of latest-generation large language models on endodontic specialty examination questions: a comparative cross-sectional study

　　

摘要

背景

本研究旨在比较 Gemini 3 Pro、Gemini 3 Flash、ChatGPT 5.2 和 DeepSeek V3.2 在土耳其牙科学专科考试（DUS）牙髓病学部分的性能，特别关注题目来源、类型和牙髓病学子主题。

方法

数据集包含 2012 年至 2025 年的 187 道牙髓病学题目，分层为 2012 年至 2021 年的互联网来源题目（n = 127）和 2022 年至 2025 年的教科书来源题目（n = 60）。题目按类型进一步分类为病例分析、文献知识、组合或视觉分析，并按 10 个牙髓病学子主题进行分类。按照标准化的零样本提示协议（公共网页界面、默认设置、每道题单次运行），两名独立的牙髓病学评估者使用盲法 0–3 评分标准对回答进行评分，然后对每项回答的两名评估者分数取平均值。模型的整体性能表示为最大可能评分标准分数的百分比（100%）。统计分析采用 Friedman 检验、带 Bonferroni 校正的 Wilcoxon 符号秩检验、Mann-Whitney U 检验和 Kruskal-Wallis 检验。

结果

所有报告的百分比均代表归一化的评分标准性能分数，评估包括答案选择和推理质量，而不仅仅是简单的正确/错误准确率。实现了高度一致的评分者间一致性，二次加权 kappa 值范围为 0.954 至 0.998。在整体性能方面，Gemini 3 Pro（90.37%）和 Gemini 3 Flash（88.32%）显著优于 ChatGPT 5.2（78.25%）和 DeepSeek V3.2（62.12%）（调整后 p ≤ 0.001；Kendall's W = 0.214）；相应的答案准确率分别为 94.1%、93.0%、86.6% 和 73.3%。Gemini 模型之间未发现显著差异（调整后 p = 1.000）。在任何模型内部，互联网来源题目和教科书来源题目之间均未观察到显著差异。在文献知识题目、组合题目和选定的牙髓病学子主题中，Gemini 模型通常表现出比其他模型更高的评分标准性能。

结论

研究结果表明，最新一代大语言模型，特别是 Gemini 3 系列，在土耳其牙髓病学住院医师考试题目上表现出高评分标准性能。互联网来源题目和教科书来源题目之间未观察到性能上的显著差异；然而，不能排除两组数据污染的可能性。这些模型可作为牙髓病学教育的辅助工具；然而，考试表现不能确立临床诊断性能，其输出需要专家验证。