大型语言模型在土耳其牙科专科考试牙周病学问题回答中的性能比较：一项关于准确性与覆盖度的横断面研究

《BMC Oral Health》：Comparative performance of large language models in answering periodontology questions from the Turkish Dental Specialty Examination: a cross-sectional study on accuracy and coverage

本研究针对牙周病学领域缺乏大型语言模型(LLM)系统性评估的现状，研究人员开展了四项当代LLM(ChatGPT-4、Claude、Gemini Advanced和DeepSeek-R1)在土耳其牙科专科考试(DUS)牙周病学问题上的性能比较研究。结果显示ChatGPT-4总体准确率最高(73.3%)，临床问题准确率低于基础知识问题，覆盖度评分无显著差异。该研究为LLM在牙科专科教育中的应用提供了重要参考依据。

　　

在人工智能技术迅猛发展的今天，大型语言模型(Large Language Models, LLM)正在彻底改变医疗保健领域的传统工作方式。牙科作为医学的重要分支，同样面临着这场技术革命带来的机遇与挑战。特别是在牙科专科教育领域，如何有效利用这些先进工具提升学习效率和诊断准确性，成为了教育工作者和临床医生共同关注的热点问题。

牙周病学作为牙科的重要专科之一，主要研究牙齿支持组织疾病的预防、诊断和治疗。这一领域不仅需要扎实的基础医学知识，如免疫学、生物膜微生物学和伤口愈合机制，还需要丰富的临床经验来处理复杂的诊断和治疗决策。土耳其牙科专科考试(Dental Specialty Examination, DUS)作为评估牙科医生专业水平的重要标准，其牙周病学部分尤其能够检验考生对基础理论与临床实践的综合掌握程度。

然而，目前尚缺乏针对不同大型语言模型在牙周病学专业领域性能的系统性比较研究。特别是这些模型在基础知识与临床应用题上的表现差异，以及它们解释问题的全面性(覆盖度)尚未得到充分评估。正是为了填补这一研究空白，迪亚巴克尔迪克莱大学牙医学院的研究人员开展了一项创新性研究。

研究人员从2010-2021年公开的DUS试题中精选了60道牙周病学题目，并将其分为"基础科学与病理学"和"临床应用与治疗"两大类。这些题目以标准化的方式分别输入到四个当代主流大型语言模型：ChatGPT-4、Claude、Gemini Advanced和DeepSeek-R1中。每个模型的回答都从准确率(答案是否正确)和覆盖度(解释的全面性，1-5分制)两个维度进行评分。

为了确保评估的客观性，研究采用了双盲评价机制，由两名独立的评估者对模型回答的覆盖度进行评分，显示出极佳的评分者间信度(κ=0.88)。统计分析则采用了科克伦Q检验(Cochran's Q test)和麦克尼马尔检验(McNemar test)比较准确率，威尔科克森检验(Wilcoxon test)比较覆盖度评分，并采用邦费罗尼校正(Bonferroni correction)控制多重比较的误差。

研究发现呈现出一幅清晰的性能图谱。在总体准确率方面，ChatGPT-4以73.3%的正确率领先，其次是DeepSeek-R1(63.3%)、Gemini Advanced(55.0%)，而Claude表现最为不理想，仅为36.7%。这一排序在分组分析中保持一致，无论是基础科学题目还是临床应用题，ChatGPT-4都稳居首位。

尤其值得注意的是，所有模型在基础知识类题目上的表现均优于临床应用题。以表现最佳的ChatGPT-4为例，其在基础科学题目上的准确率达到80.0%，而在临床应用题上降至66.7%。这一差距在Claude上更为明显，基础科学题目准确率为43.3%，临床应用题仅为30.0%。这种性能差距凸显了当前大型语言模型在处理需要临床推理和情境判断的复杂问题时的局限性。

在覆盖度评分方面，结果出现了不同的趋势。四个模型的平均覆盖度评分非常接近，介于3.8到4.2之间，且统计检验显示无显著差异。这表明尽管各模型在答案正确性上存在明显差别，但它们提供的解释在全面性和详细程度上大致相当。

统计分析进一步强化了这些发现的可靠性。科克伦Q检验显示，无论是在基础科学类别(Q=22.0, p<0.001)还是临床应用类别(Q=22.2, p<0.001)，模型间的准确率差异都具有统计学意义。两两比较发现，ChatGPT-4与其它三个模型的差异均达到显著水平，而DeepSeek-R1与Gemini Advanced之间的差异未达到统计学意义。

这项研究的结果与先前在多医学专科领域的研究发现相呼应，进一步证实了ChatGPT-4在专业医学知识评估中的领先地位。同时，研究也揭示了大型语言模型在牙周病学这一专业领域应用的特有规律。

为什么临床应用题对大型语言模型更具挑战性？牙周病学的临床决策往往需要整合多种信息源并进行情境化推理。例如，诊断一位糖尿病患者的重度牙周炎时，需要综合考虑疾病进展速度、骨质丧失模式、全身状况对治疗反应的影响等多重因素。这种多维度的临床判断能力，恰恰是当前基于模式识别的大型语言模型的相对薄弱环节。

另一方面，Claude相对保守的表现可能与其设计理念有关。作为强调安全性和伦理考量的大型语言模型，Claude在应对不确定性时可能更倾向于谨慎作答，这种特性在需要明确决策的临床场景中反而可能成为劣势。

该研究的实际意义不容小觑。对于牙科教育工作者而言，了解不同大型语言模型的特点有助于更有效地将这些工具整合到教学过程中。ChatGPT-4显示出作为牙周病学基础知识学习辅助工具的潜力，可帮助学生巩固理论概念。然而，在临床能力培养方面，大型语言模型目前仍无法替代传统的临床培训和导师指导。

研究的优势在于其严谨的方法学设计：明确的问题选择和分类标准、多模型比较框架、标准化的提示协议以及客观的双盲评估机制。然而，作者也坦诚指出了研究的若干局限性。60道题目的样本量虽然满足统计学要求，但可能不足以全面代表牙周病学知识体系的所有方面。此外，由于大型语言模型的训练数据不公开，无法完全排除试题内容已存在于模型训练数据中的可能性(即数据泄露问题)。最后，大型语言模型更新迅速，研究结果仅反映特定版本在特定时间点的性能。

这项研究为牙周病学教育工作者提供了一个重要启示：大型语言模型可以作为有用的辅助工具，但不应过度依赖。在基础知识学习阶段，ChatGPT-4等高性能模型能够提供质量较高的解释和答案；然而在临床能力培养方面，仍需依靠传统的临床训练和经验积累。

随着人工智能技术的持续进步，未来版本的大型语言模型有望在临床推理方面取得更大突破。但就目前而言，明智的做法是将这些工具视为补充而非替代牙科专科教育中的人类专家指导。对牙科学生而言，培养批判性思维能力和审慎评估大型语言模型输出结果的能力，与学习如何使用这些工具本身同样重要。

这项发表在《BMC Oral Health》上的研究不仅填补了大型语言模型在牙周病学评估领域的知识空白，也为未来研究奠定了基础。后续工作可拓展至其他牙科专科，比较不同模型在口腔医学各子领域的性能特点，从而为人工智能在牙科教育中的合理应用提供更全面的指导。