人工智能大语言模型在台湾地区牙医执照考试中的表现评估与临床推理能力分析

本研究针对AI大语言模型(LLMs)在专业医学评估中的可靠性问题，聚焦牙医执照考试场景，系统评估了ChatGPT3.5、Gemini和Claude2在台湾地区2699道牙医执照考题中的表现。结果显示Claude2以54.89%准确率领先，但所有模型均未达60%及格线，揭示LLMs在基础学科(如生物化学73.81%)优势明显而临床推理(如修复学47.29%)存在短板，为AI辅助牙科教育提供重要基准数据。

　　

随着ChatGPT等大语言模型(LLMs)在医疗领域的爆炸式应用，一个关键问题浮出水面：这些号称"全能"的AI助手，能否通过专业医学执照考试的严格检验？尤其在需要结合理论知识与临床思维的牙科领域，LLMs的表现更令人存疑。尽管已有研究显示GPT4能通过日本医师考试，但牙科特有的三维解剖思维和操作决策特性，使得AI模型面临独特挑战。更棘手的是，不同LLMs在专业场景的性能差异缺乏系统比较，这给牙科教育者选择AI辅助工具带来了决策盲区。

台湾地区的研究人员敏锐捕捉到这一研究空白，在《Journal of Dental Sciences》发表了一项开创性研究。他们选取2019-2023年台湾牙医执照考试中2699道选择题，排除含图像的题目后，采用标准化提问格式测试了ChatGPT3.5、Gemini和Claude2三大主流LLMs。通过麦克尼马尔检验等统计方法，首次系统比较了这些模型在20个牙科子学科的表现差异。

研究方法的关键在于：1)构建覆盖基础牙科(口腔解剖学、生物化学等8科)与临床牙科(牙周病学、口腔外科等12科)的标准化题库；2)采用统一提示工程优化提问方式；3)使用SPSS 15.0进行配对样本统计分析；4)引入人类考生通过率作为参照基准。

研究结果呈现多个突破性发现：

1. 性能对比：Claude2以54.89%整体准确率显著领先(P<0.0001)，ChatGPT3.5(49.33%)和Gemini(44.63%)分列二三位。在基础牙科阶段，Claude2更以59.73%接近及格线，其中口腔微生物学达88.89%惊人准确率。

2. 学科差异：基础学科优势明显，生物化学(Claude2 73.81%)、口腔病理学(69.72%)表现突出；而临床学科普遍薄弱，仅牙科公共卫生(65.81%)超过60%。修复学中全口义齿项目三模型均低于40%，暴露临床推理短板。

3. 年度对比：2022年2月基础考试中，Claude2(63.14%)罕见超越人类通过率(49.57%)；但在同年7月临床考试(人类通过率92.72%)中，最佳模型Claude2仅50.87%，凸显"高分考试"中的AI劣势。

讨论部分深刻指出：LLMs呈现典型的"知识型强、应用型弱"特征，这与Bloom认知分类理论中高阶思维需求相吻合。特别在需要三维空间想象的口腔解剖学(35-45%准确率)和需要综合判断的修复治疗(36-51%)领域，AI明显逊色于人类考生。研究建议牙科院校应：1)在基础教学中合理利用LLMs的强项；2)开发针对性的提示工程优化临床问题解决；3)警惕AI生成内容的"自信型错误"，特别是在药理治疗建议等高风险领域。

这项研究的价值不仅在于建立了牙科AI评估的金标准，更揭示了当前LLMs的"能力边界"——它们能成为优秀的牙科知识库，但尚不能替代临床经验培养。随着GPT4等更先进模型的涌现，持续跟踪评估将助力构建安全可靠的AI辅助牙科教育体系。