七种人工智能聊天机器人在牙髓病学委员会式问题中的性能评估：教育辅助工具的潜力与局限

本研究针对AI聊天机器人在牙髓病学委员会考试（ABE）式问题中的表现展开系统评估。研究人员测试了Gemini Advanced、GPT-4o等7种主流模型对100道模拟题的应答准确性与推理质量，发现最高准确率达71%（Gemini Advanced/GPT-3.5/Claude 3.5 Sonnet），但存在文献类问题应答短板。该研究为AI在牙科教育中的应用提供了首个严格证据链，揭示了当前技术作为辅助工具的可行性及需优化的关键环节。

　　

在人工智能技术席卷医疗教育的浪潮中，牙髓病学领域正面临一个关键矛盾：一方面，大型语言模型（LLM）如ChatGPT已能通过美国医师执照考试（USMLE），展现出惊人的知识整合能力；另一方面，专科委员会考试所要求的深度专业知识与临床推理，仍是AI难以逾越的高墙。这种矛盾在牙髓病学领域尤为突出——作为根管治疗的核心学科，其委员会认证考试（ABE Written Exam）不仅考察教科书知识，更强调对经典文献的解读能力。然而现有研究多聚焦于AI对公众常见问题的应答，尚未系统评估其在专业认证层面的表现。

为此，一项开创性研究在《Journal of Endodontics》发表。研究团队设计了一套严格的评估体系：由两位委员会认证的牙髓病专家编制100道ABE风格试题，涵盖教科书基础与文献临床两类知识。七款主流AI模型（包括Gemini Advanced、GPT-4o等）需在三次独立测试中均给出正确答案方计为正确，并接受0-2分的推理质量评分。通过卡方检验与Kruskal-Wallis等统计方法，首次揭示了AI在专科认证准备中的真实能力边界。

关键技术方法包括：1）基于ABE考试指南构建100道标准化问题库；2）采用三重测试法消除AI应答随机性；3）双盲评审机制对2100条应答进行准确率与推理评分；4）加权Cohen's Kappa检验评估评审者一致性；5）区分教科书与文献类问题的表现差异分析。

研究结果呈现三大发现：

准确性差异显著
GPT-3.5与Claude 3.5 Sonnet以71%准确率并列第一，而微软Copilot仅48%（P<0.05）。值得注意的是，所有模型在三次测试中均需答对才计分的设计，显著低于既往单次测试报告的结果（如GPT-4o在口腔颌面外科考试中83.69%的准确率），凸显评估严格性对结果的影响。

知识来源决定表现
GPT系列与Claude对教科书问题准确率（81%）显著高于文献类（31%，P<0.05），暗示其训练数据可能缺乏付费墙后的专业文献。而Gemini系列表现稳定，不受问题来源影响，提示模型架构差异导致的知识获取策略不同。

推理质量参差不齐
Gemini Advanced的推理评分2分占比达81%，远超Copilot的56%。但所有模型在答错时仍会生成"自信但错误"的推理，暴露出幻觉（hallucination）问题的普遍性。这种错误在临床场景中可能导致严重后果，如建议不必要的手术方案。

讨论部分指出，该研究为AI在牙科教育中的应用划定了清晰边界：虽然Gemini Advanced等模型展现出辅助备考的潜力（尤其对教科书知识的系统梳理），但其文献解读短板与幻觉风险，要求必须建立"人类专家-AI协同"的使用范式。作者建议未来开发应聚焦三点：1）整合专业数据库解决文献访问局限；2）开发幻觉检测算法；3）建立针对专科考试的微调（fine-tuning）协议。

这项研究的意义不仅在于性能排名，更开创了评估AI医疗教育工具的新范式——通过模拟真实认证考试的严格场景，为后续口腔专科的AI研究树立方法论标杆。随着ABE等认证机构逐步认可AI的辅助角色，这类评估将帮助教育者合理利用技术红利，同时规避潜在风险，最终提升牙髓病专科医师的培养效率与质量。