多模态大语言模型在日本齿科卫生士国家考试视觉类问题中的性能评估与教育应用潜力

本研究针对口腔健康领域专业人才评估需求，创新性地评估了5种多模态大语言模型（LLMs）在日本齿科卫生士国家考试中的表现。研究团队采用第34届考试213道试题（含139道视觉题），发现Gemini 2.5 Pro Experimental以85%正确率显著领先，尤其在视觉题中达82%准确率，证实多模态LLMs在口腔健康教育中的工具化潜力，为AI辅助医学教育提供实证依据。

　　

在全球口腔健康战略推进的背景下，牙科卫生士的培养质量成为关注焦点。然而，这个职业在不同地区的发展极不均衡——高收入国家人才充足，而低收入国家甚至缺乏基础培训体系。更棘手的是，传统教育模式难以应对复杂的临床视觉教学需求，比如X光片判读、器械识别等核心技能。正是在这样的背景下，一项突破性研究探索了人工智能如何破解这个难题。

研究人员将目光投向日本齿科卫生士国家考试——这个包含大量临床图像题目的权威评估体系。他们选取了2025年第34届考试的213道有效题目（含139道视觉题），对5款前沿多模态大语言模型（LLMs）展开测试：OpenAI o3-mini-high（o3-mh）、ChatGPT-4.5 Preview（GPT-4.5）、Gemini 2.0 Flash Thinking Experimental（Gemini 2.0）、Gemini 2.5 Pro Experimental（Gemini 2.5）和Claude 3.7 Sonnet（Claude 3.7）。这些模型需要同时处理文字描述和临床图像，就像真正的考生那样作答。

研究采用零样本提示策略，直接输入原始试题和选项，不进行任何人工干预。通过Cochran's Q检验和Bonferroni校正的McNemar's检验进行统计分析。结果显示，Gemini 2.5以85%的总正确率（95%CI：79.5–89.5）拔得头筹，显著优于GPT-4.5（P=0.029）和Gemini 2.0（P=0.010）。在视觉题专项中，其82%的准确率（74.6–88.0）更是将其他模型甩开近10个百分点。

材料与方法的关键技术
研究团队采用日本厚生劳动省公布的2025年齿科卫生士国家考试真题作为数据集，排除7道官方撤题后保留213道（74文本题+139视觉题）。通过零样本提示法测试5种多模态LLMs，使用IBM SPSS Statistics 27进行统计分析，采用Cochran's Q检验评估模型间差异，辅以Bonferroni校正的McNemar's检验进行两两比较。

结果揭示的突破性发现

1. 整体表现：Gemini 2.5在"病理与恢复原理"科目实现100%正确率，但在"牙科预防治疗理论"科目正确率降至82.6%，显示专业领域性能波动。
2. 视觉解码能力：在包含51道视觉题的"临床牙科学"科目，Gemini 2.5保持84.3%准确率，而Claude 3.7仅68.6%，揭示模型间视觉解析力的本质差异。
3. 错误模式分析：所有模型均答错的14题中，11题为视觉题，且集中在正畸、修复等需要三维空间理解的领域。

讨论与行业变革意义
这项发表在《Journal of Dental Sciences》的研究，首次系统验证了多模态LLMs处理牙科视觉信息的能力。Gemini 2.5展现的82%视觉题正确率，标志着AI开始突破口腔教育的"视觉壁垒"。但研究也暴露出关键局限：15%的错误率仍高于临床容错标准，且在非拉丁语系术语理解上存在偏差——这与Song等学者发现的韩语考试中GPT-3.5存在23.6%英韩表现差的现象不谋而合。

更具启发的是，模型在提供错误答案时往往伴随详细解释，这种"自信幻觉"在医学教育中可能造成认知误导。研究者建议未来开发应结合检索增强生成（Retrieval-Augmented Generation）技术，并建立牙科专属知识验证机制。

这项研究为AI在口腔健康领域的应用划定了新坐标。随着多模态技术的演进，LLMs或将重塑牙科教育范式——从智能题库构建到个性化临床思维训练，甚至成为偏远地区的"虚拟导师"。但实现这一愿景的前提，是攻克视觉推理精准度、多语言适应性、解释可靠性这三座技术高峰。正如研究者强调的，这场变革需要教育者、临床专家与AI开发者的深度协同，方能将技术潜力转化为真正的教育生产力。