大型语言模型在土耳其牙科专业考试(DUS)中的表现评估:多系统跨语言比较研究
《BMC Oral Health》:Performance of LLM-based systems in a national dental specialty examination: a multi-system benchmark study
【字体:
大
中
小
】
时间:2026年10月16日
来源:BMC Oral Health 3.8
编辑推荐:
**摘要**
**背景**
大型语言模型(LLMs)在医疗保健和医学教育领域的应用评估日益增多,尤其是在基于考试的任务中。然而,它们在牙科专业考试中的表现以及跨语言的表现仍不确定。本研究使用土耳其语和研究人员翻译的英语版本,对土耳其DUS(牙医学专项评估)来源的题目集中不
**摘要****背景**大型语言模型(LLMs)在医疗保健和医学教育领域的应用评估日益增多,尤其是在基于考试的任务中。然而,它们在牙科专业考试中的表现以及跨语言的表现仍不确定。本研究使用土耳其语和研究人员翻译的英语版本,对土耳其DUS(牙医学专项评估)来源的题目集中不同LLM系统的回答准确率进行了比较。**方法**本研究追溯性地汇编了一套DUS来源的题目集,涵盖九次考试(2020–2025年)。题目文本取自存档试卷和商业备考汇编;最终答案和作废状态通过与土耳其考试管理局(?SYM)的资料进行核实。排除17道依赖图像的题目和3道官方作废题目后,保留1,060道源题目。评估了六个基于LLM的系统:ChatGPT、ChatGPT Pro(Pro级访问条件)、ChatGPT Dentistry(第三方自定义GPT)、DeepSeek、Microsoft Copilot和Google Gemini。每个系统均以土耳其语和英语进行评估,共产生12,720条系统-题目-语言回答记录。使用广义估计方程(GEE)分析二元回答准确率,并以源题目为聚类单元,以考虑同一题目的重复评估。评估了系统×语言、系统×学科和系统×题目格式的交互效应,同时分析了考试时期的总体效应;对相关的配对比较采用了Holm校正。**结果**总体准确率从Copilot的31.5%到ChatGPT Dentistry的71.7%不等。系统×语言交互效应显著(Wald χ2(5) = 158.73, *p* < 0.001),表明存在依赖于系统的语言效应。在所有系统中,临床科学的准确率均低于基础科学,系统×学科交互效应显著(Wald χ2(5) = 101.06, *p* < 0.001)。组合型多选题与标准多选题相比,正确回答的几率更低(几率比 = 0.79,95%置信区间 0.67–0.94,*p* = 0.008),而系统×题目格式的交互效应不显著(*p* = 0.307)。准确率在不同考试时期间也存在差异(*p* < 0.001),但无一致的时间趋势。**结论**本研究提供了DUS考试中LLM选择答案准确率的考试特异性基准,其表现因系统、语言、学科领域和题目格式而异。本研究并未提供证据表明LLM的使用能改善学习成果,也未能证明其对临床胜任力或患者安全性的作用。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号