急诊医学考试中AI生成与临床医师设计多选题的心理测量学比较研究

本研究针对AI生成多选题(MCQs)在医学教育中的心理测量学质量尚不明确的问题，由急诊医学专家团队开展了一项对照研究。通过比较ChatGPT-4o生成的50道MCQs与临床医师设计的50道MCQs在难度指数(Pindex)、区分度指数(Dindex)和点二列相关系数(PBCC)等指标的差异，发现AI生成题目难度显著降低(0.76±0.23 vs 0.65±0.24)，但36%存在心理测量学问题。该研究为AI在医学评估中的应用提供了重要质量基准。

　　

在医学教育快速数字化的今天，人工智能(AI)生成考试题目已成为新趋势，但一个关键问题始终悬而未决：这些由算法创造的题目，能否像临床专家设计的题目一样准确衡量医学生的真实水平？特别是在生死攸关的急诊医学领域，考试题目的质量直接关系到未来医生的培养质量。传统医学教育依赖临床医师手工编写多选题(MCQs)，耗时费力且难以标准化；而新兴的AI技术如ChatGPT-4^o虽然能快速生成大量题目，但其心理测量学(Psychometrics)特性——包括题目难度、区分能力和内部一致性等关键指标——仍缺乏系统验证。

库塔赫亚健康科学大学医学院急诊医学系的Murtaza Kaya团队在《BMC Medical Education》发表的研究填补了这一空白。研究团队设计了一项精巧的对照实验：18名不同年资的急诊科住院医师完成了一份包含100道MCQs的试卷，其中50道来自临床专家根据经典教材《Tintinalli急诊医学》精心设计的题目，另50道则由ChatGPT-4^o基于相同知识点的教学材料生成。通过严格的双盲设计和标准化的心理测量学分析，研究首次量化比较了两种题目来源的质量差异。

研究采用了三项核心心理测量学指标：难度指数(P_index)反映题目答对率，区分度指数(D_index)衡量题目区分高低水平考生的能力，点二列相关系数(PBCC)则评估单个题目与整体考试的一致性。所有题目还根据国际通行标准被分类为"优秀"、"良好"、"可接受"、"差"和"有问题"五个等级。

主要技术方法包括：1)使用标准化提示词引导ChatGPT-4^o生成急诊医学MCQs；2)18名急诊住院医师(8名高年资、5名中年资、5名低年资)完成100题混合试卷；3)采用独立样本t检验比较两组题目的心理测量学指标；4)基于STROBE指南进行数据分析。

结果部分显示：

难度差异显著：AI生成题目的平均P_index为0.76±0.23，显著高于临床医师题目的0.65±0.24(p=0.02)，意味着AI题目整体更简单。考生在AI题目上的平均得分(76.8±8.18)也显著高于临床题目(67.3±9.65,p=0.003)。分类分析显示56%的AI题目属于"简单"类别，而临床题目中这一比例仅为36%。

区分能力相当：两组题目的平均D_index无显著差异(AI:0.172±0.23;临床:0.196±0.26,p=0.634)。36%的临床题目和32%的AI题目达到"优秀"区分度，但AI题目中有8%存在"问题性"区分(如负区分现象)。

内部一致性隐患：虽然两组PBCC平均值相同(0.23)，但AI题目中有36%被归类为"有问题"，显著高于临床题目的24%(p=0.015)。这表明AI生成的题目虽然表面参数合格，但可能存在选项设计或知识点覆盖方面的潜在缺陷。

讨论与结论指出，这项研究揭示了AI生成MCQs的双面性：一方面，ChatGPT-4^o能够快速产出难度适中、区分度合格的急诊医学考题，大大减轻教师负担；另一方面，其生成的题目存在明显的"简化倾向"和更高的质量问题风险，36%的题目需要专家修改才能用于高利害考试。这一发现与近期多项研究形成呼应——如Law等(2025)同样发现AI题目更简单但区分度尚可，而Kiyah等(2024)的系统综述则强调AI题目存在内容准确性问题。

研究的创新性在于首次将标准化的心理测量学框架应用于AI生成医学题目的质量评估，为医学教育者提供了实用的质量监控指标。实践意义在于提示教育机构：AI可以作为题目生成的辅助工具，但必须配合严格的专家审核机制，特别是在急诊医学等高风险领域。未来研究需要扩大样本量、延长追踪时间，并探索更精细的提示工程(Prompt Engineering)策略来提升AI题目的认知深度和临床相关性。

这项研究为医学教育数字化转型提供了重要路标——AI不是替代临床教育专家的"魔术盒"，而是需要与人类专业知识形成互补的"智能助手"。在急诊医学这个对临床判断要求极高的领域，只有通过人机协作的质量控制体系，才能确保评估工具既高效又可靠，最终培养出真正具备危急关头决断能力的医学人才。