人类与人工智能在心脏病学住院医师在岗考试题目上的心理测量学特征分析

《npj Digital Medicine》：Psychometric characterization of human and artificial intelligence performance on cardiology residency in-service examination items

　　

摘要

目前，大型语言模型越来越常通过医学考试数据集来接受评估，但大多数研究侧重于整体准确率，而非测试题目的心理测量结构。我们使用了先前通过住院医师主导的心理测量指标进行过分析的199道纯文本心脏病学住院医师在岗考试题目，对五种大型语言模型进行了测试。采用标准化的零样本、多次查询机制以及严格多数制评分规则，将三种先进模型与两种开源模型进行了比较。结果显示，先进模型的准确率显著高于开源模型：Claude Opus 4.6、Gemini 3.1 Flash-Lite和GPT-5.4的准确率分别为86.4%、82.9%和81.9%，而MedQwen的准确率为53.3%，Qwen-3.5-35B的准确率为18.6%。在各种先进模型中，从难度较高的题目到难度较低的题目，其表现呈逐步提升趋势。多变量分析表明，题目难度是唯一与人工智能答题正确性持续相关的传统心理测量因素。基于IRT的重新分析也证实，更高的潜在题目难度会独立导致先进模型准确率下降。人类与人工智能在题目层面的相关性虽不大，但仍超过了基于排列的零假设预期，且先进模型的错误多出现在评分较高的人类干扰项中。这些研究结果表明，对题目层面的心理测量分析有助于解释先进大型语言模型表现上的差异，而这些差异并不仅仅体现在整体准确率上。不过，专家评分的合理性评估以及“以上皆非”类干扰测试显示，较高的考试准确率并不能保证高质量的解答解释或对无正确答案情况的可靠识别，这说明考试表现与答案选择的稳健性虽然相关，但属于模型行为的不同维度。