大语言模型在研究生考核整合中的创新应用与评估框架探析

《Academic Medicine》：Integrating large language models into postgraduate assessment design

本刊推荐：为解决医学教育中高质量多选题（MCQ）生成效率低、依赖专家资源的问题，研究人员围绕大型语言模型（LLM）如ChatGPT-4在研究生评估设计中的整合开展主题研究。通过结构化提示工程（prompt engineering）与提示链（prompt chaining）技术，该研究证实AI生成题目在难度与区分度指标上与人编题目无异，并进一步介绍了基于证据的定制ChatGPT工具（如Case-based MCQ generator），可有效提升题目生成的准确性与教育相关性，为自动化项目生成提供了可行路径。该成果发表于《Academic Medicine》，对推动智能评估在医学教育领域的规范化、高效化具有重要参考价值。

　　

在医学教育领域，设计高质量的多选题（Multiple-Choice Questions, MCQ）一直是研究生考核中的重要环节，尤其是以临床案例为基础的单选最佳答案题目，不仅需要考察学生对知识的掌握程度，还要评估其临床推理能力。然而，传统的人编题目过程耗时耗力，严重依赖领域专家，且难以保证题目数量与质量的稳定性。随着人工智能技术的快速发展，大型语言模型（Large Language Models, LLM）如ChatGPT的出现，为自动生成题目提供了新的可能，但也带来了新的挑战——如何确保生成题目的准确性、教育相关性以及与学习目标的一致性成为亟待解决的问题。

在这一背景下，Jackson等人于2025年在《Academic Medicine》上发表了一项重要研究，探讨了利用ChatGPT-4通过结构化提示工程（prompt engineering）和提示链（prompt chaining）技术生成临床案例型多选题的可行性。该研究不仅构建了一套方法学严谨的框架，还通过实证分析表明，AI生成的题目在难度和区分度指标上与人类编写的题目难以区分，为LLM在医学教育评估中的整合提供了有力证据。与此同时，Kiyah和Kononowicz开发的“Case-based MCQ generator”作为定制化ChatGPT工具，进一步将文献中已验证的提示结构嵌入用户友好界面，简化了自动项目生成（Automatic Item Generation, AIG）流程，降低了教育工作者在提示设计方面的认知负荷。本文将从研究背景、方法、结果与讨论等方面对该论文进行解读，以揭示其对于推动智能评估在医学教育中应用的重要意义。

主要技术方法概述

本研究主要基于文献综述与工具应用分析，重点围绕提示工程与定制化LLM工具的整合展开。研究人员通过系统梳理已有医学教育文献中的证据性提示（evidence-based prompts），将其嵌入OpenAI的ChatGPT Builder平台，构建了专用于案例型多选题生成的定制ChatGPT（如Case-based MCQ generator）。该工具无需用户手动编写提示，可直接生成基于临床案例的单选最佳答案题目，并通过专家评审确保内容准确性与教育相关性。研究未涉及具体实验操作或样本队列，而是以已有文献和工具验证为核心方法。

研究结果

结构化提示工程提升生成质量

研究指出，提示的设计质量直接决定LLM生成多选题的有效性。通过引用考试风格、包含源材料或为AI分配题目开发者角色等结构化提示，能够显著提高生成题目的上下文准确性和临床相关性。相比之下，通用提示往往效果不佳。这一发现强调了提示工程在LLM应用中的关键作用。

定制ChatGPT工具简化生成流程

Kiyah和Kononowicz开发的Case-based MCQ generator通过整合已验证提示结构，实现了自动项目生成的流程优化。该工具不仅减少了教育工作者在提示设计上的负担，还通过内置的上下文优化机制提升了题目生成的一致性。研究表明，此类工具有望成为医学教育中高效、用户友好的辅助手段。

专家评审不可或缺

尽管LLM和定制工具在题目生成效率上表现突出，但研究强调，专家评审仍是确保内容准确性、教育相关性和与学习目标对齐的必要环节。AI生成题目需经过领域专家的严格审核，以弥补模型在专业知识和临床细节上的潜在不足。

结论与讨论

本研究表明，大型语言模型（如ChatGPT-4）及其定制化工具在医学教育多选题生成中具有显著潜力，能够通过结构化提示工程和自动化流程提升评估设计的效率与一致性。然而，技术的成功整合离不开人类专家的监督与评审。未来研究需进一步探索LLM在不同医学子领域和多样化评估场景中的适用性，并加强提示工程的标准化与验证工作。该成果为医学教育智能评估的发展提供了重要借鉴，推动了人工智能与教育实践的深度融合。