编辑推荐:
本文是关于本科医学教育评估的范围综述。研究发现医学教育评估工具多样,涉及多种能力评估,多采用定量研究方法。但部分研究在效度概念运用和可靠性证据报告上存在不足。这些发现对医学评估研究及本科医学和住院医师项目意义重大。
本科医学教育评估的多面剖析:现状、问题与启示
在医学教育领域,本科阶段的评估至关重要。它不仅为学生提供学习反馈、监测学业进展,确保其达到预期能力水平,还在住院医师选拔中发挥关键作用。然而,以往研究对各类评估工具的关键特征缺乏系统整合,对其效度和信度证据的探究也较为有限。为此,研究者开展了一项范围综述研究,深入剖析本科医学教育评估的诸多方面。
研究方法
本次综述严格遵循 PRISMA 标准进行。一位经验丰富的研究馆员精心设计检索策略,在 2004 年至 2021 年 4 月期间,全面检索多个数据库,旨在获取该时段内最新的相关出版物。检索词涵盖医学学生和评估相关的各类术语,并限定文献语言为英语,同时排除非医学专业教育、课程改革或创新教学法等不相关文献。
由 ADMSEP 任务组成员对检索到的实证文章进行多阶段审查。先两两分组,依据纳入和排除标准独立审查文章标题和摘要,达成共识后再对全文进行评估。在评估过程中,还对数据提取模板进行反复试验和修订,直至达到饱和状态,确保数据提取的准确性和全面性。
研究结果
- 评估类型多样:研究最终纳入 218 项实证研究。评估类型主要包括非工作场所评估(non-WBAs,56%)、半工作场所评估(semi-WBAs,39%)、工作场所评估(WBAs,50%),还有少量研究涉及医学院校学生表现评估(MSPE)/ 院长推荐信 / 标准化评估信(SLOE)以及推荐信(LOR)。在 non-WBAs 中,全国标准化多项选择题(MCQs)考试应用广泛,学校也常自行开发 MCQs 考察学生。此外,还有表现评估、属性和感知调查等方式。semi-WBAs 主要有客观结构化临床考试(OSCE)/ 临床技能评估和技术增强模拟评估。WBAs 则包含学校特定的临床绩效评估、迷你临床评估练习(Mini-CEX)等多种形式。
- 能力评估不均衡:研究聚焦的能力领域涵盖患者护理(54%)、医学知识(49%)、基于实践的学习(8%)、人际沟通技能(26%)、职业素养(17%)、系统基础实践(6%),以及综合能力(34%)和其他能力(6%)。其中,患者护理和医学知识是被评估最多的能力,而基于实践的学习和系统基础实践相对较少受到关注。许多研究在评估时涉及多个能力领域,但部分研究对能力的界定和聚焦并不明确。
- 研究方法以定量为主:大部分研究(88%)采用定量研究方法,运用多种统计技术进行数据分析。少数研究(1%)仅采用定性方法,还有部分研究(11%)采用混合研究方法,综合定量和定性数据的优势,更全面地理解研究主题。
- 效度和信度证据各有侧重:在效度证据方面,研究最多的是与其他变量的关系(63%)和内部结构(47%),而内容效度(15%)、反应过程效度(11%)和后果效度(5%)的研究相对较少。在信度方面,约一半的研究报告或推断了信度估计,如项目间一致性(如 Cronbach's alpha)、评判者间一致性(如 inter-rater reliability [kappa])和时间稳定性(如 intra-rater) ,但部分使用美国国家医学考试委员会(NBME)数据的研究未提供信度信息。
讨论与启示
从评估类型来看,不同评估方式各有优势和应用场景。non-WBAs 因其客观性和便于大规模比较而受欢迎;WBAs 注重在真实临床环境中评估学生表现;semi-WBAs 则为学生提供了安全的模拟实践环境。医学院校应采用多种评估方式相结合的策略,减少单一评估工具可能带来的偏差,更全面地评估学生能力。
在能力评估方面,虽然患者护理和医学知识是医学实践的基础,但其他能力同样重要。当前正在建立的本科医学教育通用能力框架,有望为医学院校提供更明确的指导,促使其更全面地关注各类能力的培养和评估。
研究方法上,定量研究虽占主导地位,但定性研究也不可或缺。定性研究能深入挖掘医学教育和评估中的人文因素和复杂社会过程,未来应加强定性研究的运用,丰富研究视角。
效度和信度方面,部分研究对效度的理解较为狭隘,且在信度证据报告上存在不足。医学教育研究者和教育工作者需要加强对当代效度理论的学习,全面收集和报告效度和信度证据。尤其要重视后果效度的研究,评估不仅要衡量学生能力,还应关注其对教学、学习和教育实践的广泛影响。
本研究也存在一定局限性,如未纳入 2021 年 4 月之后的文献,部分文章效度证据的呈现不够清晰完整,且未对研究的效度和信度质量进行评估。未来研究可针对这些不足展开,进一步提高医学教育评估研究的质量和水平。
总体而言,本科医学教育评估是一个复杂且多元的领域,需要综合考虑多方面因素。通过不断优化评估方式、加强研究的科学性和全面性,能够更好地促进医学教育的发展,为培养高素质的医学人才提供有力支持。