《Frontiers in Medicine》:Stakeholder perspectives on the Emirati board comprehensive clinical examination: a mixed-methods multi-stakeholder evaluation
编辑推荐:
背景: 高利害临床考试(high-stakes clinical examinations)在研究生医学培训中发挥着关键作用,通过评估独立专科执业的准备程度来确保培训质量。尽管混合式客观结构化临床考试(Objective Structured Clinical
背景: 高利害临床考试(high-stakes clinical examinations)在研究生医学培训中发挥着关键作用,通过评估独立专科执业的准备程度来确保培训质量。尽管混合式客观结构化临床考试(Objective Structured Clinical Examination,OSCE)形式的评估越来越多地被用于评价综合临床能力,但纳入多利益相关者视角的证据仍然有限,尤其是在大规模专科认证考试中。多利益相关者评估可为考试质量、实施情况及利益相关者体验提供有价值的见解。
目的: 评估各利益相关者对阿联酋委员会综合临床考试(Comprehensive Clinical Examination,CCE)在关键领域(包括培训引导、后勤安排、教育价值、任务清晰度、考官行为及整体考试体验)的看法,并识别可能影响感知考试质量的实施因素。
方法: 采用汇聚式混合方法研究(convergent mixed-methods study)设计,收集2024年11月至2026年1月期间多次CCE考试场次的重复横断面利益相关者反馈。定量数据来源于考生(n=368)、考官(n=390)和质量评估员(quality assessors,QA;n=88)完成的考后调查问卷,辅以所有利益相关者的考后汇报记录。定量数据采用描述性统计和组间比较进行分析,定性数据则进行主题分析。两种数据流的结果在解释阶段进行整合。
结果: 考官和质量评估员对考试的评价持续积极(平均得分4.4–4.8分,满分5分),而考生报告的评分较为中等(总体均分3.88分,满分5分),尤其是在培训引导、后勤安排和任务清晰度方面。定性研究结果补充了上述发现,指出任务指令、时间分配、考官互动和模拟患者表现方面存在可感知的变异性。定量与定性结果的整合表明,各方对考试的教育价值和整体组织广泛认同,同时也凸显了系统层面评价与考生实际体验之间的差异。
结论: 阿联酋委员会CCE被各利益相关者群体普遍认为是一项组织良好且具有教育价值的评估。然而,考生在考试体验方面报告的变异性大于考官和质量评估员,尤其是在培训引导、后勤安排和任务清晰度相关领域。这些发现表明,增强考试实施的一致性可能有助于改善利益相关者体验、感知公平性以及未来高利害临床评估的质量改进举措。
一、研究背景与研究意义
高利害临床考试是研究生医学教育的重要组成部分,其核心功能在于验证受训者是否已具备独立开展专科实践所需的能力。客观结构化临床考试(OSCE)因其能够标准化评估临床推理、沟通能力、职业素养和临床决策等多维度能力,已成为全球范围内应用最广泛的临床能力评估模式之一。在高利害考试情境下,精心的考试设计、蓝图制定、标准化和质量保证对于确保评估过程的公平性和可辩护性至关重要。
当代研究生评估体系已超越传统OSCE形式,向混合式临床考试方向发展,将结构化口试、模拟患者接诊、资料判读和基于情景的临床推理相结合。这类整合型评估模式旨在更真实地反映临床实践,评估高阶推理和决策能力,而非孤立的临床任务。尽管心理测量学证据仍是评估体系评价的核心,但利益相关者体验同样为质量保证和持续改进提供了宝贵信息。考生、考官和质量保证人员各自观察到考试实施的不同侧面,包括培训引导、任务清晰度、后勤安排、考官行为、时间分配和模拟患者表现等。
阿联酋国家健康专业研究院(NIHS)管理的综合临床考试(CCE)是一种混合式OSCE风格考试,用于多个医学和口腔医学学科的专科认证。海湾地区关于研究生执业考试的已发表证据相对有限。此前阿联酋的一项研究考察了国家执业OSCE中住院医师表现的相关因素,但该研究主要聚焦于考生相关因素,未从多利益相关者视角审视考试体系。国际上大多数已发表研究也仅从单一视角评估OSCE,缺乏在同一评估框架内整合多利益相关者视角的研究。因此,本研究采用混合方法、多利益相关者设计,系统评估各利益相关者对CCE的感知,以填补这一研究空白。
二、研究设计与主要技术方法
研究人员采用汇聚式混合方法研究设计,于2024年11月至2026年1月期间在阿联酋NIHS框架下开展。研究采用普查抽样方法,邀请所有参与CCE的考生(n=368)、考官(n=390)和质量评估员(QA,n=88)完成考后评价。定量数据来源于考生和考官在每次考试结束后立即完成的结构化电子问卷,以及QA在考试现场实时完成的质量评估观察表。定性数据来源于所有问卷中的开放式评论字段以及考后结构化汇报讨论的记录。数据通过REDCap平台收集,定量数据采用描述性统计、独立样本t检验(Welch校正)和Cohen's d效应量进行分析;定性数据采用Braun和Clarke六阶段归纳式主题分析法。所有问卷的内部一致性通过Cronbach's alpha和McDonald's omega系数验证,结果显示各量表信度良好至优秀。
三、研究结果
3.1 参与者特征与问卷信度
368名考生、390名考官和88名QA参与了研究,响应率分别为82.5%、78.0%和100%。考生和考官来自19个医学和口腔医学住院医师及专科培训专业,其中家庭医学、内科、儿科、急诊医学和精神病学贡献了最多的受访者。QA完成了618份站点观察表和70份总体反馈表。考生问卷(Cronbach's α=0.891;McDonald's ω=0.897)和考官问卷(α=0.943;ω=0.947)均表现出优秀的内部一致性。
3.2 利益相关者感知评价
各利益相关者群体对CCE的评价总体积极,但感知程度和一致性存在差异。考官在各评价领域持续报告高度积极的感知(均值4.4–4.8),QA的总体反馈和站点观察同样表现出高度积极的评价。相比之下,考生报告的评分较为中等(总体均分3.88),尤其在培训引导(3.86±1.22)、后勤与环境(3.85±1.19)和任务清晰度(3.84±1.06)方面评分较低且变异性较大。
3.3 跨利益相关者比较
Welch独立样本t检验显示,考官总体感知评分显著高于考生(4.58±0.53 vs 3.88±0.85,t(606)=?13.4,p<0.001),平均差异为0.70分,Cohen's d=0.99,表明差异具有大效应量,兼具统计学和实际意义。
3.4 专科层面感知差异
专科层面的总体感知评分在考生和考官中普遍积极。考官评分在各专科间持续较高,而考生评分变异性更大。儿科是两组差异最大的专科(考生均值3.09 vs 考官均值4.60),而急诊医学和新生儿学等专科的两组感知较为接近。由于部分专科样本量较小(n≤5),专科层面发现仅作描述性呈现。
3.5 定性研究发现
主题分析识别出七个核心主题:考试组织与后勤管理、站点设计与蓝图一致性、任务期望与指令清晰度、时间分配与认知负荷、考官表现与行为、模拟患者表现与一致性、评估公平性与心理影响。各利益相关者群体普遍认为考试组织良好、具有教育价值和临床相关性,但同时也指出任务指令、考官互动、时间分配和模拟患者表现方面存在跨站点的变异性。
四、讨论与结论
整合定量与定性发现表明,各利益相关者普遍认为CCE是一项组织良好且具有教育价值的评估。考生与考官感知差异的存在并不意外,这与既往OSCE评估研究一致。考生直接经历评估过程,因此对等待时间、指令清晰度、考官沟通等操作性问题更为敏感;考官主要关注评估实施和考生表现;QA则从独立质量保证视角观察跨站点的实施情况。这种多利益相关者方法提供了比单一群体评估更全面的考试质量理解。
研究的重要贡献在于描述了支持CCE的治理框架。NIHS质量保证体系整合了前瞻性QA观察、结构化利益相关者反馈、考后汇报讨论和正式质量委员会审查,形成持续质量改进循环。这一治理模式可将考试实施中发现的操作性问题转化为结构化行动计划,并在后续考试周期中监测执行情况,为其他研究生评估项目提供了可借鉴的实践框架。
研究结论指出,阿联酋委员会CCE被各利益相关者群体普遍认为是一项组织良好且具有教育价值的评估。然而,考生在考试体验方面报告的变异性大于考官和质量评估员,尤其是在培训引导、后勤安排和任务清晰度相关领域。这些发现表明,增强考试实施的一致性可能有助于改善利益相关者体验、感知公平性以及未来高利害临床评估的质量改进举措。未来研究应将利益相关者感知与心理测量学证据、考官一致性和考生表现结果相结合,以更全面地理解考试实施与评估质量之间的关系。