客观结构化临床考试(Objective Structured Clinical Examination, OSCE)在核医学(Nuclear Medicine, NM)住院医师规范化培训结业考核能力评价中的应用评估
《Insights into Imaging》:Evaluation of the objective structured clinical examination in the assessment of nuclear medicine residency training
编辑推荐:
摘要
目的:研究人员评估了客观结构化临床考试(Objective Structured Clinical Examination, OSCE)用于认证核医学(Nuclear Medicine, NM)住院医师胜任力的能力。材料与方法:对2019年至2024年北
摘要
目的:研究人员评估了客观结构化临床考试(Objective Structured Clinical Examination, OSCE)用于认证核医学(Nuclear Medicine, NM)住院医师胜任力的能力。材料与方法:对2019年至2024年北京市参加核医学科医师认证考试的住院医师OSCE成绩进行回顾性分析,重点关注试题难度(Difficulty Coefficient)、区分度(Discrimination Index)、内部一致性信度(Internal Consistency Reliability, Cronbach's α)及效度(Validity)。结果:OSCE共设6个考站,包括高活性室操作、影像室操作、PET/CT病例分析、SPECT/CT病例分析、病人访谈及报告书写。总分均值±标准差分别为88.58±2.37(2019)、89.13±2.72(2020)、86.15±2.75(2021)、92.96±2.31(2022)、91.11±1.37(2023)及89.08±2.75(2024)。总体难度系数分别为0.89、0.89、0.86、0.88、0.91及0.89。Cronbach's α分别为0.66、0.76、0.57、0.28、0.05及0.69。考站级别区分度指数范围为0.46~0.83。在30个由两名考官双评分的考站中,73.33%(22/30)显示出优秀的评分者间一致性(Interrater Consistency)。结论:OSCE能有效模拟临床环境,全面评估核医学住院医师的临床胜任力。
论文解读:北京市核医学住院医师OSCE结业考核的六年心理测量学评估
该研究由北京大学第一医院核医学科等相关单位研究人员开展,发表于Insights into Imaging。目前关于客观结构化临床考试(Objective Structured Clinical Examination, OSCE)的研究多集中于医学生,针对核医学(Nuclear Medicine, NM)住院医师规范化培训(Standardized Residency Training, SRT)结业考核中OSCE多维心理测量学属性(难度、区分度、信度、效度)的长期大样本分析较为匮乏。此外,亚洲特别是中国在此领域的循证数据不足。北京市自2014年起将OSCE作为核医学住院医师SRT结业认证的强制性终末考核,因此有必要对其考核质量进行系统性回溯验证,以确认其能否有效区分不同水平考生并真实反映临床胜任力,从而指导未来考核方案的优化。研究人员通过对2019—2024年连续6年的OSCE数据进行经典测验理论(Classical Test Theory, CTT)分析,证实该OSCE具有可接受的单站难度与区分度、中等信度及良好的内容效度,能有效模拟临床场景评估NM住院医师综合能力,但在部分年份(尤COVID-19期间远程考核)内部一致性信度偏低,需在后续迭代中完善。
主要关键技术方法:
研究人员回顾性收集2019—2024年北京市完成三年SRT并参加核医学OSCE结业考核的住院医师成绩数据(年考生数14~27人不等)。按CTT计算:①单站及总测试难度系数P=平均分/满分;②区分度D=(高分组总分-低分组总分)/[总人数×25%×(最高分-最低分)],高、低分组各取27%;③内部一致性信度采用Cronbach's α;④评分者间信度采用Pearson相关分析;⑤结构效度通过各考站得分间相关系数判断;⑥内容效度通过考站与CanMEDS(加拿大医师能力框架)核心胜任力映射确认。OSCE含6站:高活性室操作、影像室操作、PET/CT病例分析、SPECT/CT病例分析、病人访谈(含沟通)、报告书写,其中1~5站由两名副高及以上考官独立评分取均值,报告书写站单人评分。
研究结果
Station design(考站设计): 2021年起将原单一病例分析站拆分为PET/CT与SPECT/CT两站,影像解读权重由25%升至40%,沟通与访谈合并,总考试时间由120 min延至130 min。
Number of candidates, pass rates and scores(考生人数、通过率与成绩): 2019—2024年每年考生数分别为14、21、27、16、14、21人;除2021年通过率96.3%(26/27)外其余年份均为100%。年均总分均>85分,高活性室与影像室操作站得分通常高于其他站。
Difficulty and discrimination(难度与区分度): 各站难度指数历年介于0.81~0.95,总测试难度系数为0.86~0.91,符合标准参照考试适度偏易特征。各站区分度指数范围为0.46~0.83,均>0.4可接受阈值,表明OSCE能较好区分高低水平考生。
Reliability(信度): 30组双评分考官中73.33%(22/30)达良好评分者间一致性。Cronbach's α各年为0.66(2019)、0.76(2020)、0.57(2021)、0.28(2022)、0.05(2023)、0.69(2024);2022与2023年因COVID-19改为远程OSCE(预录视频及线上书面病例分析)且试题偏易致分数方差压缩,内部一致性信度显著降低。
Validity(效度): 六站全面覆盖CanMEDS框架要求的基础理论、临床推理、操作技能及沟通等,确认良好内容效度。各站间相关系数0.31~0.72,提示考站测查相关但相对独立的胜任力域,支持中等结构效度(Construct Validity)。
OSCE adaptations during COVID-19(COVID-19期间的OSCE调整): 2020—2023年逐步减少新冠相关内容占比(6%降至1%),2022年采用远程OSCE形式。
讨论与结论翻译:
讨论指出总难度0.86~0.91偏高存天花板效应,高活性室与影像室操作站因流程标准化易得高分,建议提高实操考站挑战性以提升区分力;病例分析与SPECT/CT站得分偏低反映住院医师综合临床推理及SPECT/CT实践暴露不足,需加强日常训练与均衡轮转;报告书写中非核医学影像(CT、超声)部分失分多提示对辅助影像模态重视不够;沟通评估因时间压缩可能流于表面,建议依Kalamazoo共识细化评分量表;为避免人手短缺致评分宽松偏差,建议实行无利益冲突外聘考官及报告书写站双人评分(2025年起已实施),并纳入人文关怀与协作等CanMEDS角色评估。局限性含样本量小、单中心单地区设计、报告书写站单人评分及缺考生反馈。
Conclusion(结论): 综上所述,北京市核医学住院医师OSCE已成功实施。考站难度与区分度处于标准参照认证考试可接受范围;内容效度强,六站共同涵盖CanMEDS框架指定临床技能、职业素养及临床推理域;适中考站间相关证实既具内聚性又具独立性,支持满意结构效度。对OSCE数据的评析为全球OSCE研究提供有价值见解,并为制定适用于核医学SRT的通用OSCE指南提供依据。