教育研究：一项全国儿科神经病学培训期考试及其与加拿大皇家内科与外科医师学院认证成功的关系

《Neurology Education》：Education Research: A National Pediatric Neurology In-Training Examination and its Relationship to Royal College of Physicians of Canada Certification Success

　　

背景与目的：在加拿大儿科神经病学领域，历史上一直缺乏与加拿大皇家内科与外科医师学院认证考试相一致的标准化国家进展考试。本研究的主要目的是开发这样一项考试——称为加拿大儿科神经病学住院医师国家培训期考试，并通过检验其与RCPSC儿科神经病学笔试表现的相关性来收集其效用证据。次要目的是确定相关性是否随研究生年份级别而变化，以及NITECaP分数是否能预测RCPSC考试的成功。
方法：这项回顾性队列研究分析了2014年至2024年间从加拿大全部8个儿科神经病学培训项目收集的考试数据。NITECaP是一项全国性管理的3小时简答题考试，仿照RCPSC儿科神经病学笔试设计，并与RCPSC评估目标相对应。PGY1至PGY5的住院医师均有资格参与。如果参与者在住院医师期间至少完成一次NITECaP并随后参加了RCPSC儿科神经病学考试，则纳入其数据。计算了每个PGY级别的NITECaP分数与RCPSC考试分数之间的Pearson相关系数。使用逻辑回归模型评估NITECaP表现是否能预测RCPSC考试结果（通过/失败）。
结果：共有179名住院医师完成了NITECaP，其中135名随后完成了RCPSC儿科神经病学考试。在PGY2至PGY5住院医师中，观察到NITECaP与RCPSC考试分数之间存在正相关性，其中PGY5的关联性最强（r = 0.618，95% CI 0.490–0.720）。PGY1住院医师的相关性无统计学意义。逻辑回归模型表明，PGY2、PGY4和PGY5的NITECaP分数显著预测了RCPSC考试的成功，其中PGY5的预测准确率最高（95.6%）。在NITECaP中得分≥45%的PGY5住院医师通过RCPSC考试的可能性很高。
讨论：NITECaP的表现与RCPSC儿科神经病学考试表现呈正相关，并能预测考试的成功，特别是在高年资住院医师中。这些发现支持使用NITECaP作为有效的国家进展测试，以提供住院医师反馈，识别有风险的住院医师，并支持儿科神经病学培训中的项目级基准比较。

在过去十年中，加拿大研究生医学教育已从传统的基于时间的学徒制模式向基于能力的医学教育转型。CBME强调实现明确定义的能力和可观察的能力，而非仅关注培训时长，其进步基于表现、频繁评估、个性化学习以及分阶段达到独立临床实践所需的里程碑。在CBME框架下，应提供多次低风险评估以帮助学习者走向胜任力，而进展测试作为一种反复进行以监测进展的评估形式，发挥着重要作用。然而，在加拿大儿科神经病学领域，历史上一直缺乏与加拿大皇家内科与外科医师学院认证考试相一致的标准化国家进展考试。2012年以前，加拿大儿科神经病学住院医师参加美国神经病学学会驻院医师培训期考试，但该考试仅含少部分儿科神经病学内容且为多选题格式，无法反映RCPSC认证考试的特点。RCPSC儿科神经病学认证考试包含3个部分：2个简答题笔试和1个客观结构化临床考试。尽管加拿大培训的住院医师在RCPSC考试中的通过率约为90%，但每年仍有少数未通过者，且缺乏标准化客观指标来指导哪些住院医师需要更多帮助及需要何种支持。此外，规模较小的住院医师培训项目面临开发高质量进展测试的挑战。为解决这些问题，研究人员开展了这项研究，旨在为一项全国儿科神经病学进展考试（即加拿大儿科神经病学住院医师国家培训期考试，NITECaP）收集有效性证据，并提出两个假设：一是NITECaP分数与RCPSC分数之间存在正相关性，且高年级相关性更大；二是NITECaP分数能预测RCPSC考试成功的可能性。研究得出结论，NITECaP表现与RCPSC儿科神经病学考试表现呈正相关，并能预测考试成功，这对于提供住院医师反馈、识别有风险的住院医师及支持项目级基准比较具有重要意义。该论文发表在《Neurology Education》。

研究人员使用现代效度理论作为指导框架开发NITECaP。样本队列来源为2014至2024年间加拿大全部8个儿科神经病学培训项目从研究生第一年至第五年的住院医师。NITECaP的蓝图基于RCPSC儿科神经病学评估目标开发，考试由总分250分的简答题组成，各项目负责特定主题类别的题目生成，题目由普通儿科神经病学教师编写以确保符合执业儿科神经病学家预期的知识库，并自2021年起引入难度评级系统。在数据分析中，研究人员计算了每个PGY级别NITECaP分数与RCPSC考试分数之间的Pearson相关系数，并使用Cohen指南进行解释。进行单变量方差分析以确定分数是否随资历增加而提高。生成逻辑回归模型以识别不同PGY级别的NITECaP表现是否能预测RCPSC考试成功的可能性，并推导了预测概率曲线。

相关性分析：研究人员计算了各PGY级别NITECaP分数与RCPSC考试分数之间的Pearson相关系数。结果表明，除PGY1外，所有PGY队列的NITECaP分数与RCPSC儿科神经病学考试分数之间均存在统计学显著的正相关。其中，PGY5与RCPSC考试的相关性最大。

回归分析：研究人员利用逻辑回归模型预测RCPSC考试结果。由于PGY1缺乏显著相关性且样本量小，未用于生成预测模型。结果表明，基于PGY2、PGY4和PGY5分数预测RCPSC考试成功的模型具有统计学意义。所有模型的准确率均超过90%，其中使用PGY5数据的回归模型准确率最佳，达到95.6%。具体而言，完成NITECaP且得分达到或超过45.0%的PGY5住院医师通过RCPSC考试的可能性极高。

研究人员的讨论部分指出，NITECaP可为住院医师提供预测RCPSC考试表现的客观见解，支持了研究假设。对于住院医师第三年训练分数与考试成功之间缺乏相关性，研究人员认为可能由于大多数住院医师在第四年开始参加正式学习小组，以及个体学习曲线和培训重点在不同年份的差异所致。进展测试旨在提供纵向、独立于课程的评估，与CBME目标高度一致。该研究存在样本量小且跨级别不一致、纵向重复测试者数量有限、RCPSC考试未通过人数较少以及非强制性参与可能导致自我选择偏倚等局限性。NITECaP已成功在加拿大所有8个儿科神经病学培训项目中实施，并于2019年获得加拿大儿童神经病学协会正式认可。
研究结论表明，NITECaP的表现与RCPSC儿科神经病学考试表现呈正相关，并能预测考试成功，尤其在高年资住院医师中。这些发现支持将NITECaP作为一项有效的国家进展测试，以提供住院医师反馈、识别有风险的住院医师，并支持儿科神经病学培训中的项目级基准比较。