编辑推荐:
在巴西听力与言语病理学(ASLP)本科教育中,传统临床实践评估方法存在局限。研究人员开展 “Development and Reliability of an Objective Structured Clinical Examination (OSCE) for assessing clinical skills of audiology undergraduate students in Brazil” 研究,结果显示 OSCE 内容效度高、评分者信度好,对提升教育质量意义重大。
在医学教育的大舞台上,对学生临床技能的评估就像是一把精准的尺子,衡量着他们是否具备应对真实医疗场景的能力。在听力医学领域,这把 “尺子” 尤为关键,因为准确评估学生的临床技能,直接关系到未来患者能否得到高质量的听力诊疗服务。然而,在巴西的听力与言语病理学(ASLP)本科教育中,传统的评估方式却出现了 “短板”。
传统上,巴西 ASLP 课程在学生临床实践期间,主要依靠理论考试和临床活动观察记录来评估学生。理论考试往往只能考察学生对基础知识的掌握,就像只看到了冰山露出水面的一角,无法全面检验学生在实际操作中运用知识的能力,也就是米勒金字塔中 “知道如何做(knows how)” 和 “展示如何做(shows how)” 的层面。而临床观察评估则像是一场没有统一规则的比赛,缺乏标准化,不同的病例、不同的指导教师,都会让评估结果产生很大差异,充满了主观性和不确定性,这就好比不同裁判对同一运动员的打分标准各不相同,严重影响了评估的公平性和可靠性。
为了解决这些问题,让评估变得更加科学、公正,来自巴西圣保罗圣卡萨医学院(School of Medical Science, Santa Casa de S?o Paulo)等机构的研究人员决定开展一项重要研究 —— 开发并验证一种客观结构化临床考试(Objective Structured Clinical Examination,OSCE)工具,专门用于评估三年级 ASLP 学生的临床技能。这一研究成果发表在《BMC Medical Education》上,为巴西听力医学教育评估带来了新的希望。
研究人员在开展这项研究时,采用了多种关键技术方法。首先是基于专家咨询确定关键能力和临床技能,他们向圣保罗圣卡萨医学院 ASLP 课程中所有听力领域的专家教授发放表格,收集学生应具备的能力和技能,为后续设计 OSCE 考试内容提供依据。接着,设计 4 个 OSCE 考站,包括 1 个理论站和 3 个实践站,并制定相应的评估清单。在内容效度验证阶段,邀请 33 名三年级听力学生、8 名专家评估人员和 16 名模拟患者参与,运用内容效度系数(CVC)对评估清单进行量化评估。在评分者信度检验阶段,招募 8 名专家评估人员,每站安排 2 名,对 33 名学生进行评估,使用加权 kappa 系数和组内相关系数(ICC)等统计方法分析评估结果的一致性 。
下面来看具体的研究结果:
- 内容效度:各考站清单的 CVC 得分极高,站 1 为 0.97,站 2 为 0.99,站 3 和站 4 均为 1.0,且各清单项目的 CVC 得分均大于 0.80。这表明专家们对评估清单在清晰度、相关性和针对性方面高度认可,说明 OSCE 能够准确、全面地衡量学生应具备的临床技能,就像是一把刻度精准的尺子,能准确地测量出学生的能力水平。
- 评分者一致性分析:加权 kappa 系数分析显示,各考站标准化清单项目的评分者之间存在中度到高度的一致性。虽然站 1 和站 2 的某些项目可靠性存在差异,但整体上评分者之间的一致性良好。同时,ICC 分析表明,各考站评估者评分之间相关性高,差异极小,散点图也证实了评估者对学生临床能力的理解相似,这意味着不同的评估者就像经过统一培训的裁判,在给学生打分时标准相近,保证了评估的公正性。
- 评估者间比较:通过学生 t 检验比较不同评估者的分数,发现除站 1 外,其他考站及最终总分的评估者间均无显著差异。即使站 1 存在显著差异,其差异幅度也非常小,对学生最终成绩影响微乎其微,进一步证明了评估过程的可靠性和一致性 。
从研究结论和讨论部分来看,这项研究意义非凡。它成功开发并验证了适用于巴西 ASLP 学生的 OSCE 工具,为解决传统评估方法的局限性提供了有效途径。其高内容效度和评分者信度,保证了评估的准确性和公正性,为教育者提供了更可靠的评估依据,有助于推动标准化培训,让学生更好地应对临床实践挑战。虽然研究存在样本量较小、仅在单一机构开展等局限性,但它为未来研究奠定了基础,鼓励更多地区采用 OSCE 作为标准化评估工具。在全球听力损失负担日益加重的背景下,高质量的听力医学教育至关重要,该研究成果有望为国际听力医学教育评估带来新的思路和方法,提升全球听力医学教育的质量和一致性,为培养更多优秀的听力医学专业人才贡献力量。