评估临床前环境中用于评估全陶瓷冠预备工作的人员评价标准化量表的可靠性与有效性

《BMC Medical Education》：Assessing the reliability and validity of a standardized rubric for staff evaluation of all-ceramic crown preparations at preclinical setting

　　

摘要

背景

在牙科教育中，确保对临床前技术技能进行一致且有效的评估至关重要。本研究评估了多年度中，使用标准化评分标准对单颗全瓷冠制作成果进行评价时的评分者间一致性及有效性。研究比较了学生在期中考试和期末考试中的表现，分析了不同年度学生群体的差异，并探讨了学业成绩（平均绩点）与实际操作能力之间的关联。

材料与方法

本研究为回顾性横断面研究，对象为2020年至2023年连续三个学年的四年级男性牙科专业学生。两名经验丰富的双盲评审教师分别使用经过验证的评分标准独立评估这些学生的期中及期末作品。该评分标准包含六个评价维度：五个技术类指标（咬合/切端调整、轴面调整、锥度、完成线定位以及作品表面处理），每个指标得分范围为0–6分；还有一个专业素养指标，得分范围为0–4分，总满分为40分。评分者间一致性、不同年度学生群体间的差异以及学业成绩与评分之间的关联分别通过克朗巴赫α系数、克鲁斯卡尔-沃利斯检验和皮尔逊相关系数来分析，统计显著性水平设定为

?<?0.05。

结果

整体评分的评分者间一致性较高（期中α=0.881，期末α=0.899）。在各项具体指标中，期中考试中锥度（保持力与抗力）这一指标的得分最高（评分教师1：5.13/6），而期末考试中完成线定位的得分最低（评分教师1：3.79/6）。专业素养方面的评分者间一致性最低（α=?0.095）。从期中考试到期末考试，学生的表现有明显下降（评分教师1的得分从28.19降到了23.68）。不同年度的学生群体之间存在较大差异，2021–2022年度的学生成绩优于其他年份。仅有某位评分教师发现学业成绩与期末评分存在微弱的正相关关系（r=0.287，p=0.037），其余情况下均无显著关联。

结论

该评分标准在标准化临床前技能评估中表现出良好的可靠性，尽管期末考试成绩出现意外下降且不同年度学生群体间存在差异，但其高评分者间一致性仍支持其应用。学业平均绩点无法有效预测学生的实际冠体制作能力，这进一步说明在牙科教育中，认知能力与动作技能属于不同的能力范畴。