《Applied Measurement in Education》：Expert Judgments as an Approach to Evaluating Items’ Instructional Sensitivity
编辑推荐：
教学敏感性（Instructional sensitivity）是一项项目特征（item characteristic），指项目捕获教学对学生表现影响的程度。一种潜在经济的方法评估教学敏感性是基于专家判断（expert judgments）。然而，对其效度知之
教学敏感性（Instructional sensitivity）是一项项目特征（item characteristic），指项目捕获教学对学生表现影响的程度。一种潜在经济的方法评估教学敏感性是基于专家判断（expert judgments）。然而，对其效度知之甚少。本研究从四个角度调查专家判断：（1）教师与学科专家的比较；（2）整体评分（global rating）与区分评分（differentiated rating）的比较；（3）区分评分各维度的分析；（4）专家判断与敏感性统计指标的比较。结果表明：（a）教师表现优于学科专家；（b）区分评分相对于整体评分并无优势；（c）专家能够区分区分评分的各个维度；（d）专家判断与项目敏感性指标呈弱到中等相关。研究人员得出结论，专家判断具有潜力，但（尚）不足以准确替代已建立的调查教学敏感性的程序。
**论文解读：专家判断评估项目教学敏感性的效度研究**
**研究背景与问题**
教学敏感性（Instructional sensitivity）是标准化测试中一项关键的心理测量属性，指测试项目捕获教学对学生表现影响的程度。缺乏教学敏感性会阻碍基于学生测试数据对教学效果进行有效推断。尽管已有基于项目统计量（如Cox & Vargas, 1966的PPDI）和基于教学数据的指令聚焦方法（如LMLIRT模型）来评估教学敏感性，但专家判断法因其潜在的经济性而受到关注，然而其效度证据极为匮乏。现有研究（如Chen, 2012）发现教师间一致性低，且专家判断与项目统计量间相关性弱。为填补这一空白，本研究旨在系统考察专家判断法的关键特征：比较不同专家群体（教师与学科专家）、不同评分类型（整体评分与区分评分）、区分评分各维度的可区分性，以及专家判断与基于LMLIRT模型估计的绝对敏感性统计量之间的一致性。论文发表在《Applied Measurement in Education》。
**主要技术方法**
本研究采用以下关键技术方法：（1）招募18名教师和6名学科专家（来自瑞士德语区），教师随机分配至整体评分或区分评分条件，学科专家先后完成两种评分；（2）使用瑞士“Klassencockpit”五年级数学测试的32道题目，专家对每道题进行10点整体评分（1-10）或4点Likert区分评分（1-4），区分评分涵盖教学内容、教学质量、学习进步、任务熟悉度四个维度；（3）收集832名五年级学生（来自48个班级）的纵向测试数据（前测A、前测B、后测），采用纵向多层级项目反应理论（LMLIRT）模型估计项目的绝对全局敏感性和绝对差异敏感性指标；（4）通过组内相关系数（ICC1、ICC2）、t检验、方差分析、Pearson相关等统计方法分析数据。
**研究结果**
**1. 专家间信度（Inter-Rater Reliability）**
通过计算ICC1和ICC2发现：教师整体评分的ICC2为0.72（良好），学科专家整体评分的ICC2为0.51（不足）；区分评分中，教师各维度ICC2均达到良好或优秀（0.72-0.85），学科专家仅“教学内容”和“任务熟悉度”维度可接受（0.74和0.63）。表明教师作为评分者更可靠。
**2. 均值比较：整体与区分评分**
配对样本t检验显示，教师整体评分均值显著高于学科专家（Cohen’s dz=1.23，p<.001）。双因素重复测量方差分析表明，专家群体主效应显著（F(1,62)=10.20，p<.01，η2=0.07），区分评分各维度主效应显著（F(2.17,134.46)=31.52，p<.001，η2=0.22），教师倾向于给出更高敏感性评分。
**3. 评分间相关：整体与区分评分及维度区分**
Pearson相关分析显示，两类专家的整体评分与区分评分各维度间存在中等至强相关（教师r=0.05~0.85，学科专家r=-0.40~0.71），但并非完全一致。区分评分各维度间相关呈异质性（r=-0.52~0.86），表明专家能够区分不同维度，但部分维度间（如“教学质量”与“任务熟悉度”）存在负相关。
**4. 专家判断与项目统计量的一致性**
教师判断与基于LMLIRT估计的全局敏感性统计量：整体评分（r=0.40，p<.05）及区分评分中“教学内容”（r=0.38，p<.05）和“学习进步”（r=0.36，p<.05）维度与前后测（前测B到后测）的全局敏感性指标显著相关，但与差异敏感性指标无显著相关。学科专家判断与所有项目统计量均无显著相关。专家判断与项目统计量总体呈弱相关（r≤0.40）。
**讨论与结论**
讨论部分指出，教师比学科专家更可靠，可能源于其贴近课堂实践且熟悉“Klassencockpit”测试；区分评分未展现出相对于整体评分的优势，两者信度相当；专家能够区分区分评分的四个维度，这为后续开发更精细的验证策略提供了基础；专家判断与项目统计量的一致性仅为弱到中等，尤其教师判断与全局敏感性有一定关联，但学科专家判断完全无关联。结论部分翻译如下：
“总结而言，我们的发现表明：（a）教师比学科专家更能可靠地判断项目的教学敏感性；（b）在评估教学敏感性时，整体评分和区分评分均未显示出明显优势——尽管两者仅部分一致；（c）专家能够区分我们新开发的区分评分的四个维度；（d）专家的判断与评估教学敏感性的项目统计量之间不一致（学科专家）或最多中等程度一致（教师）。此外，我们的结果表明，个别专家的判断不够可靠，而聚合多个专家的判断可能达到满意的信度。尽管结果喜忧参半，我们得出结论，判断法具有潜力，值得进一步研究，尤其是出于经济原因。对于教师作为专家而言，前提是他们既熟悉测试项目又熟悉学生的课堂学习。然而，即使对于教师，与项目统计量的中等相关也凸显了检验和加强专家判断效度的必要性，例如通过更广泛的培训以及进一步优化区分评分中使用的维度。目前，我们不建议仅用专家判断取代已建立的方法（如项目统计量），而是将其视为关于项目教学敏感性的额外信息来源。”
