缺乏经验评估者使用RoB 2工具时的评估者间信度与系统性差异研究

《BMC Medical Research Methodology》：Higher inter-rater agreement but more low-risk judgments: the influence of rater experience on RoB 2 assessments

　　

摘要

背景

目前尚不清楚，缺乏经验的评估者在使用修订后的 Cochrane 随机试验偏倚风险工具（RoB 2）做出的偏倚风险判断，即使经过标准培训后，是否也会与经验丰富的评估者做出的判断存在系统性差异。

方法

本研究招募了 12 名缺乏经验的评估者和 6 名经验丰富的评估者，使用 RoB 2 评估了 37 项随机对照试验中 94 项结果的偏倚风险。在完成独立评估后，评估者在组内随机配对以达到共识判断。我们计算了 Gwet 一致性系数 2 以评估两个阶段的评估者间信度。

结果

排除后，纳入了 10 名缺乏经验的评估者（四对）和 6 名经验丰富的评估者（三对）。在独立评估和共识评估中，缺乏经验的评估者在多个领域显示出更高的评估者间一致性，而经验丰富的评估者仅在“随机化过程”领域显示出较高的一致性。尽管一致性较高，但在大多数领域中，缺乏经验的评估者比经验丰富的评估者更可能给出“低风险”评级。达成共识后，经验丰富组在“随机化过程”领域的一致性有所提高，而缺乏经验组在两个领域增加，在两个领域减少。总体而言，经验丰富的评估者的评级分布保持稳定，但缺乏经验的评估者在多个领域存在差异。

结论

这可能表明，缺乏经验的评估者信度的增加可能反映的是解释上的系统性差异，而不是更准确的评估。这些发现凸显了在缺乏经验的用户中应用 RoB 2 的潜在挑战，并强调了充分培训和校准的重要性。