《Scandinavian Journal of Trauma, Resuscitation and Emergency Medicine》：Reply to “Why should more than two reliability coefficients be reported in triage studies?”
编辑推荐：
：
背景：分诊系统的比较具有挑战性，而信度研究之间的方法学差异可能进一步使跨研究比较复杂化。本研究旨在回应关于信度系数选择的评论，并阐明在改良版SATS院前分诊工具的评估者间信度研究中所采用的方法学考量。
方法：研究人员依据《信度与一致性研究报告指南》（GRR
：
背景：分诊系统的比较具有挑战性，而信度研究之间的方法学差异可能进一步使跨研究比较复杂化。本研究旨在回应关于信度系数选择的评论，并阐明在改良版SATS院前分诊工具的评估者间信度研究中所采用的方法学考量。
方法：研究人员依据《信度与一致性研究报告指南》（GRRAS）报告研究设计与分析。鉴于四个分诊级别被视为序数（ordinal）测量而非名义（nominal）测量，研究人员选择Krippendorff's alpha作为主要信度系数，该系数采用序数距离度量，可直接容纳序数测量水平、多评估者设计以及缺失观测值。为便于与既往研究比较，研究人员补充计算了Fleiss' kappa作为名义尺度分析，并对10个缺失评分采用众数填补法进行处理。
结果：补充分析中，Fleiss' kappa为0.428；当四水平量表在名义尺度下计算Krippendorff's alpha时，α值同样为0.428。当测量度量保持一致时，将四水平分诊类别二分化（dichotomization）为高低 acuity 后，alpha值从0.428增至0.475，而非此前报告的从0.602降至0.475。
结论：信度系数的选择仅是信度研究可比性的一个方面。研究设计、案例构建、临床情境、评估者特征、分诊类别的结构与分布以及统计方法学均应在解释和比较跨研究信度估计时予以综合考虑。研究人员对评论者的意见表示感谢，并欢迎就分诊信度研究的方法学挑战展开更广泛的讨论。
论文解读
一、研究背景与问题
分诊系统在院前急救和急诊科中发挥着至关重要的作用，其核心功能是根据患者的临床严重程度对就诊优先级进行排序。然而，不同分诊系统之间的比较一直面临诸多挑战，这主要源于分诊系统本身的复杂性以及各系统在结构、组成要素和应用场景上的显著差异。更为关键的是，即使针对同一分诊系统，不同信度研究之间在方法学上存在的差异也可能进一步阻碍跨研究的比较与综合。既往研究已表明，分诊系统的信度估计可能随所采用的统计方法和加权方式的不同而发生明显变化，这使得研究者难以判断不同研究结果之间的差异究竟是反映了分诊工具本身的真实差异，还是仅仅源于方法学选择的不同。
在此背景下，研究人员开展了一项针对改良版瑞典急诊分诊与治疗系统（SATS）作为院前分诊工具的评估者间信度研究。该研究按照《信度与一致性研究报告指南》（GRRAS）进行报告，旨在提高信度研究在报告完整性和透明度方面的规范性。然而，该研究发表后，Amir Mirhaghi发表了评论文章，提出在分诊研究中应当报告两个以上的信度系数，并建议补充报告组内相关系数（ICC）或Fleiss' kappa作为互补指标。本论文即为研究人员对上述评论的正式回应，旨在澄清其方法学选择背后的理论依据，并通过补充分析进一步阐明相关争议。
二、研究内容与主要结论
研究人员在回应中系统阐述了其选择Krippendorff's alpha作为主要信度系数的理由。首先，四个分诊级别在本质上属于序数测量而非名义测量，因为它们代表了一个有序的临床优先级序列。这意味着相邻分诊级别之间的不一致在序数意义上小于跨越多个级别的不一致。Krippendorff's alpha采用序数距离度量，能够直接将这种序数结构纳入计算框架，使得相邻级别间的分歧对总体不一致的贡献小于跨越多个级别的分歧。其次，该研究共纳入34名评估者，在1020次可能的评估中存在10个缺失评分。Krippendorff's alpha能够在单一框架内同时容纳序数测量水平和多评估者设计，并且无需对缺失观测值进行填补即可处理，这构成了额外的实际优势。相比之下，ICC虽然在序数类别被假定近似连续量表时可用作补充指标，但其估计可能受类别数量的影响，且最适用于连续数据。标准Fleiss' kappa则将四个分诊类别视为名义变量，无法纳入其序数结构。
为回应评论者的建议并促进与既往研究的比较，研究人员进行了补充的事后分析。在补充分析中，研究人员使用R 4.4.3版本计算了Fleiss' kappa，为获得完整的评分矩阵，10个缺失评分采用每个案例的分诊众数类别进行填补。结果显示Fleiss' kappa为0.428。此外，研究人员还进行了另一项事后解释性分析，将原始四水平量表在名义尺度下使用K-Alpha Calculator计算Krippendorff's alpha，结果同样为0.428。这一结果与Zapf等人的研究发现一致，即对于完整的名义数据，Fleiss' kappa和Krippendorff's alpha能够提供可比较的估计值。然而，Zapf等人同时推荐在测量尺度高于名义水平或存在缺失观测值时使用Krippendorff's alpha，这恰好与本研究的数据特征相吻合。
针对评论者指出的四水平分诊类别二分化后信度表现出的表观下降（α = 0.602 vs. 0.475），研究人员澄清了这一现象源于测量度量的不一致：四水平量表采用序数alpha，而二分化结果采用名义alpha。当使用K-Alpha Calculator在名义尺度下计算四水平数据的Krippendorff's alpha时，得到α = 0.428。因此，当测量度量保持一致时，二分化实际上导致alpha值从0.428增加至0.475，而非下降。这一结果与Jakobsson和Westergren关于跨不同类别数量量表比较一致性估计所面临挑战的发现相一致。
研究人员进一步强调，信度研究的可比性并不仅仅取决于统计系数的选择。整体研究设计，包括案例构建、所提供的临床信息类型、评估者特征以及分诊系统的组成要素，都可能影响一致性评估的条件。在本研究中，案例被有意设计得较为详细，以便将活动能力、创伤因素和手动升级分诊纳入分诊评估。完整的案例已作为补充材料发布，以促进结果解读和与未来研究的比较。关于原始评分数据，虽然评分以图形而非数值列联表形式呈现，但所有个体评分均可在原始文章的图形展示中识别，因此底层评分数据可以被重建并用于计算其他一致性系数。
三、关键技术方法
本研究主要采用了以下关键技术方法：其一，Krippendorff's alpha系数，采用序数距离度量，能够在单一框架内同时容纳序数测量水平、多评估者设计以及缺失观测值，无需填补缺失数据；其二，Fleiss' kappa系数作为补充的名义尺度分析，为获得完整评分矩阵，对10个缺失评分（占0.98%）采用每个案例的分诊众数类别进行填补；其三，K-Alpha Calculator工具，用于在名义尺度下计算四水平数据的Krippendorff's alpha，以进行事后解释性分析。研究使用R 4.4.3版本（R Core Team, Vienna, Austria）进行统计分析。
四、研究结果
补充Fleiss' kappa分析结果：研究人员在将10个缺失评分采用众数填补后计算Fleiss' kappa，得到κ = 0.428，表明评估者间信度不理想，与主要分析结果一致。
名义尺度Krippendorff's alpha分析结果：研究人员使用K-Alpha Calculator将四水平分诊量表在名义尺度下计算Krippendorff's alpha，得到α = 0.428，与Fleiss' kappa结果一致，验证了Zapf等人关于两种系数在完整名义数据上提供可比较估计的发现。
二分化比较分析结果：当测量度量保持一致时，将四水平分诊类别二分化后，alpha值从0.428增加至0.475，而非评论者所指出的从0.602降至0.475。这一澄清表明，此前观察到的表观下降源于序数与名义度量之间的差异，而非二分化本身导致信度下降。
五、讨论与结论
讨论部分指出，信度研究的可比性不能仅由统计系数的选择决定。整体研究设计、案例构建、临床情境、评估者特征、分诊类别的结构与分布以及统计方法学均应在解释和比较跨研究信度估计时予以综合考虑。研究人员承认，报告额外的一致性系数可能有助于与既往研究和未来证据综合进行比较，但强调系数的选择仅代表可比性的一个方面。研究人员对Amir Mirhaghi的评论表示感谢，并欢迎就分诊信度研究的方法学挑战展开更广泛的讨论。
研究结论可概括为：在分诊信度研究中，信度系数的选择应基于数据的测量水平和研究设计特征。Krippendorff's alpha因其能够直接容纳序数测量、多评估者设计及缺失观测值，适合作为此类研究的主要系数。补充报告Fleiss' kappa有助于与既往研究比较，但不应替代基于序数结构的主要分析。研究设计、案例构建、临床情境、评估者特征和统计方法学共同决定了信度研究的可比性，在解释和比较跨研究信度估计时应予以全面考虑。
