摘要
随着人工智能（AI）的兴起，越来越多的基于AI的诊断工具正在被开发。在临床应用之前，这些工具必须针对现有金标准进行验证。这需要进行试验以量化AI预测与参考测量之间的一致性。然而，设计此类一致性研究面临着与经典优效性试验截然不同的方法学挑战。本文旨在提供评估诊断一致性的统计方法。方法根据数据的测量尺度（名义、序数、连续）进行分类——另设一组适用于多个尺度的方法——并根据涉及的评分者或测量数量进行分类。本文提供了一个决策树作为简化的教育框架以辅助方法选择，而非作为通用的方法选择算法：诸如重复测量、聚类、谱效应、评分者间的依赖关系以及不完美的参考方法等设计特征未被纳入其中，而是另行讨论，并连同AI工具验证特有的循环性和混杂问题一并探讨。对于每种方法，我们总结了假设条件、适用场景、结果解读以及可用于样本量计算和分析的开源软件，并通过三个涵盖二元、序数和连续结局的完整实例来展示样本量计算过程。我们进一步区分了针对单一固定模型版本的条件推断与更广泛的推广至某类算法或未来模型版本的情形，后者需要在设计和分析中纳入额外的算法和数据集变异来源。最后，我们概述了有待进一步研究的开放性问题——包括贝叶斯方法的一致性估计、复杂AI输出的方法、适用于聚类和重复测量设计的一致性模型，以及Gwet AC1/AC2样本量规划的有限软件支持——这些问题值得在诊断技术和统计方法学持续演进的过程中进一步探索。
