LIDC-IDRI的性能上限是由标签定义的，而非由图像定义的：一个可计算的界限以及对已发表研究的针对性审查

《Journal of Imaging Informatics in Medicine》：The Performance Ceiling of LIDC-IDRI Is Label-Defined Rather than Image-Defined: A Computable Bound and a Purposive Audit of Published Studies

　　

摘要

大多数医学图像分析都基于人类读者的评价标准。我们探讨这样的数据集是否存在一个可以达到的上限。肺成像数据库联盟（LIDC-IDRI）的1319个注释文件被解析为7034个读者级别的评分。我们将每个结节建模为一个潜在的恶性倾向，其中四位读者的判断是条件独立的随机结果。我们证明了没有任何基于图像的模型能够在读者给出的标签基础上，超过该倾向本身的接收者操作特征曲线（AUC）下的面积；我们推导出这一上限如何取决于标记策略，测试了模型未使用的独立性假设，模拟了其失败情况，并根据22项已发表研究的声明规则对其进行了审核。在所有四位放射科医生都读取的905个结节中，有11.7%的结节完全一致，58.0%的结节评分跨越了两个或更多的评分等级。在三个潜在的结节家族中，保留所有结节时，上限为0.898–0.913；丢弃那些被两位读者意见不一致的19.6%的结节后，上限提升到0.946–0.954；仅保留所有意见一致的结节时，上限提升到0.991–0.994。在二进制评分尺度上，没有任何一个家族的预测结果比实际观察到的读者一致性更高；模拟的读者异质性会导致这些上限略微降低。在27个报告的数值中，有11个高于研究自身声明规则所暗示的上限，如果有适度的异质性，还有4个也高于该上限。上限是由标签决定的，而不是由图像决定的。

图形摘要

上限是标签的属性，而不是图像的属性。相同的计算机断层扫描检查和相同的四位放射科医生得到的最大可达到曲线下面积为0.90、0.95或0.99，这完全取决于标记策略决定保留哪些结节（使用β-二项式估计）。条形图的宽度代表905个被四位医生读取的结节中，每个结节的恶性肿瘤评分达到4或5的情况所占的比例；中间的带状区域表示四位医生判断不一致的结节（占57.7%），这不同于图2A中在两个或更多评分等级上判断不一致的58.0%的情况。

大多数医学图像分析都基于人类读者的评价标准。我们探讨这样的数据集是否存在一个可以达到的上限。肺成像数据库联盟（LIDC-IDRI）的1319个注释文件被解析为7034个读者级别的评分。我们将每个结节建模为一个潜在的恶性倾向，其中四位读者的判断是条件独立的随机结果。我们证明了没有任何基于图像的模型能够在读者给出的标签基础上，超过该倾向本身的接收者操作特征曲线（AUC）下的面积；我们推导出这一上限如何取决于标记策略，测试了模型未使用的独立性假设，模拟了其失败情况，并根据22项已发表研究的声明规则对其进行了审核。在所有四位放射科医生都读取的905个结节中，有11.7%的结节完全一致，58.0%的结节评分跨越了两个或更多的评分等级。在三个潜在的结节家族中，保留所有结节时，上限为0.898–0.913；丢弃那些被两位读者意见不一致的19.6%的结节后，上限提升到0.946–0.954；仅保留所有意见一致的结节时，上限提升到0.991–0.994。在二进制评分尺度上，没有任何一个家族的预测结果比实际观察到的读者一致性更高；模拟的读者异质性会导致这些上限略微降低。在27个报告的数值中，有11个高于研究自身声明规则所暗示的上限，如果有适度的异质性，还有4个也高于该上限。上限是由标签决定的，而不是由图像决定的。

图形摘要

上限是标签的属性，而不是图像的属性。相同的计算机断层扫描检查和相同的四位放射科医生得到的最大可达到曲线下面积为0.90、0.95或0.99，这完全取决于标记策略决定保留哪些结节（使用β-二项式估计）。条形图的宽度代表905个被四位医生读取的结节中，每个结节的恶性肿瘤评分达到4或5的情况所占的比例；中间的带状区域表示四位医生判断不一致的结节（占57.7%），这不同于图2A中在两个或更多评分等级上判断不一致的58.0%的情况。