甲状腺多模态档案的病例水平审计：数据泄漏、标签矛盾与外部数据集迁移性能评估

《BMC Medical Imaging》：Case-level audit of thyroid ultrasound and cytology deep learning: label conflicts, split design, and shortcut-sensitive performance in a public archive

　　摘要背景甲状腺影像人工智能所测量的性能取决于分析人群如何组建、图像如何划分、非解剖学图像内容是否具有信息量，以及采用哪些参考标签。我们在病例水平对公开的甲状腺多模态档案进行了审计，并考察了其报告的性能能够和不能够说明的问题。方法对Pang等人发布的公开档案（387张超声图像；1,332块细针穿刺细胞学组织块）进行审计，检查完全重复和近似重复的图像以及矛盾的标签，并构建冻结的病例水平划分。使用五种ImageNet初始化的骨干网络及其平均概率集成，通过组分层五折交叉验证和冻结测试集进行评估，阈值在验证数据上选定，并采用病例聚类的95%置信区间。修订阶段对照分析包括：使用相同代码对比图像水平折与病例分组折；移除启发式检测到的超声扇区或其周围区域后重新训练，针对所有五种骨干网络和集成模型；以及不使用卷积网络的仅元数据模型。随后，冻结的超声模型在TN3K数据集上重新评估，对照其分布的良性/恶性标签，并在DDTI数据集上评估与TI-RADS类别的一致性；这两个数据集在早期分析开发过程中曾被访问。结果九张超声图像同时出现在良性标签和乳头状癌标签下（共19个文件），已予排除。在病例水平交叉验证下，细胞学集成模型AUROC为0.958（95% CI 0.938–0.975），超声集成模型为0.768（0.716–0.819）。尽管组内存在99.8%的病例污染，图像水平折使两个受测骨干网络的AUROC分别变化了?0.002（?0.021至0.019）和+0.019（0.008至0.032）。移除检测到的超声扇区后，超声集成模型AUROC降至0.690（0.630–0.747），配对变化为?0.078（?0.148至?0.013）；仅保留检测到的扇区时，达到0.760（配对变化?0.008，?0.054至0.039）。在24.2%的帧中，扇区检测退回到固定中央框。仅使用帧几何、全局强度和边界统计量的元数据模型在超声上达到AUROC 0.749（0.692–0.804）。曝光后重新评估中，集成模型在TN3K上达到0.700（0.661–0.741；图像水平区间），并高估了恶性概率（总体校准偏移?0.49），且与DDTI的TI-RADS分组无一致性（0.518，0.436–0.605）。结论本次对公开甲状腺档案的病例水平审计揭示了矛盾的标签、对划分敏感的评价结果，以及在使用启发式方法检测到的超声区域移除后和仅在采集元数据中均存在显著的判别信号，因此该档案上的性能不能解读为纯粹的病变基础性能。在外部数据集上的曝光后重新评估表明，内部模型的迁移能力有限且依赖于终点。