训练数据量分析、计算效率及绿色人工智能在肩袖钙化肌腱病分类中的应用——一项涉及两家机构的交叉验证研究

《Journal of Imaging Informatics in Medicine》:Training-Volume Analysis, Computational Efficiency, and Green AI in Rotator Cuff Calcific Tendinopathy Classification—A Two-Institution Study with External Validation

【字体: 大 中 小 】 时间:2026年10月16日 来源:Journal of Imaging Informatics in Medicine 3.1

编辑推荐:

   摘要 本研究旨在评估训练数据量对基于VGG19的模型在肩部X光片(XR)上进行旋转袖钙化肌腱病(RCCT)分类时的诊断性能、外部验证能力、对训练子集组成的鲁棒性以及计算效率的影响,训练数据来自同一开发机构。这项回顾性研究涵盖了5056张肩部X光片。基于视觉几何组19(VGG1

  

摘要

本研究旨在评估训练数据量对基于VGG19的模型在肩部X光片(XR)上进行旋转袖钙化肌腱病(RCCT)分类时的诊断性能、外部验证能力、对训练子集组成的鲁棒性以及计算效率的影响,训练数据来自同一开发机构。这项回顾性研究涵盖了5056张肩部X光片。基于视觉几何组19(VGG19)的模型训练过程使用了4268张X光片数据集的四个不同比例子集:25%(M25)、50%(M50)、75%(M75)和100%(M100),并采用了分层5折交叉验证方法。为了评估模型对训练子集组成的鲁棒性,分别针对M25、M50和M75生成了三个嵌套的累积抽样数据集,而M100作为完整数据的参考。模型在内部测试数据集(n=480)和外部验证数据集(n=308)上进行了评估。接收者操作特征曲线(AUC)下的面积通过带Holm校正的相关DeLong检验进行了比较。此外,还使用双侧检验(TOST)在±0.02的AUC等价范围内评估了M75和M100之间的差异。通过对重复的累积子集数据集进行验证,评估了训练量对模型性能的影响。采用Grad-CAM方法对病灶区域进行了定量评估,并结合专家定义的病灶区域,通过定位游戏(Pointing Game)、精确度-召回率曲线下的定位面积(AUPRC)和基于能量的定位游戏(EBPG)进行了分析,同时使用Score-CAM方法进行了定性验证。在主要抽样数据集中,模型的内部AUC从使用M25时的0.869提升到使用M100时的0.951。外部AUC从M25的0.835提升到M50的0.903、M75的0.945以及M100的0.953。从M25到M50以及从M50到M75的提升都具有显著的统计学意义(Holm校正后的P<0.001),而M75到M100的提升幅度较小(ΔAUC=0.008;P=0.161)。在±0.02的AUC等价范围内,M75和M100的外部性能相当(TOST检验,P=0.016)。在三个独立抽样的M75子集数据集中,外部AUC保持高度稳定(0.945–0.948;平均值±标准差,0.946±0.001),且所有三个M75数据集的模型性能都与M100相当。与M100相比,M75所需的训练时间减少了11.4%,计算能耗也减少了15.4%。在主要使用42张X光片的抽样数据集中,随训练量的增加,Grad-CAM的定位能力总体有所提升:在两个数据集中,M100的定位游戏得分和AUPRC值最高,而EBPG得分在M75时达到峰值。虽然增加训练量可以提高模型的区分能力,但在基于VGG19的RCCT分类任务中,超过M75后的额外训练收益显著减少。在M75时达到的接近最大外部性能在独立训练子集数据集中具有可重复性,并且在评估的AUC范围内与全数据训练的效果相当,这表明训练量分析是平衡性能和计算资源的一种有效策略。在本研究中,使用来自同一开发机构的训练数据,当训练数据量超过75%时,外部诊断能力的提升效果明显减弱;然而,M75在独立训练子集数据集中的性能具有高度可重复性,并且在±0.02的AUC范围内与全数据训练的效果相当。

本研究旨在评估训练数据量对基于VGG19的模型在肩部X光片(XR)上进行旋转袖钙化肌腱病(RCCT)分类时的诊断性能、外部验证能力、对训练子集组成的鲁棒性以及计算效率的影响,训练数据来自同一开发机构。这项回顾性研究涵盖了5056张肩部X光片。基于视觉几何组19(VGG19)的模型训练过程使用了4268张X光片数据集的四个不同比例子集:25%(M25)、50%(M50)、75%(M75)和100%(M100),并采用了分层5折交叉验证方法。为了评估模型对训练子集组成的鲁棒性,分别针对M25、M50和M75生成了三个嵌套的累积抽样数据集,而M100作为完整数据的参考。模型在内部测试数据集(n=480)和外部验证数据集(n=308)上进行了评估。接收者操作特征曲线(AUC)下的面积通过带Holm校正的相关DeLong检验进行了比较。此外,还使用双侧检验(TOST)在±0.02的AUC等价范围内评估了M75和M100之间的差异。通过对重复的累积子集数据集进行验证,评估了训练量对模型性能的影响。采用Grad-CAM方法对病灶区域进行了定量评估,并结合专家定义的病灶区域,通过定位游戏(Pointing Game)、精确度-召回率曲线下的定位面积(AUPRC)和基于能量的定位游戏(EBPG)进行了分析,同时使用Score-CAM方法进行了定性验证。在主要抽样数据集中,模型的内部AUC从使用M25时的0.869提升到使用M100时的0.951。外部AUC从M25的0.835提升到M50的0.903、M75的0.945以及M100的0.953。从M25到M50以及从M50到M75的提升都具有显著的统计学意义(Holm校正后的P<0.001),而M75到M100的提升幅度较小(ΔAUC=0.008;P=0.161)。在±0.02的AUC等价范围内,M75和M100的外部性能相当(TOST检验,P=0.016)。在三个独立抽样的M75子集数据集中,外部AUC保持高度稳定(0.945–0.948;平均值±标准差,0.946±0.001),且所有三个M75数据集的模型性能都与M100相当。与M100相比,M75所需的训练时间减少了11.4%,计算能耗也减少了15.4%。在主要使用42张X光片的抽样数据集中,随着训练量的增加,Grad-CAM的定位能力有所提升:在两个数据集中,M100的定位游戏得分和AUPRC值最高,而EBPG得分在M75时达到峰值。虽然增加训练量可以提高模型的区分能力,但在基于VGG19的RCCT分类任务中,超过M75后的额外训练收益显著减少。在M75时达到的接近最大外部性能在独立训练子集数据集中具有可重复性,并且在评估的AUC范围内与全数据训练的效果相当。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号