人工智能在放射学领域模型可用性及透明度的深度剖析 —— 一项元研究成果

【字体: 时间:2025年03月18日 来源:European Radiology 4.7

编辑推荐:

  为探究放射学 AI 模型可用性,研究人员分析相关文献,发现其可用性欠佳,改进该状况意义重大。

  # 放射学人工智能模型可用性与透明度的深度探究
在当今医疗科技飞速发展的时代,人工智能(AI)在放射学领域的应用如同一颗璀璨新星,备受瞩目。从疾病的早期诊断到精准治疗方案的制定,AI 都展现出了巨大的潜力。然而,这颗新星背后却隐藏着一些亟待解决的问题。
目前,AI 模型在放射学中的应用面临诸多挑战。一方面,为了确保模型能够在不同的临床场景中准确发挥作用,需要对其进行外部测试,以此评估模型是否存在选择偏倚或过拟合的情况。选择偏倚意味着研究对象不能准确代表目标人群,从而限制了模型的通用性;而过拟合则是模型在训练数据上表现出色,但在面对新数据时却难以发挥作用。有研究发现,近一半的深度学习(DL)模型在外部测试中性能至少出现了适度下降。另一方面,要实现有效的外部测试,研究人员必须能够获取模型的相关信息。尽管一些指南倡导公开代码共享,部分期刊也强制要求代码共享,但仅仅公布训练代码是远远不够的,模型架构和权重等关键信息同样需要公开。若缺乏这些信息,其他研究人员几乎无法重现模型,这不仅阻碍了研究的进展,还可能导致类似模型的重复开发。

为了深入了解放射学中 AI 模型的可用性情况,来自首尔国立大学医院等机构的研究人员开展了一项元研究。该研究成果发表在《European Radiology》上。

研究人员首先进行了系统的文献检索,他们在 Ovid Medline 和 Embase 数据库中搜索了 2022 年发表于 Radiology、Radiologia Medica、Investigative Radiology、European Radiology、Diagnostic and Interventional Imaging 这五本顶尖临床放射学期刊上的 AI 模型开发研究文章。在筛选过程中,排除了不符合条件的文章,最终确定了 268 篇纳入研究的文章。

在数据提取阶段,研究人员对文章的各类特征进行了详细梳理,包括研究特征(如期刊、第一作者所在国家、影像模态、成像身体部位)、个体特征(开发集大小、是否进行外部测试及外部测试集的相关信息)和模型特征(模型目的、模型类型、是否使用影像组学软件包)。

对于模型可用性的分析,研究人员制定了明确的标准。对于传统回归模型,若研究共享了模型公式、列线图或选定的预测因子及其系数、优势比(OR)或风险比,则认为模型可用;对于 DL 模型,只有在推理代码和带权重的模型都可访问时,才判定模型可用。若模型使用了标准的 DL 架构(如 U-Net),仅模型权重可访问时也视为可用。

研究结果显示:在 268 项研究中,仅有 39.9%(107/268)的研究共享了模型。其中,传统回归模型的可用性最高,达到 73.3%(88/120),而 DL 模型的可用性极低,仅为 11.5%(13/113)。这表明 DL 模型在可访问性方面存在严重不足。从期刊角度来看,Radiologia Medica 的模型可用率最高,达到 65.0%(13/20),而 European Radiology 和 Radiology 的可用率分别为 39.9%(79/198)和 33.3%(11/33)。此外,研究还发现,腹部成像研究的模型可用性高于肌肉骨骼成像研究;预后模型的可用性高于诊断模型。

在二次分析中,研究人员进一步探讨了不同软件使用情况下模型的可用性。当分析仅限于使用开源或商业软件进行预处理的研究时,可用模型的比例略有下降;若仅考虑使用开源软件的研究,这一比例下降更为明显。在 DL 研究中,使用开源或商业软件时,可用模型比例为 11.5%(13/113),而仅使用开源软件时,该比例降至 9.7%(11/113)。

通过单变量和多变量逻辑回归分析,研究人员发现多种因素与模型可用性相关。传统回归模型的使用与较高的可用性相关;而影像组学软件包的使用则与较低的可用性相关。此外,外部测试的开展也与较高的可用性存在关联。

综合来看,该研究揭示了放射学领域 AI 模型可用性的现状,尤其是 DL 模型可用性较低的问题。这不仅影响了模型的外部验证和临床可靠性,也阻碍了放射学 AI 研究的进一步发展。提高放射学 AI 模型的可用性对于实现可靠的临床应用、促进患者护理以及推动 AI 系统的稳健发展至关重要。未来,需要制定更严格的模型共享政策,加强外部验证平台建设,解决商业限制问题,并在开放存储库中为商业模型提供演示,以此提高放射学 AI 研究的透明度和可重复性。

研究人员主要运用了以下关键技术方法:首先是系统的文献检索,在 Ovid Medline 和 Embase 数据库中筛选相关文献;其次,对纳入研究的文章进行详细的数据提取,包括研究、个体和模型的多方面特征;最后,运用描述性统计、单变量和多变量逻辑回归分析等统计方法,探究模型可用性与各种因素之间的关系 。
相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号