《Diagnostics》:Artificial Intelligence Reporting Guidelines in Radiology: A Systematic Review
编辑推荐:
背景:人工智能(artificial intelligence, AI)在放射学中的应用日益增多,推动了报告指南、清单、立场声明和评估框架的制定。本系统综述旨在识别和描述这些文件,评估其方法学质量,并评价其对支持诊断影像的AI工具的适用性。方法:于2025年1
背景:人工智能(artificial intelligence, AI)在放射学中的应用日益增多,推动了报告指南、清单、立场声明和评估框架的制定。本系统综述旨在识别和描述这些文件,评估其方法学质量,并评价其对支持诊断影像的AI工具的适用性。方法:于2025年10月检索PubMed、Scopus、Web of Science、Embase和Cochrane Library。纳入标准为2015年至2025年10月18日期间首次正式发布或在线可获取的英文指导文件,包括预印本文章。两名研究人员独立筛选记录,并使用预先定义的项目特定解读指南的《研究与评估指南评价工具II》(Appraisal of Guidelines for Research and Evaluation II, AGREE II)评估方法学质量。该综述在PROSPERO(CRD420261471153)进行回顾性注册。结果:共纳入16份指导文件。呈现清晰度(Clarity of Presentation)的AGREE II得分中位数最高(86.1%),而制定严谨性(Rigour of Development)最低(35.4%)。CLEAR、CLEAR-E3、CLAIM 2024更新版(CLAIM 2024 Update)和欧洲心血管放射学会(European Society of Cardiovascular Radiology, ESCR)立场声明被推荐使用;其余12份文件被推荐修改后使用。结论:放射学AI指南总体清晰且适用,但制定方法常报告不足。没有任何一份专门的影像学文件全面涵盖模型开发、验证、诊断工作流整合和部署后监测;因此可能需要补充性指南。
1. 引言
人工智能(artificial intelligence, AI),特别是机器学习(machine learning, ML)和深度学习(deep learning, DL),在放射学中越来越多地被评估,并在特定临床环境中作为任务特定的决策支持工具实施。卷积神经网络(convolutional neural network, CNN)广泛用于医学图像分析中的病变检测、分类和像素或体素级分割;视觉变换器(vision transformer, ViT)也已被应用于检测、分类和分割任务;混合CNN-Transformer架构结合了两者优势,并已在多种医学影像应用中显示良好前景。生成对抗网络(generative adversarial network, GAN)已被研究用于低剂量计算机断层扫描(computed tomography, CT)的图像重建和后处理,可在降低辐射剂量的同时保持诊断可接受的图像质量。此外,放射组学仍在研究中,生成式AI、大语言模型(large language model, LLM)和多模态视觉-语言系统正在扩展研究议程,但常规临床部署仍然有限。现有证据表明,放射学AI研究存在回顾性、单中心、样本量小、缺乏外部验证以及报告标准依从性不完整等问题。透明报告和评估标准对于判断模型性能是否可靠、可推广并在真实诊断实践中具有潜在用途至关重要。本系统综述旨在识别和描述放射学与医学影像中针对AI、ML、DL和放射组学的报告指南、清单、立场声明和评估框架,并评价其方法学质量及在研究、评估和临床实施背景下的适用性。
2. 材料与方法
2.1 检索策略与选择标准
于2025年10月18日对PubMed、Scopus、Web of Science、Embase和Cochrane Library进行系统检索。检索策略将报告指南、报告标准、清单、共识声明或立场声明等报告标准相关术语,与AI、ML或DL等人工智能技术术语,以及放射学、诊断影像或医学影像等领域术语相结合。初步检索获得919条记录,应用出版类型和日期过滤后保留880条,经自动去重和人工筛选后,最终纳入16份指导文件。两名研究人员独立筛选标题和摘要,筛选过程的Cohen's kappa为0.890,显示几乎完全一致。全部19篇全文报告经资格评估后,3篇被排除(两篇非英语,一篇为缺乏条目化报告标准的简短公告)。
2.2 纳入与排除标准
纳入标准包括:聚焦AI、ML、DL或放射组学在医学影像中应用的报告指南、清单、共识声明、立场文件或评估框架;以英文出版;于2015年至2025年10月18日期间首次正式在线或印刷发布。排除标准包括评估单个AI模型但未提出可推广清单或框架的经验性原始研究、缺乏条目化报告标准的叙述性综述、会议摘要、社论和无全文文章。广泛生物医学和医疗AI报告指南如FUTURE-AI、TRIPOD+AI、STARD-AI、DECIDE-AI、SPIRIT-AI和CONSORT-AI被排除在正式质量评估之外,因为它们并非专门针对放射学。
2.3 数据提取
两名研究人员使用标准化提取表独立提取数据,分歧通过讨论或咨询第三名研究人员解决。提取变量包括一般研究信息、临床和技术范围、框架结构特征、部署因素等。在基于频率的合成中,只有当文件包含明确建议、清单条目、标准或实质性指令时,才认为某元素被涉及。
2.4 使用AGREE II进行指南质量评估
由于纳入文件并非原始临床试验,采用AGREE II工具并附加预先定义的项目特定解读指南来评估方法学质量。保持AGREE II原有结构和23个条目,两名独立研究人员对每份文件的所有23个条目按1至7分评分。评分差异为2分或以上的条目经过讨论以澄清对标准的理解,但保留原始独立评分用于计算。
2.5 数据合成与AGREE II评分
数据采用描述性方法合成,AGREE II领域得分以中位数和范围表示。各领域标化百分比得分按AGREE II用户手册公式计算。不计算单一复合百分比分数,也不使用预设阈值进行质量分级。最终总体质量评级和使用建议通过共识确定。生成式AI仅用于手稿准备阶段的语言润色,未用于文献检索、筛选、数据提取、质量评估或统计分析。
3. 结果
3.1 临床与技术范围
16份文件可分为两类:8份为一般范围,广泛涉及AI在放射学和医学影像中的应用,包括CLAIM 2024更新版、CLEAR、CLEAR-E3、RIDGE、DL医学影像可重复性清单、放射学AI网络安全清单、亚洲大洋洲放射学会指南以及CAR AI规范与评估框架;其余8份针对特定临床领域,包括前列腺癌MRI检测、神经放射学、心血管影像、儿科放射学和介入放射学。部分文件是对既有工具的更新、扩展或补充,如CLAIM 2024更新版、CLEAR-E3和PRIME 2.0。成像模态方面,15份文件不限于单一成像技术,1份专注于前列腺磁共振成像(magnetic resonance imaging, MRI)。技术范围方面,ML方法涉及15份文件,DL及相关方法涉及12份,放射组学、LLM和生成式AI各涉及2份,自然语言处理相关问题涉及1份,软件即医疗设备和与医疗硬件集成的AI工具涉及1份。
3.2 所分析工具的结构和预期用途
文件在长度、组织和目标受众方面差异显著。工具范围从10至11个条目的精简清单或标准集,如R-AI-DIOLOGY、PI-RADS AI模型清单、ESCR立场声明和介入放射学AI实施指南,到包含数十个条目的综合评估框架,如CLAIM 2024更新版44个条目、iCARE 55个条目、CLEAR清单58个条目及其CLEAR-E3说明与阐述文件。PRIME和PRIME 2.0采用包含7个主要评估领域的基于领域的结构。目标受众方面,6份文件面向作者、研究人员和审稿人,以支持科研报告的标准化;4份文件面向医院管理者、监管者、决策者、IT专业人员和临床团队,聚焦现成AI软件在临床实践中的评估和实施;其余文件面向更广泛或混合受众,包括研究人员、模型开发者以及医生和临床用户。
3.3 所分析文件的质量评估
AGREE II评估显示各出版物领域得分差异显著。呈现清晰度(D4)的中位数得分最高,为86.1%,范围77.8%至88.9%;制定严谨性(D3)的中位数得分最低,为35.4%,范围22.9%至54.2%。范围与目的(D1)中位数72.2%,利益相关者参与(D2)58.3%,适用性(D5)74.0%,编辑独立性(D6)75.0%。评分者间信度在各领域间变化:D1、D2、D3和D5的组内相关系数均接近0.78,而D4为0.31,D6为0.36。总体质量评分方面,CLEAR、CLEAR-E3、CLAIM 2024更新版和ESCR立场声明获得6分,并被建议“是”;11份文件获得5分,1份网络安全清单获得4分。最终,4份文件获得“是”推荐,12份获得“是,需修改”推荐,没有文件获得“否”推荐。
3.4 方法学要求和数据标准
13份文件包含与参考标准定义或标注过程相关的要求。CLAIM 2024更新版采用“参考标准”替代“金标准”,并要求报告标注者资质和培训以及评分者内和评分者间变异性;RIDGE要求多专家参与并描述分歧解决方法;iCARE要求报告介入放射科医生或其他医疗专业人员是否参与标注过程;CAR框架建议使用多专家共识或基于临床和病理结果的验证。12份文件包含图像预处理或技术数据准备相关要求。CLAIM 2024更新版要求详细报告归一化、重采样、窗宽窗位、二值化、去标识化和缺失数据处理;iCARE要求报告偏倚缓解技术和数据遮蔽;CAR框架要求开发者明确空间分辨率、层厚和血管期相等参数。详细模型开发要求出现在DL可重复性清单、RIDGE和CLAIM 2024更新版中,包括算法类型、模型架构、训练参数、优化程序和最终模型选择标准。
3.5 验证、诊断适用性和临床工作流
由于纳入文件主要为指南、清单、概念框架和专家立场声明,均未提供新AI模型的直接临床验证或评估其对诊断准确性的影响。外部或独立测试或验证在13份文件中被涉及,其余3份未明确使用独立数据评估模型的标准。工作流方面,文件强调需要报告算法的预期临床作用、转化障碍和计算负担。CAR框架优先评估AI对紧急发现通知、扫描仪利用率、报告周转时间和员工满意度的影响。实践导向的指南还强调需要评估持续模型学习、概念漂移和软件性能退化随时间带来的风险。
3.6 所分析文件主要方向综合
分析识别出两种部分重叠的文件类型。第一类强调科学透明性和可重复性,通过数据划分、参考标准、预处理、模型开发和验证相关的报告要求实现,包括CLAIM 2024更新版、CLEAR、CLEAR-E3、PRIME、PRIME 2.0、RIDGE、iCARE、ESCR立场声明、前列腺癌MRI清单和神经放射学指南等。第二类为专注于AI在临床实践中实施和治理的评估框架,除方法学考虑外还涉及非医学因素,包括自主设备运行风险、实施财务可行性、订阅和许可等定价模式、网络安全程序以及商业软件代码的可审计性,如R-AI-DIOLOGY、CAR AI框架、放射学AI网络安全清单、介入放射学AI实施指南和儿童放射学相关文件。
4. 讨论
4.1 所纳入指南文件的方法学质量
纳入文件的显著优势是推荐内容呈现清晰,大多数文件以结构化和易于识别的方式表述主要原则,这反映在呈现清晰度(D4)最高得分上,中位数86.1%。范围与目的(D1)得分也较高,中位数72.2%。适用性(D5)得分相对较高,中位数74.0%,与纳入实施障碍、技术要求、临床工作流影响和AI工具性能监测等实用方面相关。16份文件中仅4份获得最终“是”推荐:CLEAR在制定严谨性(D3:54.2%)和编辑独立性(D6:91.7%)上得分最高;CLAIM 2024更新版在利益相关者参与(D2:63.9%)上得分最高;ESCR立场声明结合了高呈现清晰度(D4:88.9%)和强适用性(D5:81.2%);CLEAR-E3在各领域表现相对均衡。这些文件获得高推荐并非仅因某一领域突出,而是多个领域质量相对一致。主要局限反映在