监管机构批准的急性卒中CT商用人工智能研究中公平性与公正性的报告:一项系统综述
《Academic Radiology》:Reporting of Fairness and Equity in Studies of Regulator-cleared Commercial AI for Acute Stroke CT: A Systematic Review
【字体:
大
中
小
】
时间:2026年10月23日
来源:Academic Radiology 4.7
编辑推荐:
研究原理与目的如今,通过监管机构批准的商业人工智能(AI)工具正在各医疗系统中对计算机断层扫描(CT)图像上的急性卒中病例进行分诊,而这些系统的患者群体在年龄、性别、种族、社会经济地位及影像设备方面各不相同。目前尚不清楚,针对这些工具的研究是否报告了其性能在各类群体间的差异。
研究原理与目的
如今,通过监管机构批准的商业人工智能(AI)工具正在各医疗系统中对计算机断层扫描(CT)图像上的急性卒中病例进行分诊,而这些系统的患者群体在年龄、性别、种族、社会经济地位及影像设备方面各不相同。目前尚不清楚,针对这些工具的研究是否报告了其性能在各类群体间的差异。
材料与方法
我们对已获监管批准的、用于成人急性卒中 CT 任务的商业 AI 工具的英文文献进行了系统性综述。检索时间范围:PubMed、Scopus 和 PubMed Central 检索 2018 年 1 月 1 日至 2026 年 6 月 2 日;Embase、Web of Science Core Collection 和 IEEE Xplore 于 2026 年 9 月 14 日检索,收录 2018 年及以后发表的记录;此外辅以回溯性参考文献检索与引文追踪审计。两名审阅者独立进行文献筛选、数据提取与偏倚风险评估。八个预定的报告条目借鉴了 CLAIM 2024、TRIPOD+AI 及算法偏倚相关证据,评分分为"已报告""部分报告"和"未报告"三档。本综述已在 PROSPERO 注册(CRD420261403480)。
结果
共有 13 项研究符合纳入标准,涵盖 9 家厂商和 4 项 CT 任务。其中仅 1 项研究报告了社会人口学亚组性能。该研究发现,女性患者的阳性预测值低于男性患者(67.3% 对比 72.7%;p = 0.02),黑人患者低于非黑人患者(66.7% 对比 73.2%;p = 0.005)。另有 1 项研究报告了按中心、扫描仪或协议分层的性能。所有纳入的同行评审研究中,无一项描述了该工具训练数据的人口学构成;4 项研究承认可能存在偏倚或数据缺口,但并未对其进行测量。
结论
纳入的同行评审评估中,亚组性能的报道十分罕见。单项研究中观察到的阳性预测值差异,不足以刻画各产品的公平性。亚组及训练人群信息的缺失限制了公平性评估,但并不证明所评估的系统存在不公平。
章节摘要
引言
一项诊断工具可能仅依据某一特定人群的数据获得批准。随后,它可能被部署于患者群体差异很大的医疗系统中,这些差异涉及年龄、性别、种族、社会经济状况及所用影像设备,而该工具可能对某些群体表现不佳,却无人对此差异进行测量。
这一风险在卒中领域尤为相关——卒中是全球第二大死因,也是全球获得性残疾的主要原因,2019 年估计有 1220 万例新发卒中(1)。
信息来源与检索策略
检索 PubMed、Scopus 和 PubMed Central 中 2018 年 1 月 1 日至 2026 年 6 月 2 日期间发表的英文记录。修订期间,于 2026 年 9 月 14 日检索 Embase、Web of Science Core Collection 和 IEEE Xplore,获取英文文献
研究筛选与特征
图 1 概述了研究筛选过程;共 13 项研究符合纳入标准。这些研究涵盖 9 家商业厂商和全部 4 项 CT 任务:大血管闭塞(LVO)检测 9、10、12、16、17、18,脑内出血(ICH)检测 12、19、20、21、22,ASPECTS 评分估算(11),以及 CT 灌注(CTP)分析(23);Mallon 等(24)评估的是一套多任务组合工具。
全部 13 项纳入研究均在发表时评估了具有监管批准记录的产品-任务组合。在 Lim 等(9)的研究中,2023 年获得的 MFDS 批准时间晚于部分数据收集过程
讨论
在纳入的 13 项关于已获监管批准的商业卒中 AI 的 CT 研究中,仅 1 项研究报告了社会人口学亚组性能。该研究发现女性患者的阳性预测值低于男性患者,黑人患者低于非黑人患者(19)。这一发现仅适用于一项回顾性队列中的一个产品,不应推广至其他产品,也不应解读为商业卒中 AI 普遍存在不公平的证据。相反,它表明
优势与局限
本综述兼具方法学优势与局限。两名审阅者依据预定报告条目独立筛选、提取并评价了每一项纳入研究,且偏倚风险评估与公平性相关报告的评估相互独立。修订期间,我们还对纳入的报告及 Westwood 等(7)的系统综述进行了回溯性参考文献检索与引文追踪。证据基础包含 13 项研究且较为异质;因此,
意义
弥补这一缺口,需要各方承担起与其可获取数据相对应的责任。厂商在推出工具时应披露开发与验证人群的人口学构成,监管机构则应要求在批准前后均提供工具在预期适用人群中性能的证据(25)。不应期待独立的上市后研究者获取或重新分析专有训练数据集。他们可行的贡献在于报告亚组性能
结论
纳入的同行评审研究很少报告性能在社会人口学亚组间是否存在差异,且无一提供工具训练数据人口学构成的信息。这类有限的公开信息制约了公平性评估,但并不证明这些系统是不公平的。这不应被解读为独立评估者的报告失职。评估研究应当报告亚组性能及其所涉人群
CRediT 作者贡献声明
Yosef Adiniaev:撰写——审阅与编辑、撰写——初稿、方法学、正式分析、数据整理、概念构思。Mahmud Omar:撰写——审阅与编辑。Tohar M. Timor:撰写——审阅与编辑。Oved Daniel:撰写——审阅与编辑。Yonatan Adiniaev:撰写——审阅与编辑。Yiftach Barash:撰写——审阅与编辑。Olga R. Brook:撰写——审阅与编辑。Eyal Klang:撰写——审阅与编辑、指导、方法学、概念构思。Alon Gorenshtein:
写作过程中生成式 AI 及 AI 辅助技术的使用声明
在本工作的准备过程中,作者使用了 ChatGPT 进行语法与语言表达检查。作者已对输出结果进行了审阅与编辑,并对本文献的内容承担全部责任。
利益冲突声明
作者声明,不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
Yosef Adiniaev|Mahmud Omar|Tohar M. Timor|Oved Daniel|Yonatan Adiniaev|Yiftach Barash|Olga R. Brook|Eyal Klang|Alon Gorenshtein
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号