《Diagnostics》：Diagnostic Accuracy of Machine and Deep Learning Methods in Intracranial Hemorrhage Detection: A Systematic Review and Meta-Analysis
编辑推荐：
背景/目的：本系统评价研究了机器学习和深度学习算法在检测颅内出血（ICH）及其亚型（包括蛛网膜下腔出血、脑室内出血、脑实质内出血、硬膜下出血和硬膜外出血）中的诊断准确性。此外，研究人员通过比较在私有数据集与公开数据集上测试的方法，以及经FDA批准与未经FDA批
背景/目的：本系统评价研究了机器学习和深度学习算法在检测颅内出血（ICH）及其亚型（包括蛛网膜下腔出血、脑室内出血、脑实质内出血、硬膜下出血和硬膜外出血）中的诊断准确性。此外，研究人员通过比较在私有数据集与公开数据集上测试的方法，以及经FDA批准与未经FDA批准的算法，考察了其泛化能力。方法：检索了PubMed、Scopus和Embase数据库，时间范围为2010年1月至2025年12月。纳入的研究对象为出现急性神经功能缺损并接受非对比头颅CT扫描的患者，研究采用机器学习和深度学习算法进行ICH检测，算法在私有和/或公开数据集上进行了测试，获得FDA批准或未获批，并以临床医生的评估作为参考标准。荟萃分析合并了敏感性和特异性。结果：共对89篇文献进行了全面评估，其中51项研究纳入荟萃分析。ICH检测的合并敏感性和特异性分别为94.5%（95% CI: 92.4–96.0）和95.3%（95% CI: 93.1–96.9）。对于在私有数据集和公开数据集上测试的AI方法，合并敏感性分别为94.4%（95% CI: 91.2–96.5）和94.5%（95% CI: 91.8–96.4），合并特异性分别为95.6%（95% CI: 92.9–97.2）和95.1%（95% CI: 90.1–97.5）。FDA批准和非FDA批准的AI算法显示，前者合并敏感性为90.7%（95% CI: 87.1–93.4），特异性为95.8%（95% CI: 90.3–98.3）；后者合并敏感性为95.5%（95% CI: 93.4–96.9），特异性为95.7%（95% CI: 92.4–97.6）。结论：研究结果表明，所开发的AI算法在ICH检测中的诊断准确性与经验丰富的临床医生相当。在私有和公开数据集上测试的方法以及FDA批准与非FDA批准的方法在ICH诊断上差异较小，这为其在卒中患者诊疗路径中整合入决策支持系统展现了令人鼓舞的前景。
1. 引言
颅内出血（intracranial hemorrhage, ICH）是一种危及生命的神经系统疾病，约占全球所有卒中事件的28%，全球发病率为每10万人44例。ICH显著导致卒中相关的死亡和残疾，强调及时准确诊断以促进早期治疗的必要性。由ICH引起的急性神经功能缺损需要在狭窄的治疗时间窗内进行紧急医疗干预，以优化预后。区分ICH与缺血性卒中至关重要，因为管理策略差异显著。单纯临床评估不足，而非对比计算机断层扫描（non-contrast computed tomography, NCCT）因其可及性和快速显示脑部病理的能力，仍是ICH诊断的基石。然而，细微的放射学征象如小出血或高密度血管征可能难以检测，尤其对于经验较少的放射科医生。在资源有限的环境或正常工作时间之外，获得专科神经放射科医生的机会受限，这一问题更加突出。过去十年中，人工智能（artificial intelligence, AI），特别是机器学习（machine learning, ML）和深度学习（deep learning, DL）技术，已成为医疗行业有前景的工具。这些技术有可能提高诊断准确性，帮助放射科医生更有效地判读扫描图像，甚至可以作为独立的诊断系统运行。FDA和CE批准的AI工具促进了AI在临床工作流程中的整合，在急诊和常规环境中显示出潜力。然而，这些算法的泛化能力和可靠性仍取决于多种因素，包括训练数据集的质量、影像采集协议和扫描仪特定特征。本系统评价和荟萃分析的主要目的是评估ML和DL算法在检测ICH及其亚型（蛛网膜下腔出血、脑实质内出血、脑室内出血、硬膜下血肿和硬膜外血肿）中的诊断准确性。作为次要目标，研究人员通过比较在私有数据集上测试的算法与在公开数据集上测试的算法的性能来评估所开发方法的泛化能力，并检查FDA批准与非FDA批准方法的诊断性能。
2. 材料与方法
本系统评价遵循系统评价和荟萃分析优先报告条目（Preferred Reporting Items for Systematic reviews and Meta-Analysis, PRISMA）声明中概述的指南进行。
2.1. 文献检索
检索了PubMed、Scopus和Embase，以查找检查人工智能算法在成人队列急诊非对比CT扫描中检测非创伤性颅内出血性能的合格研究。排除包含术后、慢性、偶然或随访CT扫描的研究。检索时间范围为2010年1月至2025年12月，包括技术（人工智能、机器学习等）、临床（颅内、脑内出血、卒中、等）、任务相关（分类、检测）和影像（计算机断层扫描、非对比、头部CT等）术语的组合。检索使用自由文本词、医学主题词（Medical Subject Headings, MeSH）和布尔运算符。详细检索见附录A。通过参考文献中的相关文献交叉核对确定了其他研究。
2.2. 研究筛选
两名评审员（A.A.和Y.T.）独立筛选所获研究的标题和摘要以确定合格性，任何冲突由第三名评审员（R.P.H.B.）解决。然后使用预定义的纳入标准对全文研究进行评估：(a) 研究采用了ML或DL方法；(b) 算法用于NCCT扫描上ICH的检测或分类；(c) AI工具的性能指标与临床评估或专家评估进行比较；(d) 研究经过同行评审。未报告敏感性、特异性指标和/或测试数据集中CT数量的研究仅纳入系统评价。排除病例报告、综述、评论、致编辑信函、会议摘要和非英文出版物。
2.3. 数据提取
使用医学影像人工智能检查清单（Checklist for Artificial Intelligence in Medical Imaging, CLAIM）工具从合格研究中提取数据，以收集充分描述作者工作的变量。从每项研究收集的信息包括研究设计（前瞻性、回顾性）、检测的ICH类型、测试数据集的大小和类型（私有、公开）、参考标准（临床报告、专家共识）、所测试的AI算法、算法的监管批准状态（FDA、非FDA）及其诊断准确性。提取的信息也用于评估纳入研究的方法学质量，从而能够对合格研究的试验设计、报告完整性和潜在偏倚来源进行结构化评估。
2.4. 研究分组
除了包含所有满足纳入标准的主要研究组外，还根据开发的ML和DL算法是否在公开可用的数据集（私有与公开数据集）上测试，以及AI工具是否获得商业许可（FDA与非FDA批准）构建了两个额外的亚组。私有数据集通常缺乏关于患者人群特征和影像协议详细信息，这可能妨碍AI算法在真实世界环境中的性能。将在私有数据集上评估的AI模型与在公开数据集上测试的模型进行比较，可以深入了解诊断性能的潜在差异，并为模型的泛化能力提供指示。类似地，比较FDA批准的AI工具与未获得监管许可的算法，可以评估与市场批准相关的ICH检测性能的潜在差异。
2.5. 荟萃分析
在R Studio（版本2026.01.0）中进行了荟萃分析，旨在计算ICH及其亚型检测的合并性能指标。根据检测任务类型（ICH、SAH、IPH、IVH、SDH、EDH）、AI工具测试的数据集类型（私有或公开）及其商业许可证（FDA与非FDA批准）对所有纳入研究进行分组后，计算了每个亚组中所包含算法的合并敏感性和特异性。对每个亚组使用双变量随机效应模型，因为纳入研究之间存在方法学异质性，包括患者人群、数据集大小、影像协议、模型设计和参考标准的差异。该模型假设真实效应量可能在研究之间有所不同，因此包含了研究内抽样误差和研究间方差。因此，合并估计值应解释为纳入研究中的平均效应。开发的双变量随机效应模型对每项研究的敏感性和特异性指标进行logit变换，并使用metafor包（版本5.0-1）的rma.glmm函数，采用限制性最大似然估计（REML）估计器。阈值效应通过logit敏感性和特异性的研究间相关性检验，零细胞通过二项glmm函数处理，报告了置信区间以及研究的异质性。关于每个亚组研究数量的额外荟萃分析信息见补充材料。
3. 结果
在筛选标题和摘要后，评估了107篇全文文章的合格性，其中89项研究纳入系统评价。其中51项研究提供了足够的数据用于荟萃分析。研究过程的流程图如图1所示。
3.1. 研究特征
89项纳入研究的主要特征总结于表1。其中32项研究仅关注颅内出血（ICH）的检测，29项研究了ICH及其亚型。六项研究专门针对SAH，一项研究聚焦IVH。DL方法是最常用的，出现在72项研究中，而8项研究结合了ML和DL技术，9项仅使用ML架构。
3.2. 研究质量评估
使用诊断准确性研究质量评估（Quality Assessment of Diagnostic Accuracy Studies, QUADAS-2）工具评估每项研究的偏倚风险和适用性，其结果如图2和图3所示。所有纳入研究报告了两种高风险偏倚，29项研究存在患者选择信息不明确，17项涉及参考标准不明确，23项涉及流程和时间不明确，12项涉及指标试验不明确。三项研究在适用性方面报告了高风险，29项研究存在患者选择信息不明确，18项涉及参考标准不明确，8项涉及指标试验不明确。
3.3. ICH检测的准确性
共有82项研究测试了AI算法在NCCT扫描中检测ICH的性能。在上述研究中，51项提供了计算其出血检测合并诊断准确性所需的信息，如表2所示。
3.4. 区分ICH亚型的诊断准确性
37项研究评估了AI算法检测蛛网膜下腔出血（SAH），31项检测脑实质内出血（IPH）和脑室内出血（IVH），30项检测硬膜下出血（SDH）和硬膜外出血（EDH）。并非所有研究都提供了足够信息以纳入荟萃分析。SAH检测的合并敏感性最高，为95.1%（95% CI: 89.7–97.7），其次是IPH（95.7%，95% CI: 89.9–98.2）、IVH（91.3%，95% CI: 87.2–94.2）、EDH（89.4%，95% CI: 68.0–97.1）和SDH（88.4%，95% CI: 82.5–92.5）。在特异性方面，EDH检测实现了最高的合并值（96.7%，95% CI: 91.7–98.7），其他亚型的特异性值范围为90.9%至95.2%。所有亚型的合并诊断准确性指标详见表2，图4总结了这些发现。
3.5. 私有与公开测试数据集
45项研究使用了私有数据集，39项使用了公开数据集。私有数据集主要来自单中心研究（n = 38），而大多数公开数据集（n = 36）依赖RSNA ICH检测挑战数据集。对于ICH检测，在私有数据集上测试算法的合并敏感性为92.5%（95% CI: 89.7–94.6），特异性为95.3%（95% CI: 93.3–96.7）。在公开数据集上测试的算法实现了相当的敏感性93.2%（95% CI: 90.9–94.9）和特异性92.6%（95% CI: 88.9–95.2）。私有和公开数据集在ICH亚型中的合并诊断准确性指标总结于图5。亚组分析显示特定亚型的性能存在差异。对于SAH，私有数据集产生了更高的敏感性（97.1%，95% CI: 86.5–99.4），而公开数据集为92.9%（95% CI: 86.8–96.3），特异性相似。对于IPH，私有数据集显示出稍好的敏感性（97.3%，95% CI: 78.8–99.7）和特异性（97.0%，95% CI: 76.1–99.7），而公开数据集分别为94.2%（95% CI: 90.3–96.7）和93.3%（95% CI: 88.3–96.2）。相反，IVH检测算法在公开数据集上表现更好，具有更高的合并敏感性（92.8%，95% CI: 89.6–95.1）和相当的特异性（95.2%，95% CI: 88.8–98.1）。
3.6. FDA与非FDA标记的AI算法
纳入15项检验了商业批准算法检测ICH能力的研究，其合并敏感性和特异性如图6所示。FDA批准方法的性能与非FDA算法相当。FDA批准的模型显示合并敏感性为90.7%（95% CI: 87.1–93.4），特异性为95.8%（95% CI: 90.3–98.3），而非FDA批准的模型达到了略高的合并敏感性95.5%（95% CI: 93.4–96.9）和特异性95.7%（95% CI: 92.4–97.6）。本评价中包括的所有FDA批准的AI工具均在私有数据集上进行了测试，其中四项研究使用来自多个医疗中心的NCCT图像。
4. 讨论
在本系统评价中，研究人员证明了用于检测ICH及其亚型的AI方法实现了高诊断准确性。ICH检测的合并敏感性和特异性约为95%，表明这些AI算法在非对比CT（NCCT）扫描中识别ICH方面与经验丰富的临床医生表现相当。关键发现之一是私有和公开数据集之间诊断性能的一致性。几乎相同的合并敏感性和特异性值表明AI算法，尤其是那些在多样化数据集上训练的算法，表现出强大的泛化能力。然而，在特定ICH亚型的检测中观察到微小差异。例如，在私有数据集上训练的算法在SAH和IPH方面表现更好，而在公开数据集上测试的算法在检测IVH和SDH方面表现出色。这些差异可能反映了将AI模型应用于异质性成像协议和患者人群所面临的挑战。
在私有数据集上测试的AI算法通常针对特定ICH亚型（如蛛网膜下腔出血（SAH）和脑实质内出血（IPH））优于在公开数据集上测试的算法。这可能反映了AI模型在应用于具有成像协议、扫描仪类型和患者人群差异的多样化公开数据集时所面临的挑战。然而，私有和公开性能指标之间的相对较小差异表明AI模型在处理类似真实世界变异性的数据时仍然强大，尽管使用异质性数据进行进一步训练可以增强其泛化能力。
对FDA批准和非FDA批准算法的亚组分析显示，非FDA批准模型的敏感性略高。然而，两组的特异性均达到相似的较高水平。这表明非FDA批准的算法，通常在学术环境中开发且具有更多实验灵活性，可能在性能上有所改进。尽管如此，经过广泛监管验证的FDA批准模型在结构化环境（如医院）中可能高度可靠且临床适用，尽管建议对其在类似真实世界队列的数据集上的性能进行更多研究。
本研究还强调了确保用于临床决策支持的AI模型在各种环境中进行测试以验证其可靠性的重要性。将AI工具整合到临床工作流程中可显著减少诊断延迟，特别是在急诊环境或资源有限、无法获得经验丰富的放射科医生的地区。达到与临床医生相似的敏感性和特异性值的AI工具是将AI工具整合到患者治疗路径中的众多步骤中的第一步。然而，还需要额外研究来调查AI工具在临床环境中的实际影响，因为高AI性能指标可能不会在所有医院环境中转化为更好的患者护理。
此外，AI系统有潜力作为独立的诊断工具运行，尽管在算法的可解释性和推理过程以及假阳性和假阴性情况下的行动方案方面还需要更多步骤。AI工具决策过程越透明，AI系统对医疗保健专业人员和患者来说就越可靠和可接受。
尽管结果令人鼓舞，但应注意到若干局限性。纳入研究在AI架构、成像协议和数据集特征方面表现出显著变异性，这可能引入结果变异性。使用不同类型（临床报告、专家共识）以及参与临床医生数量和资历不同的参考标准可能使我们无法对AI工具的性能指标进行具体比较。此外，大多数研究的回顾性性质限制了对实时临床适用性的评估。许多研究还缺乏对构成训练和测试数据集的患者队列的详细描述，这阻碍了对模型泛化能力的彻底评估。所检查AI架构中的较大异质性和研究间方差不允许对ML和DL方法之间的诊断准确性进行更直接比较，因为它们的高值表明了多种变异性来源，例如训练和测试的数据，包括其规模和质量。此外，纳入研究报告的性能不能完全表征AI工具的失败模式，因为高诊断性能可能与特定临床病例中校准不良的预测结果共存。另外，每项研究中呈现最佳模型可能会引入乐观偏倚，因为报告的准确性可能部分反映了测试数据中的有利变异。
除了诊断准确性，这些工具的临床价值将取决于它们如何嵌入急性护理路径。在急诊环境中，一种能可靠地标记非对比CT上颅内出血的AI工具可以在放射科工作清单中优先排序阳性扫描，缩短专家审查时间，并促使更早的神经外科会诊。实现这些益处需要前瞻性评估，因为目前大多数研究是回顾性的。未来的工作因此不仅应评估独立诊断准确性，还应评估这些工具如何与临床医生互动，以及它们的整合是否改善了以患者为中心的结果，如诊断时间、干预时间和功能结局。
5. 结论
本系统评价和荟萃分析的结果表明，用于ICH检测的AI算法实现了高诊断准确性，并在私有和公开数据集上显示出有前景的泛化能力。FDA批准和非FDA批准的模型显示出可比的性能，增强了其可靠性和临床适用性。AI方法在整合到临床工作流程中具有巨大潜力，特别是在放射学专业知识有限的设置中。未来的研究应优先考虑前瞻性试验，评估在多样化和异质性数据集中的性能，并探索AI系统与临床医生之间的交互，以优化其在改善患者护理中的作用。
