《Neurocomputing》:DAP-Net: A Dual-Modality Adaptive Prompt-Driven Method for Acute Ischemic Stroke Segmentation in Non-Contrast Computed Tomography Images
编辑推荐:
针对急性缺血性脑卒中(AIS)在非对比CT(NCCT)图像上低对比度导致的分割困难,提出DAP-Net方法,结合双模态自适应策略和生成式提示驱动,在公共和私有数据集上显著提升分割指标(DSC达0.634,mIoU 0.479,F1-score 0.667)。
吴可青|金鑫|谭家禾|王志鹏|李明|文玲|王海燕|高欣
中国科学技术大学生物医学工程学院(苏州),生命科学与医学系,安徽省合肥市230026
摘要 在急性缺血性中风(AIS)发作后的关键6小时内快速准确地勾勒出梗死区域对于及时干预和改善预后至关重要。高精度的基于图像的AIS分割技术能够直观地显示梗死的位置和范围。虽然扩散加权成像(DWI)是界定AIS的临床金标准,但在资源有限的条件下,非对比增强计算机断层扫描(NCCT)是常用的替代方法。然而,NCCT上AIS梗死区域与正常脑组织之间的对比度较低,给准确分割带来了显著挑战。我们提出了DAP-Net,这是一种用于NCCT上AIS分割的新深度学习方法。其创新之处在于采用了两个组件:双模态自适应策略(DMAS)和生成式提示驱动方法(GPDM)。DMAS将DWI得到的先验信息转移到NCCT上,显著提高了模型对细微低密度信号的敏感性;GPDM则利用轻量级的VGG-UNet生成空间提示,以驱动SAM2进行精确的边界勾画。这种独特的协同组合是本工作的核心贡献,使DAP-Net能够达到先进的性能。在七个中心的队列(1,026名AIS患者,4,916对NCCT数据<24小时<-->发作后和DWI数据<1-7天<-->发作后)上进行评估时,DAP-Net在公共AISD队列(1,960张切片)和私人六家医院队列(2,465张切片)上均独立训练过。在公共测试队列(217张切片)中,其Dice相似性(DSC)为0.634,平均交并比(MIoU)为0.479,F1分数为0.667,分别比现有最佳方法提高了12.4%(p<0.05)、16.2%和11.2%。在私人测试队列(274张切片)中,DSC、MIoU和F1分数分别为0.566、0.407和0.595,提高了14.3%(p<0.05)、11.9%和12.7%)。DAP-Net能够在NCCT上快速准确地量化AIS,为缺乏MRI的初级护理环境中的个性化诊断和治疗提供了有效解决方案。
引言 中风是全球第二大死亡原因,也是成人残疾的主要原因之一[1]。在中风亚型中,由脑血管阻塞引起的急性缺血性中风(AIS)约占所有中风病例的80%[2,3]。在症状发作后的6小时内及时进行针对性治疗可将死亡率降低20%,残疾率降低30%[4]。治疗策略的制定与梗死区域的大小和解剖位置密切相关[5]。
扩散加权磁共振成像(DWI)能够在发作后6小时内准确勾勒出梗死区域[6],因此被临床公认为是AIS定位和分割的金标准,为治疗计划提供了关键信息[7-14]。然而,DWI在快速AIS分诊中的应用受到多种因素的限制:对硬件要求高、采集时间较长,且无法扫描处于昏迷或烦躁状态的大面积梗死患者。相比之下,非对比增强计算机断层扫描(NCCT)易于获取、快速且成本低廉,成为资源有限环境下的理想替代方案[15-19]。然而,NCCT图像在急性期的对比度较低,使得准确分割梗死区域非常困难[20,21,22]。研究表明,放射科医生仅依靠NCCT识别AIS病变的准确性非常有限,通常不超过10%[23],严重影响了其在临床实践和临床试验中的实用性。因此,开发一种快速准确的基于NCCT的AIS分割方法将有助于个性化治疗规划和预后评估。
深度学习在医学图像分析领域的快速发展为NCCT上AIS梗死的自动化分割开辟了新途径[22-30]。现有方法大致可分为几类,但它们在应对NCCT低信噪比这一核心挑战时都存在根本局限性。首先,研究人员利用完整的对侧半球作为参考来量化不对称性和识别病变(例如nnUNet [24]、非对称解耦网络 [25]、基于注意力的网络 [30]),但这些方法在处理近端动脉阻塞引起的梗死时效果较差,因为这类梗死通常表现为边界模糊的低密度区域并伴有水肿和中线偏移,破坏了它们所依赖的解剖对称性。这表明仅依赖低对比度NCCT内的模态内先验存在关键局限性。其次,为克服这些局限性,人们探索了增强特征学习的替代策略。Kuang等人设计了I2 PC-Net来同时分割缺血半影和梗死核心,但梗死分割的Dice相似性仍较低(0.34 [28])。Marcus等人开发了一个多任务Transformer,用于同时进行梗死分割和发作时间估计,达到了0.38的Dice相似性[29]。尽管这些多任务学习框架提供了额外的学习信号,但它们仍然基于单模态NCCT输入,效果有限。最新的架构,如SwinUNETR [26]和混合卷积神经网络(CNN)-Transformer [27]也显示出潜力。Wang等人在317个病例上训练并测试了SwinUNETR,获得了0.47的Dice相似性[26]。Xu等人结合卷积神经网络(CNN)和Transformer,在397个NCCT病例上获得了0.59的Dice相似性[27]。然而,这些研究都依赖于单中心的小规模队列,缺乏严格的泛化验证,限制了其在更广泛临床应用中的可靠性。总的来说,这些方法都有一个共同的根本限制:它们都试图仅通过NCCT这一信息量较低的模态本身来解决问题。与其他视觉异常检测领域(如视频监控 [31, 32, 33] 和植物病害识别 [34])中深度学习的显著成功相比,这种模态内策略的局限性显而易见。在这些领域,复杂的技术(包括高效的空间时间特征融合 [33]、专用注意力机制 [31, 32] 和基于外部注意力的Transformer [34])能够有效工作,因为目标异常(例如不寻常的行为、病树)相对于背景来说视觉上非常明显。这些方法旨在挖掘丰富的模态内信息,其中目标特征易于识别。而当目标特征像NCCT上的梗死那样微妙且对比度低时,这些方法就难以发挥作用。核心问题在于模态本身的低信噪比,单靠模态内学习无法完全克服这一问题。
因此,关键不在于进一步改进NCCT上的模态内学习,而是引入来自模态外的高保真信息源。为此,我们提出了DAP-Net,这是一个超越模态内精细化的新框架。与之前仅基于单一数据类型的AIS方法或其他领域成功的异常检测模型不同,我们的方法采取了战略性的转变:我们通过提出双模态自适应策略(DMAS)来转移来自DWI的高对比度、病理特异性先验信息,从而指导NCCT上的特征学习过程。此外,生成式提示驱动方法(GPDM)利用基础模型SAM2,并通过VGG-UNet模型提供的粗粒度提示来指导SAM2的分割能力。这种跨模态指导和提示驱动的精细化方法代表了现有文献的重大突破,解决了信息稀缺这一核心问题,限制了先前的AIS分割方法和在其他视觉丰富领域成功应用的技术的直接应用。该方法使用公共AISD数据集和六家医院的私人数据集(共1,026对NCCT-DWI病例)进行了严格验证,确保了临床适用性的全面评估。
方法 这项回顾性研究获得了山东第一医科大学附属山东省医院的伦理委员会批准(SZRJJ:No.2025-063)。由于该研究不涉及对患者的任何诊断或治疗干预,因此相关伦理委员会同意免除知情同意的要求。
实验设置 所有实验均在配备NVIDIA GeForce RTX 4090 GPU(24 GB VRAM)的Ubuntu 22.04.3 LTS系统上进行。所提出的方法使用PyTorch 0.4.1开发(
https://pytorch.org )。训练采用自适应矩估计(Adam)优化器,批量大小为2,训练周期为300次,初始学习率为0.01,衰减率为0.9。所有比较方法的超参数也在相同的数据分割上进行了类似调整。
评估指标 为了定量评估...
消融研究 为了评估生成式提示驱动方法(GPDM)和双模态自适应策略(DMAS)对DAP-Net性能的贡献,在AISD数据集和私人数据集上进行了消融研究。使用三个 established 指标(Dice相似性(DSC)、平均交并比(mIoU)和F1分数)定量评估分割性能,这些指标综合评估了基于NCCT的AIS分割的体积重叠、区域准确性和轮廓精度。
讨论 在中风发作后的前六小时内准确定位和勾勒出梗死区域对于快速诊断和及时治疗决策至关重要。高精度的基于图像的梗死分割技术为定义缺血区域提供了基础,为放射科医生和中风治疗师提供了必要的视觉参考信息。虽然DWI是这一目的的金标准,但其对硬件、采集时间等有严格要求...
结论 总之,提出的DAP-Net在多中心数据集上的优异性能证明了其在NCCT上自动分割AIS梗死的有效性和可靠性。DAP-Net的核心创新在于GPDM和DMAS之间的新颖协同架构,这种协同作用使得其在不同临床数据集上都能实现稳健的分割性能。该工作成功克服了NCCT对比度低的核心限制,为实现准确梗死分割提供了途径。
CRediT作者贡献声明 吴可青: 撰写 – 审稿与编辑、撰写 – 原始草稿、方法论、研究、形式分析、概念化。金鑫: 验证、研究。谭家禾: 验证、研究。王志鹏: 验证。李明: 验证。文玲: 监督。王海燕: 监督。高欣: 撰写 – 审稿与编辑、监督、资源管理、项目管理、数据整理。
利益冲突声明 作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢 本工作部分得到了国家自然科学基金的支持[项目编号82372052, U24A20757]。
贡献者
XG可以完全访问研究中的所有数据,并对数据的完整性和数据分析的准确性负责。XG、HW和LW对这项工作做出了同等贡献,均为相应作者。
KW构思并设计了这项研究。XG、HW和LW监督了研究。KW进行了统计分析并起草了手稿。所有作者...
吴可青是中国科学技术大学的博士候选人。她的研究专注于智能计算驱动的精准医学。她开发并应用AI算法来挖掘生物医学数据,构建用于疾病诊断、治疗优化和预后评估的预测模型,从而实现个性化治疗。她的研究成果已发表在国际认可的学术期刊上。