CAM2-Net：一种具有因果意识的多模态学习方法，用于基于非对比CT图像和临床数据实现脑卒中病变的定量评估与预后预测

《Knowledge-Based Systems》：CAM2-Net: Causally aware multi-modal learning for joint stroke lesion quantification and prognostic prediction from non-contrast CT and clinical data

　　摘要：无对比度CT是评估急性缺血性中风的首选影像学方法，但其临床应用受到对影像生物标志物与功能结果之间因果关系忽视以及定性解读局限性的制约。我们提出了CAM2-Net，这是一种具有因果意识的多模态多任务网络，通过明确建模NCCT数据与临床数据中的因果路径，同时优化中风病灶量化与预后预测。该框架采用双路径编码器处理多模态输入，并通过结构因果模型解决虚假相关性这一关键问题。在病灶量化方面，它引入了因果正交净化器，利用基于do演算的正交化方法抑制非因果性影像特征；在预后预测方面，则采用解耦变分建模，通过潜在干预分离出具有临床意义的跨模态交互作用。此外，该框架还包含一种模态混合注意力机制，能够根据因果相关性动态调整跨模态交互的权重。在多个中心的多组数据集（公开数据及私有数据）上的实验验证表明，与现有方法相比，该方法在病灶识别和预后预测方面表现更优，消融研究也证实了架构中各因果组件的作用。

引言：中风是全球主要的死亡原因之一，其中急性缺血性中风约占所有中风病例的80%，其发病机制为脑部血液灌注不足导致细胞坏死[1]。在临床实践中，准确预测中风预后对于制定紧急治疗策略（如溶栓或血管内取栓术）以及为幸存者制定有效的长期管理方案至关重要。这就凸显出快速、准确评估两个相互关联因素的迫切需求：一是量化病灶特征（如体积和位置），以确定是否适合进行血管内取栓术；二是进行预后分层，找出最有可能从治疗中受益的患者。将这两项任务相结合，尤其是在治疗窗口较窄的情况下，有助于改善超急性中风患者的诊疗决策。

在这方面，磁共振成像尤其是弥散加权成像因对早期缺血具有高敏感性，被视为病灶量化的金标准。然而，在急救场景中，由于扫描设备有限、采集时间较长以及存在某些禁忌症，磁共振成像的应用往往受到限制。相比之下，无对比度CT仍是首选的影像学检查方法，因为它易于获取、成本较低，且通常能在短时间内完成检查。这些实际优势使得无对比度CT成为开发自动病灶量化与预后预测系统的理想基础。

近年来，基于无对比度CT的急性缺血性中风分析技术在病灶分割领域取得了显著进展。例如，Kuang等人[2]提出了一种结合双向差异学习的混合CNN-Transformer模型，用于提升NCCT图像的病灶分割精度。类似地，Sun等人[3]开发了一种基于病理不对称性的渐进式学习框架，用以优化梗死区域的检测。尽管有了这些进步，现有的大多数分割方法仍主要依赖影像数据，而医生在制定治疗方案时通常还会考虑诸如美国国立卫生研究院中风量表评分及合并症等临床参数。预后预测则沿着类似但相对独立的发展路径前进。早期的预测方法主要采用逻辑回归、随机森林等传统机器学习技术，以及基于放射组学的模型[4]来预测功能结局。近年来的研究则趋向于结合影像特征与临床数据的深度学习架构。例如，Yu等人[5]提出了ICH-PRNet，这是一种跨模态网络，通过联合注意力交互编码器和多损失优化策略，同时编码CT图像与临床文本信息。Samak等人[6]则推出了TranSOP，这是一种基于变换器的多模态模型，它将3D无对比度CT特征与临床元数据融合在一起，用于预测中风结局。不过，目前病灶量化与预后预测仍常被视作独立的任务。这种分离限制了二者病理生理关系的利用，因为在临床实践中，病灶的体积和位置等信息可直接为预后评估提供参考。

近期有一些研究尝试通过多任务学习框架同时建模病灶分割与预后预测。例如，Park等人[7]在基于nnU-Net的模型中结合了DWI图像与临床数据，实现了病灶分割与3个月改良Rankin量表评分预测的同步进行。同样，Yu等人[8]提出了ICH-SCNet，该模型利用SAM-CLIP技术实现神经影像学数据与医学文本的跨模态融合，从而同时完成出血区域分割与预后分类。虽然这些研究在多任务整合方面取得了进展，但仍存在一些局限性。首先，尽管无对比度CT才是超急性中风诊疗流程中的主要影像学手段，但现有方法大多仍依赖于基于磁共振成像的病灶评估[7][9]。更重要的是，当前的方法往往仅建模相关性，而没有明确考虑病灶特征与功能结果之间的因果路径。此外，它们还可能受到影像数据和临床数据中各种混杂因素的影响，比如类似缺血性改变的束硬化伪影，或是那些虽与不良预后相关但并非直接致病因素的已有疾病。这反映出一种方法论上的缺陷：传统的深度学习模型虽能捕捉统计关联，却无法区分真正的因果生物标志物与混杂模式。结构因果模型则通过有向无环图来编码领域知识，并借助do演算估算因果效应，为厘清这些关系提供了严谨的框架。

在本研究中，我们通过开发一种新型的具有因果意识的多模态多任务网络CAM2-Net来弥补这些缺陷。该网络通过明确建模NCCT图像与临床数据之间的因果关系，同时解决中风病灶分割与预后预测问题。该框架采用了多项关键的方法设计：首先，通过引入结构因果模型，将影像生物标志物、临床因素与功能结果之间的关系以符合领域知识的方式形式化，从而降低观察性医疗数据中固有的混杂偏差；其次，设计了针对不同任务的因果驱动模块，包括用于病灶量化的因果正交净化器，通过正交分解分离出符合解剖学逻辑的特征，以及用于预后预测的解耦变分模型，用于区分具有因果意义的临床语义与虚假的相关因素；第三，通过模态混合注意力机制增强模态融合能力，该机制借鉴了专家混合原理，能够根据因果相关性动态调整跨模态交互的权重。本研究的主要贡献如下：•一种具有因果意识的双任务架构，通过多模态因果学习同时优化病灶量化与预后预测；•针对不同任务的特定因果建模方法，包括用于病灶分割的因果正交净化器以及用于预后预测的解耦变分模型，从而生成符合解剖学与临床逻辑的特征表示；•改进的模态混合注意力融合机制，能够自适应地优先处理具有因果相关的跨模态交互，同时抑制混杂相关性；•在公开数据集及私有数据集上进行的广泛临床验证表明，该方法性能更优，且消融研究进一步证明了所提出的因果组件的有效性。

本文的其余部分结构如下：第2节回顾了中风病灶分割与预后预测方面的相关研究；第3节介绍所提出的CAM2-Net框架；第4节描述实验设置与结果；第5节探讨本研究的发现与局限性；最后，第6节对全文进行总结。

片段一：NCCT图像中的中风病灶量化
由于无对比度CT软组织对比度低、存在影像伪影，且急性与慢性病灶之间难以区分，因此利用该技术进行早期缺血性梗死的分割面临诸多挑战。在其他生物医学信号分析任务中，也存在着类似的数据预处理与表征学习难题[11]。早期的计算方法试图通过传统机器学习范式来解决这些问题。Qiu等人[12]率先提出了基于随机森林的方法……

方法论：如图1所示，所提出的CAM2-Net通过明确建模多模态输入与临床结果之间的因果关系，同时实现中风病灶量化与预后预测。该框架由三个核心部分组成：(i)用于处理NCCT图像与临床文本的双路径编码器；(ii)包含因果正交净化器的病灶量化模块；(iii)用于预后预测的解耦变分模块。虽然多模态学习能够提供丰富的特征信息……

数据集：为了构建能够同时实现病灶量化与预后预测的双任务模型，我们结合了公开数据集与私有临床数据，以解决双重标注数据资源匮乏的问题。ISLES2024数据集用于共同任务的学习，而AISD数据集及私有临床数据集则分别用于优化病灶分割模块与预后预测模块的功能。这样的数据配置有利于针对不同任务进行精细化调优，进而提升模型性能……

与现有先进方法的比较：与当前最先进的算法相比，CAM2-Net在病灶量化与预后预测两方面都取得了具有竞争力的整体性能。在病灶分割任务中，该方法在AISD数据集上获得了最佳的DSC值和HD95评分，在难度更高的ISLES2024数据集上也保持了良好表现——由于CT图像转换为MRI图像的监督难度较大，所有方法的绝对DSC值都相对较低。在预后预测任务中，CAM2-Net的表现始终更为优异……

结论：为了解决在无法使用磁共振成像时快速评估中风的紧迫临床需求，本研究提出了CAM2-Net，这是一种具有因果意识的多模态多任务框架，能够利用急性期NCCT图像与临床文本同时实现病灶量化与预后预测。通过结构因果模型明确建模多模态输入与输出之间的因果关系，我们的方法有效避免了可能影响传统多任务学习的虚假相关性，比如因医院差异带来的干扰因素……

CRediT作者贡献说明：
王子颖：撰写原文初稿、验证工作、软件开发、方法设计。
朱洪青：项目指导、行政管理、资金申请。
郑忠：资源协调、数据整理、概念构思。
王颖：结果可视化、数据整理。
黄炳苍：资源协调、数据整理。

利益冲突声明：作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。

致谢：本研究得到了中国国家自然科学基金委员会的支持，项目编号为61872143、82372029；同时也得到了上海市科学技术委员会的资助（项目编号24SF1904203、24SF1904200）；上海浦东新区卫生健康委的医学学科建设计划（重点学科计划，项目编号PWZxk2022-03）；以及上海浦东新区卫生健康委的科学研究计划（健康产业专项，项目编号PW2024E-02）。此外，本研究还包含一项研究者发起的试验项目。

作者：王子颖|朱洪青|郑忠|王颖|黄炳苍