《npj Digital Medicine》：Deep multimodal state-space fusion of endoscopic-radiomic and clinical data for survival prediction in colorectal cancer
编辑推荐：
本文推荐一项针对结直肠癌术前评估中多尺度影像融合难题的研究。作者开发了HydraMamba框架，通过选择性状态空间模型融合内镜和CT影像，实现了病灶分割(Dice:内镜0.856/CT 0.812)、检测(F1:内镜0.918/CT 0.888)和生存预测(C-index 0.832)的协同优化，为多模态医学AI提供了校准良好的基础架构。
在结直肠癌诊疗领域，术前精准评估始终是临床决策的关键环节。传统上，临床医生需要综合内镜检查和CT影像等多种信息源——内镜能提供黏膜表面的高分辨率视图，而CT则能展示深层解剖结构和远处转移情况。这两种模态本质上互补，却因数据尺度、成像原理的差异，在临床实践中往往被孤立分析。如何有效整合这些异构信息，成为提高诊断准确性和预后预测能力的技术瓶颈。
近日发表于《npj Digital Medicine》的研究论文"Deep multimodal state-space fusion of endoscopic-radiomic and clinical data for survival prediction in colorectal cancer"提出了创新解决方案。由Ning Wang、Jiajing Lin等研究人员组成的团队开发了HydraMamba框架，这是一个基于选择性状态空间模型的多模态融合架构，能够同时处理内镜图像和盆腔CT数据，实现病灶分割、检测和生存预测的三重任务。
研究方法上，团队采用了多中心公开数据集进行验证，包括PolypGen内镜数据集、StageII-Colorectal-CT等CT数据集。技术核心在于构建了共享状态空间主干网络，并引入两个关键模块：解剖感知令牌插值（AnatoTI）模块通过几何和不确定性感知的插值方法重建掩码解剖令牌；解剖原型状态注入（APSI）模块从共享解剖空间提取患者特异性原型，通过结构化低秩更新注入全局上下文。采用解耦的双流设计分离模态不变解剖特征与模态特定风格特征，最后通过晚期融合驱动任务特定的分割、检测和生存风险建模头部。
数据集与实验设计
研究团队整合了五个公开数据集，涵盖内镜影像（PolypGen、CVC-ColonDB）和CT影像（StageII-Colorectal-CT、ACRIN 6664、TCGA系列）。为确保结果可靠性，团队实施了严格的数据隔离策略，内镜和CT数据作为非配对处理，所有分割均在患者级别进行，防止数据泄露。这种设计使得跨模态融合依赖于表示对齐而非样本配对，生存监督仅来自具有随访结果的CT队列。
多模态泛化能力
为评估模型在不同设备和采集协议下的稳健性，研究进行了分层分析。内镜数据按采集中心分层，CT数据按扫描设备（西门子Sensation 64、飞利浦Brilliance）和采集参数分层。结果显示，HydraMamba在不同中心、设备条件下均保持稳定性能，Dice系数和F1分数的中心间变异系数小于1%，证明了其良好的临床适用性。
综合性能比较
在病灶分割任务中，HydraMamba在内镜数据上达到Dice相似系数0.856，显著优于DeepLabV3+（0.684）、PraNet（0.768）等基准方法。CT肿瘤分割方面，Dice系数0.812也超过nnUNet（0.805）、SegMamba（0.785）等当前先进模型。病灶检测任务同样表现优异，内镜检测F1分数0.918超越YOLOv8（0.861）等专用检测器。
生存预测性能
生存分析结果显示，HydraMamba在CT内部测试集上获得Harrell's C指数0.832，Uno's时间依赖性C指数在1年时为0.853，集成Brier得分0.161，校准斜率接近1.01。与基于手工特征的传统Cox模型（C指数0.707）相比，判别能力提升0.125；与DeepSurv（C指数0.726）相比，判别能力提升0.106，预测误差降低约14%。
消融实验分析
模块消融研究揭示了各组件的贡献。移除AnatoTI主要影响边界准确性，内镜Dice从0.856降至0.826；移除APSI则显著降低检测灵敏度，召回率从0.931降至0.882。同时移除两个模块导致性能最大幅度下降，证实了解剖感知令牌插值和原型驱动上下文注入的互补性。
模型可解释性
通过注意力可视化分析，研究人员展示了HydraMamba的决策依据。与基线方法相比，该模型的注意力热图更集中于真实病灶区域，与标注边界框高度一致，表明其学习到了具有临床意义的病理特征，增强了结果的可信度。
研究结论表明，HydraMamba框架成功统一了内镜和CT信息 within一个选择性状态空间框架，在结直肠癌病灶分割、检测和生存预测任务上均实现了最先进的性能。解剖感知令牌插值（AnatoTI）确保了对局部边界的精确建模，而解剖原型状态注入（APSI）则提供了必要的全局上下文，两者协同工作实现了准确且校准良好的生存预测。
讨论部分指出，当前研究存在回顾性数据标注质量不均、样本量有限以及缺乏患者级别配对多模态数据等局限性。未来工作方向包括前瞻性多中心验证、融入MRI和病理学等多模态数据，以及探索临床工作流整合的实际影响。该研究为结直肠癌多模态AI分析建立了新的技术基准，推动了数字医学在肿瘤精准诊疗中的应用前景。
