基于多模态多实例证据融合神经网络的癌症生存预测：突破局限，精准领航

癌症生存预测意义重大，现有方法却存在无法有效利用全局信息和忽视模态不确定性的问题。研究人员开展了 “Multimodal multi-instance evidence fusion neural networks for cancer survival prediction” 的研究，提出 M2EF-NNs 框架，实验表明该方法显著提升预测性能，为癌症诊疗提供有力支持。

　　在当今医疗领域，癌症如同高悬的达摩克利斯之剑，严重威胁着人类的生命健康。随着全球人口老龄化加剧、环境污染恶化以及人们生活方式的改变，癌症的发病率逐年攀升。准确预测癌症患者的生存情况，对于临床医生制定科学合理的治疗方案、评估患者预后意义非凡。组织病理图像一直被视为癌症诊断的 “金标准” ，基因组数据也能从分子层面反映癌症的特性，但二者是异质性数据。传统的癌症生存预测方法，往往依赖单一模态数据，或者简单融合多模态数据，这就好比用一把简陋的工具去完成一项精细复杂的任务，存在诸多弊端。它们既无法充分挖掘数据中的全局信息，又对不同模态数据的不确定性视而不见，导致预测结果的可靠性大打折扣。因此，寻找一种更精准、更可靠的癌症生存预测方法迫在眉睫。

为了攻克这一难题，澳门城市大学数据科学学院、广西医科大学信息与管理学院以及南通大学人工智能与计算机科学学院的研究人员携手开展研究。他们提出了一种多模态多实例证据融合神经网络（M₂EF-NNs）用于癌症生存预测，相关研究成果发表在《Scientific Reports》上。

研究人员采用了一系列关键技术方法。在多模态多实例特征提取阶段，对于组织病理图像，从 20x 放大倍数的全切片图像（WSI）中裁剪出 256×256 的补丁，利用在 ImageNet 上预训练的 Swin-L 模型提取 1536 维特征，再经全连接层映射到 256 维；对于基因组数据，依据基因功能分类，经两层全连接层处理得到 256 维特征嵌入。在多模态特征融合网络中，先以基因组嵌入作为查询，与组织病理图像嵌入计算共注意力矩阵，实现早期融合；接着通过 Transformer 编码器层和全局注意力池化层进行多实例聚合；最后经多层感知器（MLP）进行后期融合。在基于 DST 的可信生存预测环节，结合 DST 和主观逻辑，动态调整融合后的类别概率权重，从而做出可信的生存预测。研究使用来自癌症基因组图谱（TCGA）的膀胱癌（BLCA）、胶质母细胞瘤和低级别胶质瘤（GBMLGG）、乳腺浸润性癌（BRCA）数据集进行实验验证。

下面来看具体的研究结果。

• 数据集描述：收集 TCGA 中 BLCA、GBMLGG 和 BRCA 患者的诊断 WSI、基因组信息及临床信息构建数据集，各数据集在患者数量、WSI 数量和基因数量上有所差异。
• 实验设置：利用 NVIDIA GTX 4090 GPU 训练模型，设定一系列训练参数，如学习率为 2×10^-4 ，权重衰减为 1×10^-5 ，批大小为 1，训练 20 个 epoch。采用一致性指数（C-index）、曲线下面积（AUC）、对数秩检验、Kaplan–Meier 估计等评估指标，与多种单模态和多模态方法对比，并进行消融实验。
• 实验结果：M₂EF-NNs 在生存预测任务上表现出色，相比单模态数据训练方法，整体 C-index 提升 20.80% - 15.59%，AUC 提升 14.64% - 16.09%；相较于基因组基线，性能提升 8.90%；与多模态方法相比，整体 C-index 提升 2.95% - 7.56%，AUC 提升 1.66% - 8.24%。在风险分层方面，M₂EF-NNs 通过 Kaplan–Meier 生存分析将患者分为低风险和高风险组，在各数据集上均表现优异，其对数秩检验 P 值显著低于其他方法。
• 消融实验：实验表明使用 Swin-L 模型提取补丁特征和基于 DST 的可信生存预测器均有助于提高整体 C-index。使用 Swin-L 模型的 M₂EF-NNs（Swin-L）在各数据集上的表现优于使用 ResNet 50 模型的 M₂EF-NNs（ResNet 50），同时也验证了基于 DST 的可信生存预测器的有效性。
• 多模态可解释性：M₂EF-NNs 具有高度可解释性，通过基因组引导的共享注意力热图，能够捕捉癌症病理学中已知的基因型 - 表型关系，辅助理解癌症发展和病理特征。

综合研究结论和讨论部分，M₂EF-NNs 框架成功解决了现有癌症生存预测方法的局限性，能够有效捕捉全局信息并考虑模态不确定性，显著提升了预测性能和模型可靠性。这一成果为癌症生存预测提供了强大的计算工具，推动了该领域的研究进展，有助于临床医生为患者提供更精准可靠的生存预测，为个性化治疗决策提供有力支持。不过，该研究也存在一定局限性，如仅分析单一尺度的病理图像，且 WSI 特征提取与最终预测阶段分离，无法进行端到端训练。未来研究可朝着结合不同分辨率数据、探索多粒度计算方法以及实现端到端学习的方向展开，进一步完善癌症生存预测的研究，为人类攻克癌症这一难题贡献更多力量。