基于多模态多实例模糊最优传输的高效生存预测框架

《IEEE Transactions on Fuzzy Systems》：An Efficient Survival Prediction Framework Based on Multimodal Multi-Instance Fuzzy Optimal Transport

癌症生存预测多模态融合研究提出基于模糊最优传输的多实例框架，通过模糊聚类降低计算复杂度，设计层级交替编码和模糊双注意力模块捕捉模态间模糊关联，最终实现多模态特征融合与生存预测。

　　

摘要：

准确预测癌症患者的生存时间对肿瘤学家评估疾病进展和治疗效果具有重要的临床意义。近年来，整合多模态数据（如病理图像和基因组数据）在理解个性化癌症治疗的复杂性和异质性以及提高生存预测性能方面发挥了关键作用。然而，这些研究仍面临一些挑战：它们往往忽略了跨模态交互中的模糊不确定性以及病理图像的高计算复杂性。为了解决这些问题，我们提出了一个基于多模态多实例模糊最优传输的癌症生存预测框架。该框架旨在捕捉全局潜在结构之间的模糊相关性，并有效整合不同模态之间的复杂交互。具体而言，我们首先使用模糊聚类算法将同一患者的所有全切片图像中提取的图像块聚类为不同的表型，从而降低计算复杂性。接下来，我们引入了一种分层交替编码范式，用于交替编码模内和模间特征表示。同时，为了捕捉全局潜在结构之间的模糊相关性，我们设计了一个基于模糊最优传输的双向交叉注意力模块。该模块将模糊隶属关系引入全局最优匹配中，模拟组织学和基因组学之间的模糊交互，从而促进互补多模态信息的传递。随后，我们进行多模态特征融合以获得最终的生存预测结果。在五个癌症数据集上进行的实验表明，我们的方法在癌症生存预测方面取得了显著改进。

引言

癌症是全球主要的公共卫生问题之一。根据最新的全球癌症统计报告，预计到2050年，全球癌症病例数将达到3500万例[1]。在临床领域，预测癌症患者的生存结果是一个重要的研究方向，用于癌症预后。这项任务的目标是从一个确定的起点预测到目标事件（如死亡、疾病复发或不良反应）发生的时间长度。由于癌症本身的复杂性和异质性，不同患者之间的病理和分子特征存在显著差异[2]。这种差异严重影响了癌症生存预测的准确性，而不同肿瘤学家的主观判断和基于经验的解释也会影响预测结果[3]。因此，开发一种有效的计算方法进行客观和准确的癌症生存预测对医生评估疾病进展和治疗效果具有重要的临床价值。