《Engineering Applications of Artificial Intelligence》：A reinforcement learning-assisted differential evolution with population feature replay
编辑推荐：
肿瘤预后预测通过病理图像与转录组数据的多模态融合实现，提出分层交叉注意力机制(HCMA)整合不同抽象层级的特征，结合自注意力编码器和解码器处理病理图像，选择性状态空间模型处理基因数据，通过L1正则化和跨模态匹配约束特征对齐，在TCGA四类癌症数据集和独立胶质瘤队列验证中显著优于单模态及传统融合模型。
邵春峰|赵远生|陈寅生|段景贤|张泽宇|王荣平|梁东|陈东月|李志成
中国科学院深圳先进技术研究院生物医学与健康工程研究所，中国深圳
摘要
多模态数据的整合在肿瘤预后预测方面具有巨大潜力，因为它能够提供更全面的肿瘤视图。然而，当前的融合算法要么合并特征层次，要么使用对齐机制进行复杂整合，常常忽略了不同模态之间的关系。为了解决这个问题，我们提出了一种新颖的多模态深度学习算法，该算法结合了病理图像和转录组数据来进行肿瘤预后预测。我们的模型不仅利用了每种数据模态的信息，还通过层次化跨模态注意力（HCMA）机制挖掘了两种模态之间的相关性。在病理学分支中，我们设计了自注意力编码器和解码器来从病理图像中提取不同层次的上下文特征。在转录组分支中，我们采用了一种选择性状态空间模型来捕捉基因特征之间的复杂依赖关系。为了捕捉两种模态之间的相关性，我们使用HCMA变换器模块生成跨模态特征，包括基因引导的病理特征和病理引导的基因特征。最后，在融合这些特征之前，我们应用了一种特定的特征对齐机制来约束它们，以预测生存结果。我们在来自癌症基因组图谱（TCGA）的四个不同癌症数据集上验证了所提出的算法。为了测试所提出的生存预测模型的性能，我们还在中山大学癌症中心的86名胶质瘤患者独立队列上进行了验证。结果表明，该模型在癌症生存分析中表现优异，优于传统的单模态模型和多模态融合模型。
引言
生存分析是癌症预后评估中的关键任务，旨在估计从已知起点到目标事件（如疾病进展或死亡）发生的时间（Wang等人，2024年）。准确的生存预测可以显著促进肿瘤的个性化、精准诊断和治疗。传统上，生存分析使用单模态数据，如放射学数据（Yan等人，2021年）、病理图像（Zhao等人，2025年）或基因数据（Subramanian等人，2024年）。然而，这些单模态方法仅能提供有限的肿瘤进展洞察，这限制了生存预测的准确性。在这些数据模态中，病理图像（如全切片图像WSI）提供了肿瘤特征的微观级细节（Wang等人，2023年）。细胞异型和有丝分裂活性已被证明会影响肿瘤进展和预后。另一方面，基因组数据（Boehm等人，2022年）揭示了肿瘤的分子机制和生物标志物，这些因素会影响肿瘤的宏观表型。
因此，许多研究人员考虑整合不同类型的数据以提高肿瘤学的精准诊断和治疗（Zhao等人，2023年；Liu等人，2025年；Li等人，2024年）。通过结合来自不同角度的多模态数据，可以提供互补的信息，捕捉到单模态分析中无法观察到的细微变化，从而提高生存预测的准确性和效率。
当前的多模态融合方法基于特征学习，旨在探索不同模态之间的共享特征表示（Gao等人，2024年；Cheerla和Gevaert，2019年；Chen等人，2022年）。然而，这些方法往往忽略了多模态数据之间的跨模态关系。为了解决这个问题，注意力机制被引入到特征学习过程中，以从多模态数据中探索更丰富的信息（Ashish等人，2017年）。在研究（Chen等人，2021年；Ji等人，2025年）中，研究人员提出了一种跨模态注意力方法，该方法使用基因或临床数据作为引导特征，从WSI中提取和选择病理特征，从而建立两种模态之间的相关性，以提高生存预测的准确性。跨注意力方法表明，利用从多个数据源提取的有价值信息来指导更具代表性和信息丰富的特征生成，可以显著提高预测模型的性能和准确性。
受上述研究的启发，我们提出了一种新的多模态生存分析方法，该方法采用有效的数据融合策略来全面考虑各种模态的信息。这种方法旨在全面理解疾病的复杂性，并提高生存预测的准确性。我们的方法不仅强调模态内信息的整合，还强调通过跨模态注意力传递和利用信息，最终实现更精确的临床决策支持。具体来说，我们开发了一个配备了自注意力机制的编码器和解码器，用于整合病理图像的模态内特征。对于基因特征，我们采用选择性状态空间模型进行编码和解码，快速学习基因的丰富上下文特征。然后，我们使用层次化跨模态注意力层生成基因引导的病理特征和病理引导的基因特征。这种方法实现了模态之间的互动和互补性，充分展示了它们之间的关联。最后，我们整合来自不同模态的特征进行生存预测。我们工作的主要贡献总结如下：
1.我们提出了一种新的多模态生存分析模型，该模型同时使用病理和基因特征。我们构建了带有自注意力机制的编码器和解码器来处理病理特征，对于基因特征，我们采用选择性状态空间模型进行编码和解码，整合每种模态内的丰富上下文特征。
2.我们应用注意力机制构建了一个层次化跨模态注意力层，该层旨在适应病理和基因特征的不同抽象层次。这一层关注局部细节（低级特征）和全局信息（高级特征），从而探索病理和基因模态之间的相关性，并在模态之间传递互补信息。
3.我们使用L1范数和跨模态匹配来约束多模态和模态内表示，从而防止模型学习到模态之间过于不同的互补信息。
4.我们在TCGA的四个癌症数据集上进行了广泛的实验，并采用五折交叉验证来评估我们模型的有效性。实验结果表明，我们的模型在这些数据集上表现优异。
部分片段
单模态生存分析
单模态生存分析方法因其简单性和在特定场景中的有效性而受到青睐。通过关注一种类型的数据，如随访报告（Ahearne等人，2016年）、放射学图像（Wu等人，2023年；Sun等人，2021年）或病理图像（Wulczyn等人，2021年；Yao等人，2020年），研究人员可以建立特定指标与患者生存风险之间的非线性映射关系模型。例如，Lee等人（2022年）推导出了预后相关
模型架构
在本节中，我们介绍了所提出的多模态生存分析模型。该模型的整体架构如图1所示。它通常包括：（1）特征提取，（2）多模态特征融合，以及（3）生存分析。该模型接受两种类型的模态数据作为输入：病理图像和基因测序。在病理图像分支中，使用自注意力机制从WSI中提取深度特征表示。
实验
为了验证我们提出的方法，我们在从TCGA获取的四个公开可用的癌症数据集以及我们自己的胶质瘤患者队列上进行了全面的实验评估。
结论
在本文中，我们提出了一种新的深度学习框架，用于融合病理图像和基因组数据，以提高预后预测的准确性。我们的方法采用HCMA有效地整合了这些不同的数据源。对于病理图像，我们构建了带有自注意力机制的编码器和解码器来有效整合信息。对于基因组数据，我们采用选择性状态空间模型进行编码和解码，有效地学习了上下文信息
CRediT作者贡献声明
邵春峰：撰写——原始草案、方法论、研究、数据管理。赵远生：撰写——审阅与编辑、资金获取、概念化。陈寅生：撰写——审阅与编辑、监督、数据管理。段景贤：项目管理、研究。张泽宇：可视化、验证、方法论。王荣平：监督、资金获取。梁东：监督。陈东月：资金获取、概念化。李志成：撰写——
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本研究得到了广东省基础与应用基础研究基金（编号：2024A1515030163和2025A1515011459）、贵州省先进医学成像与智能计算重点实验室开放项目（编号：AMIIC250104）、广东省专项支持计划（编号：2024TX08A213）、国家自然科学基金（编号：T2525037、12126608和82427809）、国家关键研发计划（编号：2023YFF0715400）、深圳市科学的支持
