《Medical Image Analysis》：Towards scalable cancer prognosis by aligning semi-supervised learning with survival modeling
编辑推荐：
•系统分析了现有自监督学习方法在癌症预后方面的局限性。•提出了一种基于全切片图像的半监督多示例学习框架用于癌症预后。•Morph-MIL 联合建模组织组成和全局语义特征。•通过分箱聚合生成具有时序相关性的离散伪标签。•在五种癌症上的实验验证了方法的性能、泛化能力和可解释性。引
- •
系统分析了现有自监督学习方法在癌症预后方面的局限性。
- •
提出了一种基于全切片图像的半监督多示例学习框架用于癌症预后。
- •
Morph-MIL 联合建模组织组成和全局语义特征。
- •
通过分箱聚合生成具有时序相关性的离散伪标签。
- •
在五种癌症上的实验验证了方法的性能、泛化能力和可解释性。
引言
精确的癌症预后是临床决策的基础，指导治疗方案选择、风险分层和患者纵向管理（B. Jiang et al., 2024, X. Wang et al., 2024）。随着全切片图像的广泛采用，计算病理学在生存分析方面展现出巨大潜力。由于全切片图像具有十亿像素级的分辨率，多示例学习已成为计算建模的主导范式。然而，生存标注数据的稀缺是开发稳健模型的显著瓶颈，这主要是由于临床随访的纵向特性所致。半监督学习提供了一种自然的解决方案，可缓解模型训练过程中标注数据不足的问题。
现有的半监督学习框架主要面向自然图像分类进行了开发和验证，代表性范式包括伪标签方法和一致性正则化。第一类方法根据模型预测生成伪标签，第二类方法则在不同增强、扰动或预测分支下强制预测不变性。尽管它们的表述不同，但这些方法本质上都是利用模型衍生的启发式方法来弥合监督差距，为无标签样本生成可优化的预测目标。
然而，自然图像分类与基于全切片图像的癌症预后在数据和任务两个层面都存在显著差异，这使得现有半监督学习范式难以直接迁移至预后建模，如图1所示。首先，数据粒度存在差异。自然图像通常包含简单且定义明确的目标，整体图像级语义可以提供有效的监督信号。相比之下，全切片图像表现出高度的高维复杂性和肿瘤异质性，使建模过程更具挑战性。其次，任务级建模假设不匹配。自然图像分类将类别视为独立目标，而癌症预后模型将生存事件的时间结果视为时序有序的。具体来说，对较晚时间分箱的预测是以通过所有先前分箱的生存为条件的，这使得时间分箱具有时序依赖性而非独立类别。因此，直接应用现有半监督学习方法可能会忽略这种时序结构，导致产生不恰当的伪监督信号。
为了弥补这一差距，我们提出了一种面向全切片图像癌症预后的半监督多示例学习框架。为处理全切片图像的十亿像素级尺寸，我们引入了一种形态感知多示例学习网络，称为 Morph-MIL，用于提取多层次的患者表征。具体来说，Morph-MIL 采用可学习的原型，结合形态感知对比约束，联合捕获具有形态感知的组织组成和全切片图像的全局语义。同时，我们提出了一种时序伪标签策略，以生成反映时序关系的离散伪标签。为了锚定这一过程，我们利用动态记忆库来封装已标注队列（删失和非删失）的多层次表征，作为稳定的参考空间。通过将无标签样本与动态记忆库中的已标注样本按多层次相似性进行匹配，并执行分箱聚合，生存风险信息从已标注样本传播至无标签样本，从而生成具有时序相关性的离散伪标签。随后，仅有高置信度的无标签样本被纳入模型微调。
总之，本工作的主要贡献如下：
- •
我们系统分析了现有半监督学习方法在基于全切片图像癌症预后场景中的局限性，并提出首个明确生成时序结构伪标签的半监督多示例学习框架。
- •
我们引入 Morph-MIL 来显式捕获组织组成信息和全局语义特征，从而实现患者的多层次有效表征。
- •
我们提出了一种基于动态记忆库的时序伪标签策略，通过按组织组成和全局语义相似性进行分箱聚合，在有序生存区间上生成具有时序相关性的离散伪标签。
- •
在多种癌症类型上的大量实验表明，所提出的方法能有效利用无标签数据提升预后性能，同时展现出强大的泛化能力和生物学可解释性。
各章节摘要
基于全切片图像的癌症预后
基于全切片图像的癌症预后的核心目标是从全切片图像中学习一个函数，用于表征患者风险的时序演化并建模事件时间分布。然而，全切片图像具有十亿像素级尺寸，使得端到端建模通常不可行。在此背景下，基于全切片图像的癌症预后通常通过多示例学习来实现。多示例学习将每张全切片图像视为
方法
如图2a所示，所提出的框架包含两个主要组件。首先，形态感知多示例学习网络通过捕获具有形态感知的组织组成和全局语义来提取多层次的患者表征。其次，结合设计的记忆库，时序伪标签策略为无标签数据生成监督信号并将其纳入训练过程。这些模块构成了一个统一的半监督训练
基准与实现
数据集。 我们使用公开可用的TCGA和CPTAC队列，在五种癌症类型上评估了所提出的半监督框架：子宫体子宫内膜癌、乳腺浸润性癌、肾透明细胞癌、肺腺癌和结直肠癌。具体而言，TCGA中的患者被视为已标注样本，CPTAC中的患者被视为无标签样本。图3展示了详细
结论
在本研究中，我们提出了一种面向全切片图像预后的半监督多示例学习框架。所提出的方法集成了 Morph-MIL 中基于原型的形态感知建模、形态感知对比约束以及基于分箱聚合的时序伪标签策略。在五种癌症类型上的实验结果表明，在半监督设置下，所提出的方法持续提升了预后
作者贡献声明
黄逸：研究方法论。蔡琳涵：研究方法论、形式化分析。冯梓良：项目监督、软件开发。赵梦杰：可视化。涂晓光：初稿撰写、项目监督。袁志远：审阅与编辑、项目监督。王志康：审阅与编辑、项目监督、概念构思。
利益冲突声明
作者声明不存在任何可能影响本文所报告工作的已知财务利益或个人关系冲突。
致谢
本研究由复旦大学基金和国家自然科学基金资助。本文稿在 ChatGPT 的帮助下进行了润色。
黄逸|蔡琳涵|冯梓良|赵梦杰|涂晓光|袁志远|王志康
