《Pattern Recognition》：MPRSurv: Multi-perspective prompted ranking for vision-language survival analysis on whole slide images
编辑推荐：
数字病理学中全玻片图像（WSI）的生存分析面临三方面挑战：病理学提示泛化不足、预训练模型泛化能力弱、生存时间排序信息未被有效利用。本文提出MPRSurv框架，通过多视角病理学提示增强文本-视觉对齐，灵活互补学习模块适配预训练模型，配对视觉排名监督机制优化生存时间排序。实验在五个TCGA数据集上验证，显著优于现有方法。
张若凡|刘胜远|方梦杰|赵少莉|郭伟|王子佩|冯鑫|张旭瑶|谢学斌|田杰|董迪
中国科学院大学人工智能学院，北京，100190，中国
引言
数字病理学，尤其是随着全切片图像（WSI）的出现，已成为现代肿瘤学工作流程的基石[1]。WSI包含了丰富的空间和形态学信息，这些信息对于理解组织结构和细胞结构至关重要[2]，并且是推断复杂生物过程（包括疾病诊断[4]和生物标志物状态预测[5]）的关键指标。随着组织病理学切片数字化程度的提高[6]，最近的研究越来越多地关注从这些高维数据源中提取有意义的见解[7]。
最近的研究表明，使用预训练的病理学导向的视觉语言模型（VLM）进行生存分析是有效的[8]。这些VLM在原始视觉特征和临床解释之间架起了语义桥梁，使得对WSI的理解更加基于临床实际[9]。由于WSI具有千兆像素的特性，以往的研究通常将WSI裁剪成数千个图像块来训练块级基础模型（FMs）[10]。然而，块级FM不可避免地面临着在临床任务中连接块级模型和切片级数据之间的挑战。因此，最近的基于病理学的FM开始以无监督的方式构建任务无关的切片级FM[11]，这有助于开发出适用于多种下游任务的通用模型，例如癌症亚型分类和跨数据集的突变状态预测。
数字病理学中的生存分析仍面临几个关键挑战。首先，在生存分析的视觉-语言对齐过程中，设计能够充分利用领域知识来指导细粒度生存状态区分的提示仍然具有挑战性。现有的提示，如“良好的/不良预后”[8]，往往过于通用，无法捕捉影响患者结果的多样化临床因素。生存结果通常与复杂的病理学线索相关联[12]——例如，广泛的淋巴结转移通常表明肿瘤处于晚期且预后较差[13]；地理性坏死反映了快速的肿瘤增殖，并与较差的预后相关[14]。结合病理学信息的细粒度描述性提示有望提高模型关注诊断相关特征的能力，并更好地利用预训练的医学知识。其次，在弱监督下有效利用预训练的切片级病理VLM进行生存预测仍然具有挑战性。当前的基于FM的生存分析方法通常采用两种范式之一：（1）直接使用预训练模型提取切片级特征并应用Cox比例风险模型[15]；或（2）应用多实例学习（MIL）来聚合块级特征并训练特定于生存的头部模型[16]或与文本生存描述对齐[17]。由于隐私问题和长期随访的需求，包含WSI和结果标签的生存数据集通常规模有限，并且在各个机构之间存在显著异质性[18]。这带来了重大挑战：从小数据集从头开始训练MIL模型和直接使用预训练特征往往会导致性能不佳。第三，大多数现有的FM主要是在单图像学习环境下训练的[19]，即单个WSI信息与其相应的文本描述配对。然而，对于生存分析问题来说，不同数据样本之间的排序顺序起着更重要的作用[20]。与将每个单独样本与其生存时间对齐相比，组间排序顺序信息对于区分目标更为重要。现有的基于VLM的生存分析方法往往忽略了这一方面，这限制了它们捕捉与不同生存时间相关的复杂患者间关系的能力。
为了解决这些限制，本文提出了MPRSurv，一个多视角提示排序框架，用于全切片图像上的视觉-语言生存分析。如图1所示，所提出的方法结合了预训练的视觉表示、领域特定的先验和生存意识建模，以提高对生存任务的迁移能力。关键在于，每个组件都旨在解决现有方法在千兆像素WSI生存分析背景下未能解决的独特瓶颈：首先，虽然之前的视觉-语言方法依赖于通用的生存描述符，但本文通过使用大型语言模型和专家知识构建多样化的、基于病理学的生存模板来设计多视角生存提示。均匀分散损失指导提示组合的选择，以最大化类间语义分散，从而实现通用提示无法实现的生存区分性文本-视觉对齐。其次，冻结的预训练切片编码器存在特定于队列的领域偏移，而从零开始训练MIL模型则有可能在小规模生存数据集上过拟合。为了弥合这一差距，本文引入了一个灵活的切片级互补学习模块，该模块具有反向注意力机制，能够主动定位基础编码器忽略的特定于数据集的组织学特征，以轻量级和参数高效的方式补充其表示。第三，由于基础模型是在忽略患者间序数关系的单图像目标上预训练的，本文设计了一种成对视觉排序监督方法，直接指导视觉编码器学习具有生存排序意识的表示。基于香农熵的不确定性感知样本选择策略进一步过滤了由WSI质量变化引起的噪声成对信号，确保了稳健的序数监督。
本研究的贡献可以总结如下：
1. 本文提出了一个多视角提示排序框架，利用病理学知识来增强生存文本描述和视觉特征对齐的区分能力。
2. 本文引入了一个灵活的切片级互补学习模块，以适应特定于数据集的特征，改进了特定于生存的特征学习。
3. 本文设计了一种具有不确定性感知样本选择的成对视觉排序监督方法，以在弱监督下更好地指导视觉编码器进行生存排序。
4. 本文在五个TCGA数据集上评估了所提出的框架，证明了其优越的性能。
部分摘录
相关工作
本节全面回顾了与MPRSurv框架相关的基础技术和现有研究。它探讨了全切片图像上生存分析的发展、视觉语言模型的演变及其适应策略、这些模型在计算病理学中的应用，以及用于生存预测的学习排序方法的实用性。
方法论
方法论章节在图2中概述了所提出的MPRSurv框架的技术组成部分。它详细描述了在离散时间生存分析背景下的问题表述，随后介绍了三个核心支柱：序数生存知识提示、灵活的切片级互补学习和成对视觉排序监督。
实验
本节介绍了在多个癌症数据集上对MPRSurv框架的实证评估。讨论包括实验设置的描述、与最先进生存模型的比较，以及该框架在少量样本场景和外部验证队列中的性能分析。此外，还提供了消融研究，以量化每个架构模块的影响。
结论
本文提出了MPRSurv，一个用于WSI上视觉-语言生存分析的多视角提示排序框架。所提出的方法通过三个主要贡献解决了当前基于VLM的生存预测的关键限制：捕获多样化临床因素的基于病理学的多视角提示、适应特定于数据集特征的灵活互补学习模块，以及具有不确定性感知样本的成对排序监督。
作者贡献声明
张若凡：撰写——原始草稿、可视化、验证、软件、方法论、形式分析、数据整理、概念化。刘胜远：撰写——审稿与编辑、项目管理。方梦杰：撰写——审稿与编辑、项目管理。赵少莉：撰写——审稿与编辑、可视化。郭伟：撰写——审稿与编辑。王子佩：撰写——审稿与编辑。冯鑫：撰写——审稿与编辑。张旭瑶：撰写——审稿与编辑。谢学斌：
写作过程中生成式AI和AI辅助技术的声明
在准备这项工作时，作者使用了Claude 4 Sonnet来提高语言的清晰度和可读性。使用该工具后，作者根据需要仔细审查和修订了内容，并对最终版本的手稿负全责。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
本项工作得到了国家重点研发计划（2023YFC2415200）、国家自然科学基金（82361168664、U24A20759、82441018、82372053、82441017、92259302、82022036）、北京自然科学基金（JQ24048、Z20J00105）、中国医学科学院科技创新项目（CI2023C008YG）、中关村研究院（C20250605）、澳门特别行政区科学技术发展基金（0006/2023/AFJ）的支持。
