面向统一分子增强的病理图像表征学习：基于空间转录组学的整合框架

本文提出UMPIRE框架，创新性地整合空间转录组学（ST）数据与病理图像，通过分子引导的多模态预训练突破现有视觉-语言模型的性能瓶颈。该研究利用超400万条ST数据训练基因编码器，并在69.7万对图像-基因数据上实现跨模态对齐，显著提升跨测序平台和临床场景的泛化能力，为计算病理学（Computational Pathology）的临床转化提供新范式。

　　

Highlight

UMPIRE开创性地通过空间转录组学（Spatial Transcriptomics, ST）增强病理图像表征学习，利用分子信息引导多模态预训练，显著提升模型在跨组织和测序平台中的泛化能力。该框架突破传统视觉-语言模型缺乏分子视角的局限，为计算病理学提供从实验室到临床的稳健转化路径。

Methodology

如图2所示，UMPIRE采用专门设计的两阶段预训练流程以应对配对数据稀缺的挑战。虽然我们使用了最大规模的配对病理图像-空间转录组数据集HEST（含69.7万对过滤后数据），但其数量仍远少于其他视觉-语言模型（如CLIP的4亿对、CONCH的117万对）。为减轻数据依赖，我们的流程包含两个阶段：首先在超400万条空间转录组数据（ViSTomics-4M）上预训练基因编码器Visiumformer；随后通过多模态对比学习将分子编码器与预训练的病理视觉模型对齐。

Pre-training Implementation Details

我们首先在ViSTomics-4M上使用词汇掩码策略预训练Visiumformer。训练过程持续100万步，全局批次大小为256。采用AdamW优化器，学习率在2万步内从1e-5预热至1e-4，权重衰减为0.1。完成基因表征学习后，进入对齐阶段：通过线性投影头将图像和基因嵌入映射到512维共享潜在空间。每个UMPIRE训练批次包含1024个图像-基因对，采用温度参数为0.07的InfoNCE损失函数，在8张A100 GPU上训练10万步。

Discussion

UMPIRE是首个通过整合大规模空间转录组数据来增强病理图像表征学习的系统性框架。相较于TANGLE等使用批量RNA（bulk RNA）的方法，该框架利用空间分辨的精细监督信号，能够更深层次地理解肿瘤微环境（Tumor Microenvironment）的异质性，为计算病理学建立分子增强的视觉模式识别范式。

Conclusion

本研究提出的UMPIRE框架实现了分子增强的统一表征学习。通过构建迄今最大规模的Visium空间转录组数据集ViSTomics-4M，我们成功训练出能够跨越单细胞与空间数据领域鸿沟的基因编码器。该框架展现出卓越的跨测序平台泛化能力，并在多项下游任务中实现性能突破。