基于TCGA的跨癌种组织学图像-临床特征对比学习模型HLIP的构建与应用

研究人员针对现有病理图像分析方法局限于单一癌种、临床数据简化及图像降采样导致信息丢失等问题，开发了基于Transformer的HLIP模型。该模型通过190K组WSI-临床特征配对数据，利用对比学习实现组织学图像与12项临床特征的双向检索及高恶性区域预测，在外部数据集零样本分类中F1@100达0.915，较基线提升0.6，为跨癌种病理分析提供新范式。

　　

在数字病理与人工智能融合的时代，组织切片全扫描图像（Whole Slide Imaging, WSI）已成为癌症诊断的重要工具。然而现有方法存在三大瓶颈：一是多数模型仅针对单一癌种开发，缺乏跨32种肿瘤的泛化分析；二是临床数据常被简化为分类标签，忽视文本描述中的丰富信息；三是WSI降采样至低分辨率导致细胞级细节丢失。这些问题严重制约了病理AI在真实临床场景中的应用价值。

针对这些挑战，获得中国国家自然科学基金（项目号32300523、62132015）支持的Chunman Zuo团队开发了组织学-语言图像预训练模型HLIP（Histology–Language Image Pretraining）。研究人员从TCGA数据库中收集了32种肿瘤类型的17,898张WSI及12,962例患者的临床数据，通过将每张WSI分割为512×512像素的 patches 并与12项临床特征（如cancer_classification、primary_diagnosis等）配对，构建出190K组跨模态训练样本。该研究创新性地采用对比学习框架，将ViT-32预训练模型提取的病理图像特征与基于掩码自注意力（masked self-attention）的临床文本嵌入映射到同一空间，在《Computational Biology and Chemistry》发表的研究中实现了三大突破：首先在零样本分类任务中，F1@10、F1@50和F1@100分别达到0.886、0.856和0.915；其次建立了病理图像与临床特征的双向检索系统；更重要的是首次通过模型定位高恶性区域，为临床分期提供可视化依据。

关键技术包括：1）基于TCGA数据库构建跨癌种WSI-临床特征配对数据集；2）采用对比学习对齐病理图像与文本描述的特征空间；3）利用Transformer架构同时处理视觉与文本模态；4）开发恶性区域预测的统计分析方法（Student's t-test与非参数检验）。

【研究结果】

1. HLIP模型架构：通过双分支Transformer网络，图像分支采用ViT-32提取patch特征，文本分支将临床特征转化为段落描述后编码，对比损失函数使同一患者的组织学与临床特征在嵌入空间中紧密对齐。

2. 跨数据集验证：在外部数据集测试中，HLIP的零样本分类性能显著优于PLIP等基线模型，F1@100提升0.6，证明其卓越的泛化能力。

3. 恶性区域定位：通过统计比较发现，III-IV期患者的WSI中高恶性区域比例显著高于I-II期（p<0.05），为肿瘤分期提供新指标。

4. 临床特征检索：模型可实现"以图查文"（通过病理图像检索临床特征）和"以文搜图"（通过文本描述定位相关病理区域）的双向应用。

【结论与意义】
该研究创建的HLIP模型首次实现跨32种肿瘤的组织学-临床特征深度融合，其核心价值体现在三方面：方法学上，通过对比学习突破单模态分析的局限；临床上，双向检索功能辅助医生快速获取患者全景信息；技术上，190K配对数据集为后续研究提供宝贵资源。特别值得注意的是，模型对高恶性区域的预测能力为精准医疗开辟新路径，例如可指导活检定位或疗效评估。作者在讨论部分强调，未来可通过纳入更多分子特征（如基因组数据）进一步扩展模型维度，最终推动病理AI从辅助诊断向预后预测的跨越式发展。